YOLOv10 昇腾NPU全链路适配开源工程

# 1. 激活 CANN 环境（每次新终端必须执行）
source /usr/local/Ascend/ascend-toolkit/set_env.sh

# 2. 安装基础 PyTorch 生态
pip install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

# 3. 安装华为 torch_npu（请匹配 CANN 版本）
# 参考 https://gitee.com/ascend/pytorch 获取对应版本 whl
pip install torch_npu==2.9.0.post1

# 4. 安装项目依赖
pip install opencv-python numpy pillow pyyaml tqdm matplotlib seaborn pandas

# 5. 验证 NPU 可用性
python -c "import torch; import torch_npu; print(torch.npu.is_available())"

#!/bin/bash
# activate_npu_env.sh — 昇腾 NPU 推理环境一键激活

source /usr/local/Ascend/ascend-toolkit/set_env.sh
export TASK_QUEUE_ENABLE=1
export COMBINED_ENABLE=1
export ASCEND_SLOG_PRINT_TO_STDOUT=0
export HCCL_WHITELIST_DISABLE=1
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"

echo "[NPU Env] CANN runtime ready. Visible devices: ${ASCEND_RT_VISIBLE_DEVICES:-ALL}"

# 激活环境
source activate_npu_env.sh
export PYTHONPATH=src:$PYTHONPATH
export ASCEND_RT_VISIBLE_DEVICES=0

# 一键运行 COCO val2017 全量 benchmark
python run_coco_val_npu.py --weights yolov10n_npu.pt --data coco.yaml --batch-size 16

# dummy 数据 NPU/GPU 一致性验证 + L1 性能剖析
export PYTHONPATH=src:$PYTHONPATH
export ASCEND_RT_VISIBLE_DEVICES=0
python profile_inference.py --weights yolov10n_npu.pt --input-shape 1 3 640 640

python batch_benchmark.py --weights yolov10n_npu.pt --batch-sizes 1 2 4 8 16 32 --num-runs 100

# 双卡并行吞吐测试
export ASCEND_RT_VISIBLE_DEVICES=0,1
python multi_npu_benchmark.py --weights yolov10n_npu.pt --num-processes 2 --batch-size 16

# L1 算子级剖析
export PYTHONPATH=src:$PYTHONPATH
python profile_l1.py --weights yolov10n_npu.pt --input-shape 1 3 640 640

# L2 内存/带宽级剖析
python profile_l2.py --weights yolov10n_npu.pt --input-shape 1 3 640 640

export PYTHONPATH=src:$PYTHONPATH
export ASCEND_RT_VISIBLE_DEVICES=0
export TASK_QUEUE_ENABLE=1

# 单图推理
python predict_npu.py --weights yolov10n_npu.pt --source data/images/bus.jpg --device npu

# 视频流推理
python predict_npu.py --weights yolov10n_npu.pt --source data/videos/demo.mp4 --device npu --fps-target 30

export PYTHONPATH=src:$PYTHONPATH
export ASCEND_RT_VISIBLE_DEVICES=0
export TASK_QUEUE_ENABLE=1

# COCO val2017 全量评估
python val_npu.py --weights yolov10n_npu.pt --data coco.yaml --batch-size 16 --device npu

export PYTHONPATH=src:$PYTHONPATH
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
export TASK_QUEUE_ENABLE=1

# 4 卡分布式训练
python train_npu.py --weights yolov10n.pt --data coco.yaml --batch-size 64 --device npu:0,1,2,3 --epochs 300

export PYTHONPATH=src:$PYTHONPATH
export ASCEND_RT_VISIBLE_DEVICES=""

# 强制回退至 CPU
python predict_npu.py --weights yolov10n.pt --source data/images/bus.jpg --device cpu

export PYTHONPATH=src:$PYTHONPATH

# CUDA GPU 推理
python predict_npu.py --weights yolov10n.pt --source data/images/bus.jpg --device cuda:0

#!/usr/bin/env python3
"""YOLOv10 NPU 推理最小可用示例（开发集成 API）"""
import os
import sys
import cv2
import numpy as np
import torch
import torch_npu

sys.path.insert(0, 'src')
from models.common import DetectMultiBackend
from utils.general import check_img_size, non_max_suppression, scale_boxes
from utils.torch_utils import select_device
from utils.augmentations import letterbox

# ── 1. 设备初始化 ───────────────────────────────────────────────
device = select_device('npu:0')  # 自动探测 NPU/CUDA/CPU
print(f"[Device] Using: {device}")

# ── 2. 模型加载 ────────────────────────────────────────────────
weights_path = "yolov10n_npu.pt"
model = DetectMultiBackend(weights_path, device=device, dnn=False, data=None)
stride, names, pt = model.stride, model.names, model.pt
imgsz = check_img_size([640, 640], s=stride)  # 检查输入尺寸

# 3. 预热 ───────────────────────────────────────────────────────
model.warmup(imgsz=(1, 3, *imgsz))  # NPU 图编译预热

# ── 4. 图像预处理 ──────────────────────────────────────────────
source = "data/images/bus.jpg"
img0 = cv2.imread(source)  # BGR
img = letterbox(img0, imgsz, stride=stride, auto=pt)[0]  # padded resize
img = img.transpose((2, 0, 1))[::-1]  # HWC to CHW, BGR to RGB
img = np.ascontiguousarray(img)

# ── 5. 张量转换与设备迁移 ──────────────────────────────────────
img_tensor = torch.from_numpy(img).to(device)
img_tensor = img_tensor.float() / 255.0  # 0 - 255 to 0.0 - 1.0
if len(img_tensor.shape) == 3:
    img_tensor = img_tensor[None]  # expand for batch dim

# ── 6. 推理（前向传播） ─────────────────────────────────────────
with torch.no_grad():
    pred = model(img_tensor)  # NPU 原生推理，NMS-Free

# ── 7. 后处理 ──────────────────────────────────────────────────
# YOLOv10 NMS-Free：pred 已为最终检测结果，仅需坐标缩放
for i, det in enumerate(pred):
    if len(det):
        det[:, :4] = scale_boxes(img_tensor.shape[2:], det[:, :4], img0.shape).round()
        for *xyxy, conf, cls in reversed(det):
            label = f"{names[int(cls)]} {conf:.2f}"
            print(f"[Detect] {label} at {xyxy}")

# ── 8. 资源释放 ───────────────────────────────────────────────
del model
if device.type == 'npu':
    torch.npu.empty_cache()
elif device.type == 'cuda':
    torch.cuda.empty_cache()

yolov10-npu-you-hua-ban/
├── configs/                                # 模型配置文件
│   ├── yolov10n.yaml                      # YOLOv10-N 结构定义
│   ├── yolov10s.yaml                      # YOLOv10-S 结构定义
│   ├── yolov10m.yaml                      # YOLOv10-M 结构定义
│   ├── yolov10b.yaml                      # YOLOv10-B 结构定义
│   ├── yolov10l.yaml                      # YOLOv10-L 结构定义
│   ├── yolov10x.yaml                      # YOLOv10-X 结构定义
│   └── coco.yaml                          # COCO 数据集配置
├── data/                                   # 示例数据与数据集路径
│   ├── images/
│   └── videos/
├── models/                                 # 模型定义
│   ├── common.py                          # 通用模块（Conv, C2f, SPPF, PSA 等）
│   ├── block.py                           # 网络块定义（CIB, SCDown 等）
│   ├── head.py                            # NMS-Free 检测头（一致双分配）
│   ├── neck.py                            # PANet 特征融合 Neck
│   └── yolov10.py                         # YOLOv10 整体组装
├── npu-profiling-L1/                       # L1 算子级性能剖析数据
├── npu-profiling-L2/                       # L2 内存/带宽级性能剖析数据
├── results/                                # 验证日志与基准结果
├── runs/                                   # 训练/推理输出
├── src/                                    # 核心源码（兼容层与工具）
│   └── utils/
│       ├── __init__.py
│       ├── augmentations.py               # 图像增强（Mosaic, MixUp, letterbox）
│       ├── dataloaders.py                 # 数据加载器（支持 COCO/YOLO 格式）
│       ├── general.py                     # 通用工具（NMS, 坐标变换, 指标计算）
│       ├── metrics.py                     # COCO mAP 评测指标
│       ├── plots.py                       # 可视化工具
│       └── torch_utils.py                 # 设备工具、模型操作、分布式支持
├── tests/                                  # 单元测试与回归测试
│   ├── test_npu_accuracy.py              # NPU 精度回归测试
│   └── test_npu_performance.py           # NPU 性能基线测试
├── weights/                                # 预训练权重存放
├── batch_benchmark.py                      # 多 batch_size 吞吐扫描脚本
├── export_npu.py                           # 模型导出（ONNX/OM）
├── multi_npu_benchmark.py                  # 多卡并行扩展测试脚本
├── predict_npu.py                          # 单图/视频流推理入口
├── profile_l1.py                           # L1 算子级剖析脚本
├── profile_l2.py                           # L2 内存/带宽剖析脚本
├── run_coco_val_npu.py                     # COCO 全量 benchmark 脚本
├── train_npu.py                            # NPU 训练入口
├── val_npu.py                              # NPU 验证评估入口
├── activate_npu_env.sh                     # NPU 环境一键激活脚本
├── requirements.txt                        # Python 依赖
├── setup.py                                # 包安装配置
├── pyproject.toml                          # 现代 Python 项目配置
├── LICENSE                                 # AGPL-3.0 开源协议
├── NOTICE                                  # 版权声明
└── README.md                               # 本说明文档

┌─────────────────┐     ┌──────────────────┐     ┌─────────────────┐
│   原始 CUDA 代码  │     │   零侵入适配层    │     │   昇腾 NPU 执行  │
│  (PyTorch + GPU) │ ──▶ │  (utils/torch_)  │ ──▶ │  (CANN + GE)    │
└─────────────────┘     └──────────────────┘     └─────────────────┘
         │                       │                       │
         ▼                       ▼                       ▼
   torch.device("cuda")    select_device()         npu:0 / npu:1
   torch.cuda.empty_cache() torch_utils.empty_cache() torch.npu.empty_cache()
   torch.cuda.manual_seed() torch_utils.fix_seeds()   torch.npu.manual_seed()
   nn.SiLU()                npu_silu()              融合算子加速
   torchvision.ops.nms      NMS-Free Head           零 NMS 后处理

@article{wang2024yolov10,
  title={YOLOv10: Real-Time End-To-End Object Detection},
  author={Wang, Ao and Chen, Hui and Liu, Lihao and Chen, Kai and Lin, Zijia and Han, Jungong and Ding, Guiguang},
  journal={arXiv preprint arXiv:2405.14458},
  year={2024}
}

@software{yolov10_npu_ascend,
  title={YOLOv10 Ascend NPU Adaptation: Zero-Intrusion Real-Time Object Detection on Huawei Ascend},
  author={we166488},
  year={2026},
  url={https://atomgit.com/we166488/yolov10-npu-you-hua-ban}
}