YOLOv10 Ascend NPU 部署文档

# 推荐推理配置
export TASK_QUEUE_ENABLE=2          # 一级流水并行（降低 host 下发开销）
export PER_STREAM_QUEUE=1           # 每流队列异步下发
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True  # 内存扩展分配
export CPU_AFFINITY_CONF=2          # 细粒度 CPU 绑核

# Conv+BN 融合 + FP16 推理
python inference.py --weights yolov10n.pt --fuse --half --bench

# 双卡并行推理
python inference.py --source /path/to/images/ --device npu:0,1 --half --fuse

# 安装依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .

# 1. 下载权重
wget https://github.com/THU-MIG/yolov10/releases/download/v1.1/yolov10n.pt

# 2. 全量验证报告（端到端 + 纯推理 + 双卡 DDP + COCO mAP）
python generate_final_report.py --weights yolov10n.pt

# 2b. 快速验证 (仅 BS=1,16,32,48, 跳过 DDP)
python generate_final_report.py --weights yolov10n.pt --quick --no-cpu

# 2c. 仅 COCO mAP
python generate_final_report.py --weights yolov10n.pt --map-only

# 3. 推理单张图片
python inference.py --source ultralytics/assets/bus.jpg --weights yolov10n.pt --half --fuse --save

# 4. COCO mAP 精度评测 + 性能扫描
python eval_coco.py --weights yolov10n.pt --half --batch-sizes 1 16 48

# 5. 双卡 DDP 推理性能摸高
python ddp_inference.py --weights yolov10n.pt --bench --mode pure

# 6. CANN 深度优化分析
python cann_optimization_v2.py --weights yolov10n.pt --quick

from inference import YOLOv10NPU

# 自动检测 NPU/CUDA/CPU
model = YOLOv10NPU("yolov10n.pt", fuse=True, half=True)

# 单图推理
results = model("bus.jpg")

# 批量推理
results = model(["img1.jpg", "img2.jpg"])

# 目录推理
results = model("/path/to/images/")

# 输出结果
for r in results:
    print(f"检测到 {len(r.boxes)} 个目标")
    model.save(r, "output.jpg")

# 三合一：权重检查 → NPU连通性 → 推理验证
python inference.py

├── inference.py             # 生产级推理脚本（单卡/双卡/图片/视频/目录）
├── eval_coco.py             # COCO 真实数据集 mAP 评测 + 性能扫描
├── run_all_verification.py  # 全量验证（CPU基线 + NPU端到端 + 纯推理 + mAP）
├── push_perf.py             # 单卡/双卡连续性能摸高
├── full_benchmark.py        # 综合基准测试（CPU+NPU 真实+合成, 单卡+双卡）
├── benchmark.py             # 性能基准测试：合成数据 + 真实数据
├── optimize_benchmark.py    # 深度优化基准测试（测试多种优化组合对比）
├── README.md                # 本文档
├── all_verification_results.json  # 全量验证结果（最新实测）
├── eval_coco_results.json   # COCO mAP 精度评测结果
├── push_single_results.json # 单卡性能摸高结果
├── push_dual_results.json   # 双卡性能摸高结果
├── results_full_benchmark.json  # 综合基准测试结果（CPU/NPU, FP32/FP16, 真实/合成）
├── results_map.json             # COCO mAP 结果详情
├── optimize_results.json        # 深度优化对比结果

@article{wang2024yolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Wang, Ao and Chen, Hui and Liu, Lihao and Chen, Kai and Lin, Zijia and Han, Jungong and Ding, Guiguang},
  journal={arXiv preprint arXiv:2405.14458},
  year={2024}
}