BlendMask (AdelaiDet) Ascend 910 推理性能优化实战(Autoresearch 版)
约束与前提
- 时间预算:5 小时(终端限时)
- 版本管理:Git 全链路追踪,每个实验 = 一个 commit/branch
- 自动回滚:性能/精度回退时自动
git checkout 恢复
- 双路径:Path A(torch_npu 在线)与 Path B(OM 离线)并行探索
- 精度红线:与 GPU/CPU 误差 < 1%,不达标立即回滚
- AtomGit 提交:测试 token 推送能力后决定是否自动推送
注意:BlendMask 基于 Detectron2,有复杂的 CUDA 扩展依赖,是本批次模型中复杂度最高的。
Autoresearch 核心机制
1. Experiment-as-Commit
git checkout -b exp/blendmask_{optimization}_$(date +%s)
git add -A && git commit -m "exp(...): ...
- metric_primary: XX → XX
- metric_map_diff: XX
- status: PASS/FAIL
"
2. 结构化结果记录(results.json)
{
"experiment_id": "exp_001_blendmask_env",
"timestamp": "2026-05-14T15:00:00Z",
"hypothesis": "TASK_QUEUE_ENABLE=2 + CPU_AFFINITY_CONF=2 可提升推理吞吐",
"changes": [],
"metrics": {
"throughput_images_per_sec": 5.0,
"latency_p50_ms": 195.0,
"latency_p99_ms": 240.0,
"map_diff": 0.003,
"memory_mb": 7200
},
"status": "PASS",
"commit_hash": "a1b2c3d"
}
3. 自动对比与自动回滚
if current.throughput > best.throughput * 1.05 and current.map_diff < 0.01:
git_merge_to_main()
best = current
else:
git_checkout_main()
4. 时间预算分配
| 时间段 | 阶段 | 预算 | 说明 |
|---|
| 0:00-0:30 | 启动准备 | 0.5小时 | 代码克隆、环境配置、基线搭建、git初始化 |
| 0:30-1:30 | 路径A快速优化 | 1小时 | torch_npu亲和算子适配 + 环境变量配置 |
| 1:30-2:30 | 路径B模型转换 | 1小时 | ONNX格式转换 → ATC工具处理 → OM模型生成 |
| 2:30-3:30 | 性能分析闭环 | 1小时 | L1级性能分析 → 瓶颈定位 |
| 3:30-4:30 | 方案择优与验证 | 1小时 | 双路径效果对比、精度验收测试 |
| 4:30-5:00 | 成果交付与提交 | 0.5小时 | 编写SKILL.md文档、推送至AtomGit |
/goal 闭环定义
goal: "BlendMask Ascend 910 推理性能达标且精度误差<1%"
termination:
success: throughput >= baseline_target AND map_diff < 0.01
failure: time_budget_exceeded (5h) OR consecutive_rollbacks >= 5
metrics:
primary: throughput
secondary: latency_p50_ms, latency_p99_ms
guardrail: map_diff, memory_mb
loop:
interval: "每个实验完成后立即评估"
max_iterations: 50
actions:
on_pass: git merge → update best → generate_next_hypothesis
on_fail: git rollback → log_failure → try_alternative_path
on_timeout: package_current_best → submit_deliverables
阶段 0:启动(0:00-0:30)
0.1 环境检查
npu-smi info
python -c "import torch; import torch_npu; print(torch_npu.__version__)"
0.2 克隆与初始化
cd /workspace
git clone https://gitcode.com/gh_mirrors/ad/AdelaiDet blendmask-ascend
cd blendmask-ascend
pip install -r requirements.txt # detectron2, torch, torchvision
git init
git add -A && git commit -m "init: clone adelaidet upstream"
0.3 基准跑测
python eval/baseline_run.py --device npu --batch 1,2,4
0.4 创建 main-best 分支
阶段一:路径 A — torch_npu 在线优化(0:30-1:30)
优化优先级
实验一:环境变量优化(预期提升 +5~15%)
git checkout -b exp/env_optimization
git checkout main-best -- .
export TASK_QUEUE_ENABLE=2
export CPU_AFFINITY_CONF=2
python eval/perf_eval.py --device npu
实验 2:骨干网络优化(预期提升 +3~8%)
git checkout -b exp/backbone_optimization
# ResNet/FPN 的卷积和 BN
python eval/perf_eval.py
实验 3:ROIAlign → NPU 兼容(预期提升 +2~5%)
git checkout -b exp/roialign_npu
# Detectron2 的 ROIAlign 替换为 torchvision.ops.roi_align
# 或确认 NPU 已有支持
python eval/perf_eval.py
实验 4:NMS → torchvision.ops.nms(预期提升 +1~3%)
git checkout -b exp/nms_npu
# 替换为 torchvision.ops.nms(NPU 通常支持)
python eval/perf_eval.py
Exp 5: 掩码头优化(预期 +2~5%)
git checkout -b exp/mask_head_optimization
# BlendMask head 的卷积 + softmax
python eval/perf_eval.py
实验 6:contiguous 布局优化(预期提升 1~3%)
git checkout -b exp/contiguous_layout
python eval/perf_eval.py
特殊注意
- Detectron2 包含大量 CUDA 扩展(ROIAlign、ROIPool、NMS、可变形卷积)
- 需检查每个 CUDA 扩展的 NPU 替代方案
- 若 Detectron2 的 CUDA 扩展无法直接替换,可能需要:
- 使用 torchvision 的等价实现
- 或降级为纯 PyTorch 实现(性能可能下降)
第二阶段:路径 B — OM 离线转换(1:30-2:30)
2.1 PyTorch → ONNX
git checkout -b exp/om_conversion
git checkout main-best -- .
# Detectron2 模型转 ONNX 较复杂(动态 shape、控制流)
# 尝试使用 detectron2/export 工具
python om_model/export_onnx.py --config-file configs/blendmask/R_50_1x.yaml
python eval/compare_onnx_torch.py
2.2 ONNX → OM(ATC)
bash om_model/atc_convert.sh
# 若失败 → 调整 opset / 简化图 / 修改输入 shape → 重试
# 最多 3 次尝试
2.3 ACL 推理
python inference_acl.py --model om_model/blendmask.om --device npu
python eval/perf_eval.py --backend acl
第三阶段:Profiling 驱动优化(2:30-3:30)
import torch_npu
prof = torch_npu.profiler.profile(...)
运行时优化实验
| 实验 | 环境变量 | 触发条件 |
|---|
| exp/task_queue | TASK_QUEUE_ENABLE=2 | 空闲时间 > 20% |
| exp/cpu_affinity | CPU_AFFINITY_CONF=2 | CPU 调度开销高 |
| exp/tcmalloc | LD_PRELOAD=libtcmalloc.so | malloc 热点 |
| exp/alloc_conf | PYTORCH_NPU_ALLOC_CONF=max_split_size_mb:512 | 显存碎片 |
| exp/fp16 | torch.float16 AMP | 模型支持且精度允许 |
第四阶段:择优与最终验证(3:30-4:30)
4.1 双路径对比
python eval/final_compare.py
4.2 精度验收
- 在 COCO val2017 或自定义实例分割数据集上执行完整推理
- 对比 NPU、GPU 与 CPU 的 mAP、IoU、mask AP 指标
- 指标要求:
map_diff < 0.01
4.3 确定最终方案
git tag v1.0-optimized
git checkout v1.0-optimized
阶段 5:交付与 AtomGit 提交(4:30-5:00)
mkdir -p deliverables
cp inference.py readme.md eval/ logs/ SKILL.md deliverables/
REPO_URL="https://oauth2:${ATOMGIT_USER_TOKEN}@gitcode.com/yourname/blendmask-ascend.git"
git remote add origin "$REPO_URL"
git push -u origin main
关键脚本清单
| 脚本 | 功能 |
|---|
eval/baseline_run.py | 跑基线 |
eval/perf_eval.py | 性能评测 |
eval/accuracy_eval.py | 精度评测(mAP/mask AP) |
eval/compare_gpu_cpu.py | 三端对比 |
eval/parse_profiling.py | 解析 profiling |
eval/final_compare.py | 双路径最终对比 |
om_model/export_onnx.py | ONNX 导出 |
om_model/atc_convert.sh | ATC 转换 |
inference_acl.py | ACL 推理入口 |
inference.py | 最终交付推理脚本 |
readme.md | 部署文档 |
SKILL.md | 优化记录与复现指南 |
回滚策略
if experiment.map_diff > 0.01:
rollback("精度超标")
elif experiment.throughput < best.throughput * 0.95:
rollback("性能倒退 > 5%")
elif experiment.memory_mb > best.memory_mb * 1.3:
rollback("显存暴涨 > 30%")
elif experiment.latency_p99_ms > best.latency_p99_ms * 1.2:
rollback("尾部延迟恶化 > 20%")
else:
merge_to_main_best()
时间熔断机制
| 时间节点 | 熔断动作 |
|---|
| 1h | Path A 无成功实验 → 全力投入 Path B |
| 2h | Path B OM 转换失败 → 放弃 Path B,Path A + profiling 兜底 |
| 3h | 仍无达标方案 → 启用激进优化(降低精度阈值到 2%) |
| 4h | 仍未达标 → 锁定当前 best,开始生成交付件 |
| 4.5h | 停止所有实验,全力完成交付 |
| 5h | 强制终止,提交当前最优结果 |