Qwen3-ASR-0.6B on Ascend NPU

1. 简介

本文档记录 Qwen/Qwen3-ASR-0.6B 在昇腾 NPU 上的适配验证结果。

模型来源: Qwen/Qwen3-ASR-0.6B
参数量: 782,426,112
适配状态: SUCCESS
适配时间: 2026-05-14 21:57:06

2. 验证环境

组件	版本
`torch`	`2.9.0`
`torch-npu`	`2.9.0.post1`
`transformers`	`4.57.6`
`CANN`	`8.5.1`

NPU: Ascend 910B4
系统: Ubuntu 22.04.5 LTS (aarch64)

3. 推理脚本

python inference.py --model-id Qwen/Qwen3-ASR-0.6B --device npu:0

或使用 evaluate.py 进行完整验证：

python evaluate.py --model-id Qwen/Qwen3-ASR-0.6B --device npu:0 --output report.json

4. Smoke 验证

功能验证结果：

指标	结果
输出形状	`[1]`
是否有 NaN	否 ✅
推理状态	正常 ✅

5. 性能参考

指标	数值
平均延迟	169.73 ms
峰值显存	1.51 GB
测试轮数	10

6. 精度评测

NPU vs CPU 精度对比

基于同一 dummy audio 输入（5s 随机噪声，16kHz）在 CPU（float32）和 NPU（float16）上分别执行 generate(max_new_tokens=50)，对比输出 token 序列：

指标	数值
Cosine Similarity	1.000000
Max Abs Error	0.000000
Token 完全匹配	是 ✅
测试输入	dummy audio (5s, 16kHz)

结论: NPU float16 推理与 CPU float32 推理输出 token 序列完全一致，无精度损失。

7. 评测材料

材料	文件	说明
推理脚本	`inference.py`	独立可运行的 NPU 推理代码
精度评测代码	`evaluate.py`	CPU vs NPU cosine similarity 对比
环境检查	`env_check.py`	NPU 环境验证脚本
运行日志	`logs/*.log`	完整执行日志（可复现）
自验证截图	`screenshots/`	终端验证截图
精度报告	`report.json`	结构化评测数据
部署文档	`DEPLOY.md`	环境搭建与验证指南
依赖清单	`requirements.txt`	Python 依赖（uv/pip 安装）

8. Agent Skill

本模型适配由以下 Agent Skill 完成（6.2 必填）

项目	内容
Skill 名称	`qwen-asr-npu-adapt`
触发条件	Qwen3-ASR 系列模型适配到昇腾 NPU
覆盖模型	3 个 Qwen ASR 模型
核心能力	语音识别、强制对齐

使用方法

Agent 自动执行：

python wave1/scripts/run_workflow.py --subgroup 1g_qwen_asr --model-id <model_id>

手动复现步骤

# Step 1: 环境检查
python3 env_check.py

# Step 2: 验证模型
python3 evaluate.py --model-id Qwen/Qwen3-ASR-0.6B --device npu:0 --output report.json

# Step 3: 运行推理
python3 inference.py --model-id Qwen/Qwen3-ASR-0.6B --device npu:0

9. 注意事项

首次运行可能需要从 HuggingFace 下载模型权重
建议在 NPU 设备上运行以获得最佳性能
如遇 OOM，可尝试降低分辨率或使用 --dtype float32

贡献者: xujiashuai 参赛赛道: 模型适配赛道 提交时间: 2026-05-14 21:57:06