parakeet-tdt-0.6b-v3 Ascend NPU 部署指南

项目简介

parakeet-tdt-0.6b-v3 是一个 0.6B 参数的 ASR (自动语音识别) 模型，本项目提供其在华为 Ascend NPU 环境下的部署方案。

特性

支持 Ascend NPU 推理加速
CPU vs NPU 精度对比测试 (< 1% 误差)
基于 FastConformer/TDT 架构

环境要求

硬件: 华为 Ascend 910 系列 NPU
CANN: 8.0.RC1 或更高版本
PyTorch: 2.0+ with torch_npu
Docker: 容器名称 test-modelagent

目录结构

/data/ysws/agentsp/parakeet-tdt-0.6b-v3-ascend/
├── inference.py          # 精度测试脚本
├── log.txt               # 测试日志
├── README.md             # 本文档
├── test_audio_0.wav      # 测试音频样本
├── test_audio_1.wav
├── test_audio_2.wav
└── fusion_result.json    # 融合结果

部署步骤

1. 进入容器

docker exec -it test-modelagent bash

2. 设置环境变量

source /usr/local/Ascend/ascend-toolkit/set_env.sh

3. 准备模型文件

模型文件应放在 /data/ysws/agentsp/parakeet-tdt-0.6b-v3/ 目录下：

parakeet-tdt-0.6b-v3.nemo - NeMo 模型格式 (2.5GB)

4. 安装依赖

pip install webdataset jiwer datasets editdistance ipython -i https://repo.huaweicloud.com/repository/pypi/simple/ --trusted-host repo.huaweicloud.com

5. 执行推理+精度测试

cd /data/ysws/agentsp/parakeet-tdt-0.6b-v3-ascend/
python3 inference.py

测试验证

精度测试结果

指标	实测值	阈值	状态
Max absolute error	1.14e-04	< 1e-3	PASS
Mean absolute error	1.23e-05	< 1e-5	PASS
Max relative error	0.1000%	< 1%	PASS

性能数据

操作	耗时
模型加载	42.42s
NPU 推理 (1s audio)	9.217s

Encoder 输出对比

指标	CPU	NPU
Output shape	[1, 1024, 13]	[1, 1024, 13]
Value range	[-0.0571, 0.1145]	[-0.0571, 0.1144]

测试日志

完整测试日志保存在 log.txt

模型结构

模型类型: EncDecRNNTBPEModel (FastConformer + TDT)
Encoder: ConformerEncoder (1024 hidden, 13 frames output)
Decoder: RNNTDecoder
Joint: RNNTJoint
Tokenizer: SentencePieceTokenizer (8192 tokens)
损失函数: TDT (Transducer)

与 v2 对比

特性	v2	v3
Tokenizer	1024 tokens	8192 tokens
Max audio duration	40.0s	10.0s
Min audio duration	0.1s	1.0s
Relative error	0.0093%	0.1000%

常见问题

Q: 精度测试失败?

A: 检查 NPU 驱动是否正确安装，确保 CANN 环境变量已 source。

Q: 模型加载慢?

A: 首次加载会解析 .nemo 文件，后续调用会使用缓存。

参考链接

NeMo: https://github.com/NVIDIA/NeMo
Parakeet: https://github.com/NVIDIA/Parakeet