nvidia/parakeet-ctc-1.1b 昇腾NPU部署文档

1. 模型简介

模型名称： nvidia/parakeet-ctc-1.1b 模型链接： https://huggingface.co/nvidia/parakeet-ctc-1.1b 模型镜像： https://ai.gitcode.com/hf_mirrors/nvidia/parakeet-ctc-1.1b 模型描述： Parakeet CTC 自动语音识别（ASR）模型（1.1B），将语音转写为文本 模型架构： Conformer (CTC) 参数规模： 1.1B 支持精度： fp32 / fp16 / bf16

2. 环境依赖

依赖项	版本要求	说明
Python	>= 3.10	推荐 3.11
torch / torch_npu	2.9.0	昇腾 NPU 运行时（随 CANN 安装）
transformers	>= 4.45.0	HuggingFace 库
昇腾驱动	CANN 8.5.1	推荐最新版

安装命令：

# 1. 加载 CANN 环境（必须）
source /usr/local/Ascend/ascend-toolkit/set_env.sh

# 2. 配置华为镜像源（可选）
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/

# 3. 安装依赖
pip install -r requirements.txt

# 4. 验证 NPU 可用
python3 -c "import torch; import torch_npu; a = torch.randn(3,4).npu(); print(a + a)"

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info

3.2 运行推理

python3 inference.py --model_path nvidia/parakeet-ctc-1.1b

3.3 推理参数说明

参数	类型	默认值	说明
--input	str	-	输入文本 / 图像路径 / 音频路径
--model_path	str	nvidia/parakeet-ctc-1.1b	模型 ID 或本地路径
--device	str	npu:0	推理设备

4. 测试样例及输出结果

输入：

（见 inference.py 参数说明）

输出：

(无输出)

以上输出在 Ascend910（CANN 8.5.1, torch_npu 2.9.0）环境实测生成。

5. Agent适配截图

5.1 Agent适配全过程截图

Agent 适配流程

5.2 NPU设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果

6. 注意事项

推理脚本通过 torch_npu.contrib.transfer_to_npu 自动完成 CUDA → NPU 的 API 映射，无需修改模型源码
脚本内置设备检测：优先使用 NPU，不可用时自动回退 CPU
下载权重时建议设置 HF_ENDPOINT=https://hf-mirror.com 加速
如遇设备异常，请确认已执行 source /usr/local/Ascend/ascend-toolkit/set_env.sh