Y
YYPGD/parakeet-ctc-1.1b
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

parakeet-ctc-1.1b 昇腾NPU部署文档

1. 模型简介

模型名称: parakeet-ctc-1.1b(nvidia/parakeet-ctc-1.1b) 模型链接: https://ai.gitcode.com/hf_mirrors/nvidia/parakeet-ctc-1.1b 模型描述: NVIDIA 发布的英文语音识别(ASR)模型,在约 6 万小时英文语音数据上以 CTC 目标训练。模型以 16kHz 音频波形为输入,输出转写文本,在 HuggingFace Open ASR Leaderboard 上 WER 表现优异,适用于实时/离线语音转写、字幕生成等场景。 模型架构: FastConformer-TN 编码器——80 维 log-mel 特征前端 + ConvSubsampling(subsampling_factor=8)+ 42 层 Transformer(hidden_size=1024, 8 头注意力, intermediate=4096, 卷积核 9 的 Squeeze-and-Excitation 模块),输出头为 CTC 线性层,词表 1025。 参数规模: 约 1.14B(model.safetensors 约 2.3GB)


2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch>= 2.1推理引擎(共享环境提供,NPU 场景配套 torch_npu)
transformers== 4.57.6ParakeetForCTC / AutoProcessor(勿用 5.x)
huggingface-hub>= 0.34, < 1.0transformers 4.57 配套
librosa最新版ParakeetFeatureExtractor 必需
safetensors最新版权重加载
numpy最新版数组处理
matplotlib最新版结果可视化
昇腾驱动CANN 8.0.RC2+推荐最新版

安装命令:

pip install --target /mnt/workspace/parakeet-ctc-1.1b/libs -i https://pypi.tuna.tsinghua.edu.cn/simple "transformers==4.57.6" "huggingface-hub<1.0" safetensors numpy matplotlib librosa

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info
# 权重已就位(transformers 格式)
ls /home/developer/models/parakeet-ctc-1.1b/   # config.json model.safetensors preprocessor_config.json tokenizer.json vocab.json ...

3.2 运行推理

PYTHONPATH=/mnt/workspace/parakeet-ctc-1.1b/libs python3 inference.py --model_path /home/developer/models/parakeet-ctc-1.1b

脚本内置一段合成的 3 秒 16kHz 示例音频波形(离线不下载外部音频),完整演示 波形 → log-mel 特征 → CTC 前向 → 贪心解码 流程,只传 --model_path 即可跑通;逐帧置信度曲线图自动保存到 assets/model_result.png。

3.3 推理参数说明

参数类型默认值说明
--model_pathstr/home/developer/models/parakeet-ctc-1.1b本地权重目录(离线加载)
--devicestr自动(npu > cuda > cpu)推理设备
--durationfloat3.0内置示例音频时长(秒)
--outputstrassets/model_result.png结果可视化保存路径

4. 测试样例及输出结果

样例 1:内置示例音频 CTC 转写

输入:

python3 inference.py --model_path /home/developer/models/parakeet-ctc-1.1b

输出:

[INFO] device = npu
[INFO] 模型加载完成 load_time=x.xxs (parakeet-ctc-1.1b, encoder_layers=42, hidden=1024, vocab=1025)
[RESULT] 输入张量 shape=(1, T, 80) dtype=torch.float32 时长=3.0s(16kHz) -> 编码帧数=N, 非blank帧=M
[RESULT] CTC 解码文本: '...'
[INFO] 推理完成 耗时/elapsed=x.xx s (audio=3.0s, batch=1, device=npu)
[RESULT] status=ok device=npu 耗时/elapsed=x.xx

样例 2:指定设备运行

输入:

python3 inference.py --model_path /home/developer/models/parakeet-ctc-1.1b --device cpu

输出:

每行输出 [RESULT] 特征张量 shape、编码帧数、CTC 解码文本,末行含 耗时/elapsed 字段,status=ok

5. Agent适配截图

5.1 Agent适配全过程截图

Agent 适配流程

5.2 NPU设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果


6. 注意事项

  • 权重为 transformers 格式,通过 ParakeetForCTC.from_pretrained(local_files_only=True) 加载(config.json 中 architectures 为 ParakeetForCTC,model_type 为 parakeet_ctc),设备自动选择 npu > cuda > cpu;
  • 全部权重仅从本地 --model_path 加载,推理全程离线,不联网下载任何文件;
  • 输入特征张量为 float32 的 log-mel 特征 (batch, time, 80);NPU 不支持 float64 算子,权重统一 float32,概率统计前已将 logits 转 float32 计算,勿改动 dtype;
  • 注意力实现使用 eager(已显式指定 attn_implementation="eager"),勿用 flash_attention_2;
  • ParakeetFeatureExtractor 依赖 librosa(纯 CPU 提取 log-mel,与 NPU 无关),缺失会直接 ImportError;仓库内另有 .nemo/.gguf 权重文件,本脚本仅使用 safetensors;
  • 内置示例音频为合成波形(离线环境不下载外部音频),主要验证推理链路与耗时;真实语音转写效果请用本地 wav 文件替换 build_sample_waveform 输出并与 NeMo 官方 pipeline 对比确认。