模型名称: parakeet-ctc-1.1b(nvidia/parakeet-ctc-1.1b) 模型链接: https://ai.gitcode.com/hf_mirrors/nvidia/parakeet-ctc-1.1b 模型描述: NVIDIA 发布的英文语音识别(ASR)模型,在约 6 万小时英文语音数据上以 CTC 目标训练。模型以 16kHz 音频波形为输入,输出转写文本,在 HuggingFace Open ASR Leaderboard 上 WER 表现优异,适用于实时/离线语音转写、字幕生成等场景。 模型架构: FastConformer-TN 编码器——80 维 log-mel 特征前端 + ConvSubsampling(subsampling_factor=8)+ 42 层 Transformer(hidden_size=1024, 8 头注意力, intermediate=4096, 卷积核 9 的 Squeeze-and-Excitation 模块),输出头为 CTC 线性层,词表 1025。 参数规模: 约 1.14B(model.safetensors 约 2.3GB)
| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >= 3.10 | 推荐 3.11 |
| torch | >= 2.1 | 推理引擎(共享环境提供,NPU 场景配套 torch_npu) |
| transformers | == 4.57.6 | ParakeetForCTC / AutoProcessor(勿用 5.x) |
| huggingface-hub | >= 0.34, < 1.0 | transformers 4.57 配套 |
| librosa | 最新版 | ParakeetFeatureExtractor 必需 |
| safetensors | 最新版 | 权重加载 |
| numpy | 最新版 | 数组处理 |
| matplotlib | 最新版 | 结果可视化 |
| 昇腾驱动 | CANN 8.0.RC2+ | 推荐最新版 |
安装命令:
pip install --target /mnt/workspace/parakeet-ctc-1.1b/libs -i https://pypi.tuna.tsinghua.edu.cn/simple "transformers==4.57.6" "huggingface-hub<1.0" safetensors numpy matplotlib librosa# 检查 NPU 设备
npu-smi info
# 权重已就位(transformers 格式)
ls /home/developer/models/parakeet-ctc-1.1b/ # config.json model.safetensors preprocessor_config.json tokenizer.json vocab.json ...PYTHONPATH=/mnt/workspace/parakeet-ctc-1.1b/libs python3 inference.py --model_path /home/developer/models/parakeet-ctc-1.1b脚本内置一段合成的 3 秒 16kHz 示例音频波形(离线不下载外部音频),完整演示 波形 → log-mel 特征 → CTC 前向 → 贪心解码 流程,只传 --model_path 即可跑通;逐帧置信度曲线图自动保存到 assets/model_result.png。
| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| --model_path | str | /home/developer/models/parakeet-ctc-1.1b | 本地权重目录(离线加载) |
| --device | str | 自动(npu > cuda > cpu) | 推理设备 |
| --duration | float | 3.0 | 内置示例音频时长(秒) |
| --output | str | assets/model_result.png | 结果可视化保存路径 |
输入:
python3 inference.py --model_path /home/developer/models/parakeet-ctc-1.1b输出:
[INFO] device = npu
[INFO] 模型加载完成 load_time=x.xxs (parakeet-ctc-1.1b, encoder_layers=42, hidden=1024, vocab=1025)
[RESULT] 输入张量 shape=(1, T, 80) dtype=torch.float32 时长=3.0s(16kHz) -> 编码帧数=N, 非blank帧=M
[RESULT] CTC 解码文本: '...'
[INFO] 推理完成 耗时/elapsed=x.xx s (audio=3.0s, batch=1, device=npu)
[RESULT] status=ok device=npu 耗时/elapsed=x.xx输入:
python3 inference.py --model_path /home/developer/models/parakeet-ctc-1.1b --device cpu输出:
每行输出 [RESULT] 特征张量 shape、编码帧数、CTC 解码文本,末行含 耗时/elapsed 字段,status=ok


ParakeetForCTC.from_pretrained(local_files_only=True) 加载(config.json 中 architectures 为 ParakeetForCTC,model_type 为 parakeet_ctc),设备自动选择 npu > cuda > cpu;--model_path 加载,推理全程离线,不联网下载任何文件;(batch, time, 80);NPU 不支持 float64 算子,权重统一 float32,概率统计前已将 logits 转 float32 计算,勿改动 dtype;build_sample_waveform 输出并与 NeMo 官方 pipeline 对比确认。