inference.py 将 ai4bharat/indic-parler-tts(Parler-TTS 文本转语音模型)在昇腾 NPU
(npu:4,Ascend910B4-1)上完成真实推理。框架为 PyTorch,引擎为 torch_npu,
不使用 CUDA、不静默回退到 CPU。
ai4bharat/indic-parler-tts(本地路径
/work/pipeline/models/audio7/indic-parler-tts)c302b0073a987e92c7c558600c16c408031ad580text-to-speech(文本转语音)npu:4(Ascend910B4-1)torch_npu(版本与容器内 torch 配对,绝不替换)模型为复合式 Parler-TTS 架构(T5 文本编码器 + DAC 音频编解码器 + ParlerTTS 解码器),
由独立的 parler-tts==0.2.3 库提供 ParlerTTSForConditionalGeneration。生成解码为
采样模式(do_sample=true,随模型 generation_config.json 一同发布,为模型设计模式)。
ai4bharat/indic-parler-tts 是一个针对印度语言的 提示式(prompted)文本转语音
模型,由 AI4Bharat 基于 Parler-TTS 微调。它接受两路输入:
नमस्ते, आप कैसे हैं? आज का दिन बहुत अच्छा है।Divya's voice is calm and clear, with a moderate speaking pace. The recording is of very high quality and very close to the microphone.模型输出 44.1 kHz 的浮点波形,直接由 generate() 返回(复合解码器内部完成
DAC 解码,输出即音频,而非离散码元)。权重为 model.safetensors,共
3 751 321 772 字节,SHA256 为
c68daecb60f80c8f1faf0a6d2e6ddd6de8e224fb19750f3e9a33bca43c552c90。
本适配的核心改动是把上游依赖 torch.cuda.is_available() 的设备选择逻辑替换为
显式 npu:<idx>:所有神经网络的输入张量(description input ids 与 prompt input ids)、
全部模型参数以及最终生成的波形张量都必须位于目标 NPU 上,任何放置不一致都会
die()(非零退出),绝不静默回退 CPU。
适配运行于昇腾 NPU 环境(容器内已配对好 torch/torch_npu,本适配不替换它们)。
| 依赖 | 版本 | 说明 |
|---|---|---|
| Python | 3.11 | 容器/venv 解释器 |
| torch | 2.9.0+cpu | 容器已装,保持配对,不重装 |
| torch_npu | 2.9.0 | 容器已装,import torch_npu 注册 NPU 后端 |
| CANN | 8.5.1 | 昇腾计算框架 |
| transformers | 4.46.1 | parler-tts 0.2.3 固定的版本 |
| parler-tts | 0.2.3 | 提供 ParlerTTSForConditionalGeneration |
| torchaudio | 2.9.0 | 与 torch 2.9.0 匹配(避免 CUDA 版 2.11.0 拉入 libcudart) |
| descript-audio-codec-unofficial | 1.0.0 | DAC 编解码器(unofficial wheel) |
| descript-audiotools-unofficial | 0.7.4 | DAC 依赖工具库 |
| soundfile | 0.14.x | WAV 写出 |
| sentencepiece | 0.2.x | Llama/T5 分词器依赖 |
| numpy | 1.26.x | 波形统计 |
| protobuf | 4.25.9 | 分词器依赖 |
依赖通过阿里云 PyPI 镜像安装:-i https://mirrors.aliyun.com/pypi/simple/。
venv 使用 --system-site-packages 创建以继承容器内已配对的 torch/torch_npu。
描述(T5)分词器使用本地固定缓存:
/work/pipeline/runtime/venvs-audio7/indic-parler-tts-npu/desc_tokenizer
(google/flan-t5-large 分词器文件,revision
0613663d0d48ea86ba8cb3d7a44f0f65dc596a2a,仅分词器、不含权重),保证离线推理。
在交付目录 /work/pipeline/jobs/audio7/indic-parler-tts/indic-parler-tts-npu 下,
使用配对好 torch/torch_npu 的 venv 执行:
# 1) 激活/使用隔离 venv(已继承容器 torch/torch_npu)
VENV=/work/pipeline/runtime/venvs-audio7/indic-parler-tts-npu/bin/python
# 2) 运行 NPU 推理(显式指定 npu:4,绝不回退 CPU)
$VENV inference.py \
--model /work/pipeline/models/audio7/indic-parler-tts \
--device npu:4 \
--prompt "नमस्ते, आप कैसे हैं? आज का दिन बहुत अच्छा है।" \
--description "Divya's voice is calm and clear, with a moderate speaking pace. The recording is of very high quality and very close to the microphone." \
--output-wav assets/indic_tts_out.wav \
--output-json logs/npu_result.json \
--description-tokenizer /work/pipeline/runtime/venvs-audio7/indic-parler-tts-npu/desc_tokenizer \
--max-length 1500 \
--seed 42脚本行为(硬约束,全部失败即非零退出):
import torch_npu;缺失即退出。torch.npu.is_available() == False → 退出 1。torch.npu.device_count() == 0 → 退出 1。--device 必须是 npu:<idx> 形式且索引在范围内,否则退出 2。ParlerTTSForConditionalGeneration.from_pretrained(...),
.to(npu:4),.eval();断言 model_device == npu:4。.to(npu:4) 并断言放置。torch.inference_mode() 下调用 model.generate(...)(do_sample=True),
torch.npu.synchronize(),断言输出张量在 npu:4。logs/npu_result.json。नमस्ते, आप कैसे हैं? आज का दिन बहुत अच्छा है।Divya's voice is calm and clear, with a moderate speaking pace. The recording is of very high quality and very close to the microphone.npu:4(Ascend910B4-1)--max-length 1500 --seed 42,do_sample=True0;npu_available: true;engine: torch_npu放置断言(全部命中 npu:4):
input_device(desc input ids):npu:4prompt_input_device:npu:4model_device:npu:4output_device:npu:4输出(详见 logs/npu_result.json 与 logs/npu_inference.log):
output_shape:[1, 170496]sample_rate:44100 Hznum_samples:170496duration_seconds:3.866122audio_rms:0.01667846audio_peak:0.10023475generated_wav:assets/indic_tts_out.wav(341036 字节)generated_wav_sha256:e353d7a4476cfede67f1b8ce2cbd9c43ba94d65f980221539813b9379d526ff4elapsed_sec:58.65(生成阶段;模型加载 30.01s)并发 NPU 监控证据(logs/npu_device_call.log / logs/npu_smi_monitor.log):
npu-smi 每 2 秒采样,NPU 4 上可见进程 PID 2521376(python,TTS 推理),
功率峰值 114.7 W、HBM 峰值 8703 / 65536 MB、Health OK。
| 产物 | 说明 |
|---|---|
assets/indic_tts_out.wav | 模型生成的真实非空 44.1 kHz 语音 WAV(341036 字节) |
logs/npu_result.json | 结构化结果(exit_code=0,引擎 torch_npu,放置/统计/SHA256) |
logs/npu_inference.log | 推理原始 stdout/stderr |
logs/npu_smi_monitor.log | 并发 npu-smi 原始监控(每 2 秒) |
logs/npu_device_call.log | 精炼的设备 4 调用证据快照 |
assets/agent_workflow.png | 工作流示意图(1440x1800) |
assets/modelagent_live_session.png | 实时会话 + 监控面板(1440x900) |
assets/npu_device_call.png | 设备调用证据截图(1440x900) |
assets/model_result.png | 推理结果截图(1440x900) |
SHA256SUMS | 交付文件校验清单 |
关键结果摘要:
engine : torch_npu
torch : 2.9.0+cpu
torch_npu : 2.9.0
CANN : 8.5.1
NPU available : True
NPU device count : 8
NPU current dev : 4
NPU device name : Ascend910B4-1
device requested : npu:4
pinned revision : c302b0073a987e92c7c558600c16c408031ad580
desc input device : npu:4
prompt input dev : npu:4
model device : npu:4
output device : npu:4
output shape : [1, 170496]
sample rate : 44100 Hz
num samples : 170496
duration : 3.866122 s
audio RMS : 0.01667846
audio peak : 0.10023475
WAV : assets/indic_tts_out.wav (341036 bytes)
WAV sha256 : e353d7a4476cfede67f1b8ce2cbd9c43ba94d65f980221539813b9379d526ff4
elapsed : 58.649662 s
exit_code : 0验证:交付通过通用校验器(validate_delivery.py)与批次校验(validate_all.py),
包含语法检查(py_compile)、README 标记、PNG 尺寸、logs/npu_result.json 字段、
NPU 放置字段、TTS 统计字段、logs/npu_device_call.log 进程证据、
logs/modelagent_transcript.log(已脱敏)以及 SHA256SUMS 校验。



