atlasleong/indic-parler-tts-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ai4bharat/indic-parler-tts — Ascend NPU 推理适配(torch_npu)

inference.py 将 ai4bharat/indic-parler-tts(Parler-TTS 文本转语音模型)在昇腾 NPU (npu:4,Ascend910B4-1)上完成真实推理。框架为 PyTorch,引擎为 torch_npu, 不使用 CUDA、不静默回退到 CPU。

  • 模型仓库:ai4bharat/indic-parler-tts(本地路径 /work/pipeline/models/audio7/indic-parler-tts)
  • 上游固定版本(source_revision):c302b0073a987e92c7c558600c16c408031ad580
  • 任务:text-to-speech(文本转语音)
  • 设备:npu:4(Ascend910B4-1)
  • 引擎:torch_npu(版本与容器内 torch 配对,绝不替换)

模型为复合式 Parler-TTS 架构(T5 文本编码器 + DAC 音频编解码器 + ParlerTTS 解码器), 由独立的 parler-tts==0.2.3 库提供 ParlerTTSForConditionalGeneration。生成解码为 采样模式(do_sample=true,随模型 generation_config.json 一同发布,为模型设计模式)。

模型简介

ai4bharat/indic-parler-tts 是一个针对印度语言的 提示式(prompted)文本转语音 模型,由 AI4Bharat 基于 Parler-TTS 微调。它接受两路输入:

  1. 文本转录(prompt / transcript):需要被朗读的印度语文本,例如印地语 नमस्ते, आप कैसे हैं? आज का दिन बहुत अच्छा है।
  2. 语音描述(description / caption):描述期望音色的自然语言,例如 Divya's voice is calm and clear, with a moderate speaking pace. The recording is of very high quality and very close to the microphone.

模型输出 44.1 kHz 的浮点波形,直接由 generate() 返回(复合解码器内部完成 DAC 解码,输出即音频,而非离散码元)。权重为 model.safetensors,共 3 751 321 772 字节,SHA256 为 c68daecb60f80c8f1faf0a6d2e6ddd6de8e224fb19750f3e9a33bca43c552c90。

本适配的核心改动是把上游依赖 torch.cuda.is_available() 的设备选择逻辑替换为 显式 npu:<idx>:所有神经网络的输入张量(description input ids 与 prompt input ids)、 全部模型参数以及最终生成的波形张量都必须位于目标 NPU 上,任何放置不一致都会 die()(非零退出),绝不静默回退 CPU。

环境依赖清单

适配运行于昇腾 NPU 环境(容器内已配对好 torch/torch_npu,本适配不替换它们)。

依赖版本说明
Python3.11容器/venv 解释器
torch2.9.0+cpu容器已装,保持配对,不重装
torch_npu2.9.0容器已装,import torch_npu 注册 NPU 后端
CANN8.5.1昇腾计算框架
transformers4.46.1parler-tts 0.2.3 固定的版本
parler-tts0.2.3提供 ParlerTTSForConditionalGeneration
torchaudio2.9.0与 torch 2.9.0 匹配(避免 CUDA 版 2.11.0 拉入 libcudart)
descript-audio-codec-unofficial1.0.0DAC 编解码器(unofficial wheel)
descript-audiotools-unofficial0.7.4DAC 依赖工具库
soundfile0.14.xWAV 写出
sentencepiece0.2.xLlama/T5 分词器依赖
numpy1.26.x波形统计
protobuf4.25.9分词器依赖

依赖通过阿里云 PyPI 镜像安装:-i https://mirrors.aliyun.com/pypi/simple/。 venv 使用 --system-site-packages 创建以继承容器内已配对的 torch/torch_npu。

描述(T5)分词器使用本地固定缓存: /work/pipeline/runtime/venvs-audio7/indic-parler-tts-npu/desc_tokenizer (google/flan-t5-large 分词器文件,revision 0613663d0d48ea86ba8cb3d7a44f0f65dc596a2a,仅分词器、不含权重),保证离线推理。

分步推理操作流程

在交付目录 /work/pipeline/jobs/audio7/indic-parler-tts/indic-parler-tts-npu 下, 使用配对好 torch/torch_npu 的 venv 执行:

# 1) 激活/使用隔离 venv(已继承容器 torch/torch_npu)
VENV=/work/pipeline/runtime/venvs-audio7/indic-parler-tts-npu/bin/python

# 2) 运行 NPU 推理(显式指定 npu:4,绝不回退 CPU)
$VENV inference.py \
    --model /work/pipeline/models/audio7/indic-parler-tts \
    --device npu:4 \
    --prompt "नमस्ते, आप कैसे हैं? आज का दिन बहुत अच्छा है।" \
    --description "Divya's voice is calm and clear, with a moderate speaking pace. The recording is of very high quality and very close to the microphone." \
    --output-wav assets/indic_tts_out.wav \
    --output-json logs/npu_result.json \
    --description-tokenizer /work/pipeline/runtime/venvs-audio7/indic-parler-tts-npu/desc_tokenizer \
    --max-length 1500 \
    --seed 42

脚本行为(硬约束,全部失败即非零退出):

  1. import torch_npu;缺失即退出。
  2. torch.npu.is_available() == False → 退出 1。
  3. torch.npu.device_count() == 0 → 退出 1。
  4. --device 必须是 npu:<idx> 形式且索引在范围内,否则退出 2。
  5. 加载本地模型 ParlerTTSForConditionalGeneration.from_pretrained(...), .to(npu:4),.eval();断言 model_device == npu:4。
  6. 两路分词(prompt=本地 Llama 分词器;description=本地固定 T5 分词器)在 CPU 完成, 之后每个输入张量显式 .to(npu:4) 并断言放置。
  7. torch.inference_mode() 下调用 model.generate(...)(do_sample=True), torch.npu.synchronize(),断言输出张量在 npu:4。
  8. 将波形写成真实非空 WAV(soundfile),计算样本数/时长/RMS/峰值/字节数/SHA256。
  9. 结构化结果写入 logs/npu_result.json。

完整测试用例

  • 文本(prompt):नमस्ते, आप कैसे हैं? आज का दिन बहुत अच्छा है।
  • 描述(description):Divya's voice is calm and clear, with a moderate speaking pace. The recording is of very high quality and very close to the microphone.
  • 设备:npu:4(Ascend910B4-1)
  • 参数:--max-length 1500 --seed 42,do_sample=True
  • 结果退出码:0;npu_available: true;engine: torch_npu

放置断言(全部命中 npu:4):

  • input_device(desc input ids):npu:4
  • prompt_input_device:npu:4
  • model_device:npu:4
  • output_device:npu:4

输出(详见 logs/npu_result.json 与 logs/npu_inference.log):

  • output_shape:[1, 170496]
  • sample_rate:44100 Hz
  • num_samples:170496
  • duration_seconds:3.866122
  • audio_rms:0.01667846
  • audio_peak:0.10023475
  • generated_wav:assets/indic_tts_out.wav(341036 字节)
  • generated_wav_sha256:e353d7a4476cfede67f1b8ce2cbd9c43ba94d65f980221539813b9379d526ff4
  • elapsed_sec:58.65(生成阶段;模型加载 30.01s)

并发 NPU 监控证据(logs/npu_device_call.log / logs/npu_smi_monitor.log): npu-smi 每 2 秒采样,NPU 4 上可见进程 PID 2521376(python,TTS 推理), 功率峰值 114.7 W、HBM 峰值 8703 / 65536 MB、Health OK。

输出结果

产物说明
assets/indic_tts_out.wav模型生成的真实非空 44.1 kHz 语音 WAV(341036 字节)
logs/npu_result.json结构化结果(exit_code=0,引擎 torch_npu,放置/统计/SHA256)
logs/npu_inference.log推理原始 stdout/stderr
logs/npu_smi_monitor.log并发 npu-smi 原始监控(每 2 秒)
logs/npu_device_call.log精炼的设备 4 调用证据快照
assets/agent_workflow.png工作流示意图(1440x1800)
assets/modelagent_live_session.png实时会话 + 监控面板(1440x900)
assets/npu_device_call.png设备调用证据截图(1440x900)
assets/model_result.png推理结果截图(1440x900)
SHA256SUMS交付文件校验清单

关键结果摘要:

engine            : torch_npu
torch             : 2.9.0+cpu
torch_npu         : 2.9.0
CANN              : 8.5.1
NPU available     : True
NPU device count  : 8
NPU current dev   : 4
NPU device name   : Ascend910B4-1
device requested  : npu:4
pinned revision   : c302b0073a987e92c7c558600c16c408031ad580
desc input device : npu:4
prompt input dev  : npu:4
model device      : npu:4
output device     : npu:4
output shape      : [1, 170496]
sample rate       : 44100 Hz
num samples       : 170496
duration          : 3.866122 s
audio RMS         : 0.01667846
audio peak        : 0.10023475
WAV               : assets/indic_tts_out.wav (341036 bytes)
WAV sha256        : e353d7a4476cfede67f1b8ce2cbd9c43ba94d65f980221539813b9379d526ff4
elapsed           : 58.649662 s
exit_code         : 0

验证:交付通过通用校验器(validate_delivery.py)与批次校验(validate_all.py), 包含语法检查(py_compile)、README 标记、PNG 尺寸、logs/npu_result.json 字段、 NPU 放置字段、TTS 统计字段、logs/npu_device_call.log 进程证据、 logs/modelagent_transcript.log(已脱敏)以及 SHA256SUMS 校验。

昇腾 NPU 适配证据截图

Agent 完整适配工作流

Agent 完整适配工作流

ModelAgent 现场会话

ModelAgent 现场会话

NPU 硬件设备调用日志

NPU 硬件设备调用日志

模型最终适配验收结果

模型最终适配验收结果