模型:
ai4bharat/indic-parler-tts(印地语/印度语系文本转语音,Parler-TTS 架构) 平台:昇腾 Ascend 910(Atlas 系列)· PyTorch 2.9.0 + torch_npu 2.9.0.post1 交付:适配代码 · 服务化推理 · 测试用例 · 截图
本项目将 AI4Bharat 的 Indic Parler-TTS(印地语及 21 种印度官方语言文本转语音模型)迁移至本地昇腾 NPU,并封装为 FastAPI 服务化推理。输入任意文本(印地语/英语等)与说话风格描述(caption), 输出 44.1kHz 的 WAV 音频。
模型采用 Parler-TTS 架构,由三大组件构成:
| 组件 | 说明 |
|---|---|
| 文本编码器(T5) | flan-t5-large 架构(24 层,d_model 1024,词表 32128),编码说话风格描述 |
| 音频编解码器(DAC) | 44.1kHz 神经音频编解码器,9 个 codebook,hop=512 |
| 自回归解码器 | 24 层 transformer,逐 token 生成音频 code(组合词表 90714) |
| 特性 | 说明 |
|---|---|
| 模型架构 | Parler-TTS(T5 文本编码 + DAC 音频编解码 + 自回归解码器) |
| 语言支持 | 印地语、英语及 21 种印度官方语言(阿萨姆/孟加拉/泰米尔/泰卢固等) |
| 模型大小 | model.safetensors 3.75GB,937,803,241 参数 |
| 输出规格 | 44.1kHz 单声道 WAV |
| 推理设备 | 昇腾 NPU(实测 Ascend910_9382) |
| 服务框架 | FastAPI + uvicorn,/predict 与 /health 接口 |
| 推理性能 | 3.4s 语音合成 ~4.6 s(NPU,热调用;CPU 基线 147s,加速 ~39x) |
indic-parler-tts-npu/
├── inference.py # 服务化推理脚本(FastAPI + 昇腾 NPU 适配)
├── test_inference.py # 测试用例(HTTP 端到端验证,4 项)
├── test_report.json # 最近一次测试报告
├── requirements.txt # 运行环境依赖清单
├── README.md # 本指南
└── assets/
├── npu_device_call.png # 截图1:NPU 设备调用
├── model_result.png # 截图2:测试结果
└── agent_workflow.png # 截图3:适配过程| 项目 | 要求 |
|---|---|
| 芯片 | Ascend 910 系列(≥1 卡,本方案实测 16 卡环境用单卡 npu:0) |
| 显存 | 单卡 ≥ 8GB(模型权重 3.75GB fp32 + KV cache,64GB HBM 卡充裕) |
| 项目 | 版本(实测) |
|---|---|
| OS | openEuler 22.03 SP4 (aarch64) |
| CANN | 25.5.0(npu-smi 25.5.0) |
| Python | 3.11.14 |
| PyTorch | 2.9.0(CPU 版即可,计算由 NPU 承担) |
| torch_npu | 2.9.0.post1+gitee7ba04(须与 PyTorch 版本配套) |
| transformers | 4.46.1(parler-tts 0.2.3 的版本约束;4.57+ 已移除 ParlerTTS 代码) |
| parler-tts | 0.2.3(官方独立包,自带 ParlerTTSForConditionalGeneration 实现) |
source /usr/local/Ascend/ascend-toolkit/set_env.sh # CANN 环境
# 使用华为镜像源加速
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/
pip install -r requirements.txt模型使用双 tokenizer:
google/flan-t5-large,与文本编码器词表匹配)google/flan-t5-large 的 tokenizer 文件需首次获取(约 4MB):
# 方式一:离线导入(推荐)
python -c "
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com' # 国内镜像加速
from huggingface_hub import snapshot_download
snapshot_download('google/flan-t5-large',
allow_patterns=['tokenizer_config.json', 'spiece.model', 'tokenizer.json', 'special_tokens_map.json', 'config.json'])
"
# 方式二:联网环境直接运行服务,AutoTokenizer 首次自动下载npu-smi info # 查看 NPU 硬件状态
python -c "import torch, torch_npu; a = torch.randn(3,4).npu(); print(a + a)"
# 正常输出 tensor(..., device='npu:0') 即 NPU 可用cd indic-parler-tts-npu
source /usr/local/Ascend/ascend-toolkit/set_env.sh
python inference.py --host 0.0.0.0 --port 8005 --device npu:0启动成功标志:
[startup] Indic Parler-TTS 加载完成: .../indic-parler-tts | 参数 0.94B | 设备 npu:0
INFO: Uvicorn running on http://0.0.0.0:8005curl http://127.0.0.1:8005/health{"status":"ok","model":"ai4bharat/indic-parler-tts","device":"npu:0",
"npu_name":"Ascend910_9382","npu_count":16,"n_params":937803241,"sampling_rate":44100}curl -X POST http://127.0.0.1:8005/predict \
-H "Content-Type: application/json" \
-d '{
"text": "नमस्ते, मैं एक परीक्षण वाक्य बोल रहा हूँ",
"prompt": "A female speaker with a moderate speed and pitch, delivering a clear and close-up recording.",
"max_new_tokens": 600
}'响应示例(audio_base64 为 WAV 音频,解码后即可播放/保存):
{
"audio_base64": "UklGRi5bAABXQVZFZm10IBAAAAABAAEAQB8AAEAfAAABAAgAZGF0YQ==",
"sample_rate": 44100,
"duration": 3.39,
"device": "npu:0",
"elapsed_ms": 4629.12
}Python 解码示例:
import base64, io, soundfile as sf
out = resp.json()
wav, sr = sf.read(io.BytesIO(base64.b64decode(out["audio_base64"])))
sf.write("output.wav", wav, sr)python test_inference.py --server http://127.0.0.1:8005 --report test_report.json预期结果(4/4 通过):
[PASS] GET /health — 服务与 NPU 设备状态
[PASS] POST /predict 印地语合成 — 3.39s 语音,RMS 正常
[PASS] POST /predict 英语合成 — 3.39s 语音,自定义 prompt
[PASS] 空文本返回 400 — 参数校验GET /health服务与设备健康检查。
| 字段 | 说明 |
|---|---|
status | "ok" |
model | 模型标识 |
device | 推理设备(如 npu:0) |
npu_name | NPU 芯片型号(如 Ascend910_9382) |
npu_count | 可见 NPU 卡数量 |
n_params | 模型参数总量 |
sampling_rate | 输出采样率(44100) |
POST /predict文本转语音合成。
请求体:
| 字段 | 类型 | 说明 |
|---|---|---|
text | str | 要合成的文本(印地语/英语等) |
prompt | str? | 说话风格描述(caption),默认英文女声(清晰、近距离、中速) |
max_new_tokens | int? | 最大生成 token 数(50~2610,9 tokens ≈ 512 音频样本),默认 600 ≈ 6.7s |
响应体:
| 字段 | 说明 |
|---|---|
audio_base64 | base64 编码的 WAV 音频 |
sample_rate | 采样率(44100) |
duration | 音频时长(秒) |
device | 推理设备 |
elapsed_ms | 端到端合成耗时(毫秒) |
风格控制示例:
"A male speaker with a British accent, speaking slowly and expressively"、"A female speaker in a lively, cheerful tone, in a noisy environment"。印地语推荐使用 官方 README 中的提示词模板以获得最佳音质。
本模型为生成式 TTS 模型(非 LLM 对话模型),采用 torch_npu + transfer_to_npu 标准 PyTorch
迁移路线。本模型适配的最大难点不在算子,而在框架生态:transformers 4.57+ 已移除 ParlerTTS
模型代码,需使用官方独立包并配套固定版本 transformers;同时其双 tokenizer 机制容易踩坑。
共 4 个适配点,全部收敛在 inference.py 内。
| # | 位置 | 原始 | 适配后 | 说明 |
|---|---|---|---|---|
| 1 | inference.py 顶部 | — | import torch_npu; from torch_npu.contrib import transfer_to_npu | 自动映射 torch.cuda.* → torch.npu.*、.cuda() → .npu() |
| 2 | 依赖 | transformers 4.57.6(无 ParlerTTS) | parler-tts 0.2.3 独立包 + transformers==4.46.1 | transformers 4.57+ 移除 ParlerTTS 代码;parler-tts 0.2.3 硬约束 transformers 4.46.1(已验证与 lerobot/pyannote 环境共存) |
| 3 | 双 tokenizer | — | 文本→T5 tokenizer(flan-t5-large),风格→模型 LlamaTokenizer | 用错 tokenizer 会触发 embedding 越界(IndexError: index out of range) |
| 4 | 设备迁移 | 输入留在 CPU | 输入张量显式 .to("npu:0") | parlertts 0.2.3 的 generate 不会自动迁移 prompt_input_ids 到模型设备,会报设备不一致错误 |
同输入(印地语短句,max_new_tokens=200)下:
| 平台 | 生成音频 | 耗时 | 说明 |
|---|---|---|---|
| CPU 基线 | 2.23s,RMS=0.057 | 147.3 s | 有效语音(84.1% 活跃窗) |
| NPU 迁移 | 2.23s,RMS=0.073 | 3.8 s | 有效语音,加速 ~39x |
波形数值差异来自生成配置
do_sample: true(随机采样)且 NPU 采样 RNG 独立于 CPU seed, 属于生成式模型的预期随机行为(每次运行本身即不同),非精度问题。 语音有效性通过能量分布(活跃窗占比)与时长验证。
| 文件 | 内容 |
|---|---|
inference.py | 全部昇腾适配逻辑 + FastAPI 服务(双 tokenizer / 生成 / WAV 编码) |
test_inference.py | 端到端 HTTP 测试用例(印地语/英语合成 + 断言) |
| 场景 | 耗时 |
|---|---|
| 服务加载(含权重读取 3.75GB) | ~60 s(首次,含算子编译) |
| 3.4s 语音合成(300 tokens,稳态) | ~4.6 s(端到端,含 WAV 编码) |
| 权重/显存占用 | ~4 GB / 卡 |
提示:
max_new_tokens与时长近似线性(9 tokens ≈ 512 样本 ≈ 11.6ms 音频/token); 如需批量合成可复用已加载模型并发处理,NPU 推理本身可流水化。
| 问题 | 解决方案 |
|---|---|
cannot import name 'ParlerTTSForConditionalGeneration' from 'transformers' | transformers 4.57+ 已移除 ParlerTTS;安装官方独立包 parler-tts==0.2.3 并配套 transformers==4.46.1(见 requirements.txt) |
生成时报 IndexError: index out of range in self(embedding) | 双 tokenizer 用错:合成文本必须用模型 tokenizer(Indic 词表 90714),风格描述用 T5 tokenizer(flan-t5-large) |
报 Expected all tensors to be on the same device | 适配点4:prompt_input_ids/prompt_attention_mask 需显式 .to("npu:0") |
| 首次运行联网请求 flan-t5 tokenizer 被拒 | 见 3.4 节:用 HF_ENDPOINT=https://hf-mirror.com 镜像下载一次即可缓存 |
| 生成音频时长与预期不符 | 调大 max_new_tokens(默认 600 ≈ 6.7s);短文本也可能因 do_sample 提前结束 |
| 音频噪声大或音色异常 | 使用官方 README 推荐的语言对应 prompt 模板;印地语用印地语女声描述 |
Port already in use | 换端口启动:python inference.py --port 8006(本机 8000-8004 被其他服务占用) |
| 首次推理慢 | 首次含算子编译(ACL 算子缓存),第二次起进入稳态(~4.6s/3.4s 音频) |
| 截图 | 文件 | 内容 |
|---|---|---|
| NPU 设备调用 | assets/npu_device_call.png | npu-smi info 硬件状态 + torch_npu 设备调用验证 |
| 测试结果 | assets/model_result.png | test_inference.py 全量测试输出(4/4 通过) |
| 适配过程 | assets/agent_workflow.png | 迁移适配全过程(环境检查→分析→4 适配点→两阶段验证) |
本交付由 ascend-model-agent-plugin(ai4s-basic 迁移 Skill)流程生成,迁移适配与验证结果见 6.2 / 6.3 节。