Bug_Factory_w/indic-parler-tts
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

AI4Bharat Indic Parler-TTS 昇腾 NPU 部署与推理指南

模型:ai4bharat/indic-parler-tts(印地语/印度语系文本转语音,Parler-TTS 架构) 平台:昇腾 Ascend 910(Atlas 系列)· PyTorch 2.9.0 + torch_npu 2.9.0.post1 交付:适配代码 · 服务化推理 · 测试用例 · 截图


1. 项目简介

本项目将 AI4Bharat 的 Indic Parler-TTS(印地语及 21 种印度官方语言文本转语音模型)迁移至本地昇腾 NPU,并封装为 FastAPI 服务化推理。输入任意文本(印地语/英语等)与说话风格描述(caption), 输出 44.1kHz 的 WAV 音频。

模型采用 Parler-TTS 架构,由三大组件构成:

组件说明
文本编码器(T5)flan-t5-large 架构(24 层,d_model 1024,词表 32128),编码说话风格描述
音频编解码器(DAC)44.1kHz 神经音频编解码器,9 个 codebook,hop=512
自回归解码器24 层 transformer,逐 token 生成音频 code(组合词表 90714)

1.1 关键特性

特性说明
模型架构Parler-TTS(T5 文本编码 + DAC 音频编解码 + 自回归解码器)
语言支持印地语、英语及 21 种印度官方语言(阿萨姆/孟加拉/泰米尔/泰卢固等)
模型大小model.safetensors 3.75GB,937,803,241 参数
输出规格44.1kHz 单声道 WAV
推理设备昇腾 NPU(实测 Ascend910_9382)
服务框架FastAPI + uvicorn,/predict 与 /health 接口
推理性能3.4s 语音合成 ~4.6 s(NPU,热调用;CPU 基线 147s,加速 ~39x)

2. 目录结构

indic-parler-tts-npu/
├── inference.py            # 服务化推理脚本(FastAPI + 昇腾 NPU 适配)
├── test_inference.py       # 测试用例(HTTP 端到端验证,4 项)
├── test_report.json        # 最近一次测试报告
├── requirements.txt        # 运行环境依赖清单
├── README.md               # 本指南
└── assets/
    ├── npu_device_call.png # 截图1:NPU 设备调用
    ├── model_result.png    # 截图2:测试结果
    └── agent_workflow.png  # 截图3:适配过程

3. 环境要求

3.1 硬件

项目要求
芯片Ascend 910 系列(≥1 卡,本方案实测 16 卡环境用单卡 npu:0)
显存单卡 ≥ 8GB(模型权重 3.75GB fp32 + KV cache,64GB HBM 卡充裕)

3.2 软件

项目版本(实测)
OSopenEuler 22.03 SP4 (aarch64)
CANN25.5.0(npu-smi 25.5.0)
Python3.11.14
PyTorch2.9.0(CPU 版即可,计算由 NPU 承担)
torch_npu2.9.0.post1+gitee7ba04(须与 PyTorch 版本配套)
transformers4.46.1(parler-tts 0.2.3 的版本约束;4.57+ 已移除 ParlerTTS 代码)
parler-tts0.2.3(官方独立包,自带 ParlerTTSForConditionalGeneration 实现)

3.3 安装依赖

source /usr/local/Ascend/ascend-toolkit/set_env.sh   # CANN 环境

# 使用华为镜像源加速
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/

pip install -r requirements.txt

3.4 说话风格 tokenizer 的获取(重要)

模型使用双 tokenizer:

  • 说话风格描述(caption)→ T5 tokenizer(google/flan-t5-large,与文本编码器词表匹配)
  • 合成文本 → 模型自带 LlamaTokenizer(Indic 词表 90714)

google/flan-t5-large 的 tokenizer 文件需首次获取(约 4MB):

# 方式一:离线导入(推荐)
python -c "
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'   # 国内镜像加速
from huggingface_hub import snapshot_download
snapshot_download('google/flan-t5-large',
    allow_patterns=['tokenizer_config.json', 'spiece.model', 'tokenizer.json', 'special_tokens_map.json', 'config.json'])
"

# 方式二:联网环境直接运行服务,AutoTokenizer 首次自动下载

3.5 验证 NPU 环境

npu-smi info                                        # 查看 NPU 硬件状态
python -c "import torch, torch_npu; a = torch.randn(3,4).npu(); print(a + a)"
# 正常输出 tensor(..., device='npu:0') 即 NPU 可用

4. 快速开始

4.1 启动服务化推理

cd indic-parler-tts-npu
source /usr/local/Ascend/ascend-toolkit/set_env.sh

python inference.py --host 0.0.0.0 --port 8005 --device npu:0

启动成功标志:

[startup] Indic Parler-TTS 加载完成: .../indic-parler-tts | 参数 0.94B | 设备 npu:0
INFO:     Uvicorn running on http://0.0.0.0:8005

4.2 健康检查

curl http://127.0.0.1:8005/health
{"status":"ok","model":"ai4bharat/indic-parler-tts","device":"npu:0",
 "npu_name":"Ascend910_9382","npu_count":16,"n_params":937803241,"sampling_rate":44100}

4.3 服务化推理(文本转语音)

curl -X POST http://127.0.0.1:8005/predict \
  -H "Content-Type: application/json" \
  -d '{
    "text": "नमस्ते, मैं एक परीक्षण वाक्य बोल रहा हूँ",
    "prompt": "A female speaker with a moderate speed and pitch, delivering a clear and close-up recording.",
    "max_new_tokens": 600
  }'

响应示例(audio_base64 为 WAV 音频,解码后即可播放/保存):

{
  "audio_base64": "UklGRi5bAABXQVZFZm10IBAAAAABAAEAQB8AAEAfAAABAAgAZGF0YQ==",
  "sample_rate": 44100,
  "duration": 3.39,
  "device": "npu:0",
  "elapsed_ms": 4629.12
}

Python 解码示例:

import base64, io, soundfile as sf
out = resp.json()
wav, sr = sf.read(io.BytesIO(base64.b64decode(out["audio_base64"])))
sf.write("output.wav", wav, sr)

4.4 运行测试用例

python test_inference.py --server http://127.0.0.1:8005 --report test_report.json

预期结果(4/4 通过):

[PASS] GET /health               — 服务与 NPU 设备状态
[PASS] POST /predict 印地语合成  — 3.39s 语音,RMS 正常
[PASS] POST /predict 英语合成    — 3.39s 语音,自定义 prompt
[PASS] 空文本返回 400            — 参数校验

5. API 接口说明

GET /health

服务与设备健康检查。

字段说明
status"ok"
model模型标识
device推理设备(如 npu:0)
npu_nameNPU 芯片型号(如 Ascend910_9382)
npu_count可见 NPU 卡数量
n_params模型参数总量
sampling_rate输出采样率(44100)

POST /predict

文本转语音合成。

请求体:

字段类型说明
textstr要合成的文本(印地语/英语等)
promptstr?说话风格描述(caption),默认英文女声(清晰、近距离、中速)
max_new_tokensint?最大生成 token 数(50~2610,9 tokens ≈ 512 音频样本),默认 600 ≈ 6.7s

响应体:

字段说明
audio_base64base64 编码的 WAV 音频
sample_rate采样率(44100)
duration音频时长(秒)
device推理设备
elapsed_ms端到端合成耗时(毫秒)

风格控制示例:"A male speaker with a British accent, speaking slowly and expressively"、 "A female speaker in a lively, cheerful tone, in a noisy environment"。印地语推荐使用 官方 README 中的提示词模板以获得最佳音质。


6. 昇腾 NPU 适配说明

6.1 适配结论

本模型为生成式 TTS 模型(非 LLM 对话模型),采用 torch_npu + transfer_to_npu 标准 PyTorch 迁移路线。本模型适配的最大难点不在算子,而在框架生态:transformers 4.57+ 已移除 ParlerTTS 模型代码,需使用官方独立包并配套固定版本 transformers;同时其双 tokenizer 机制容易踩坑。 共 4 个适配点,全部收敛在 inference.py 内。

6.2 四个适配点

#位置原始适配后说明
1inference.py 顶部—import torch_npu; from torch_npu.contrib import transfer_to_npu自动映射 torch.cuda.* → torch.npu.*、.cuda() → .npu()
2依赖transformers 4.57.6(无 ParlerTTS)parler-tts 0.2.3 独立包 + transformers==4.46.1transformers 4.57+ 移除 ParlerTTS 代码;parler-tts 0.2.3 硬约束 transformers 4.46.1(已验证与 lerobot/pyannote 环境共存)
3双 tokenizer—文本→T5 tokenizer(flan-t5-large),风格→模型 LlamaTokenizer用错 tokenizer 会触发 embedding 越界(IndexError: index out of range)
4设备迁移输入留在 CPU输入张量显式 .to("npu:0")parlertts 0.2.3 的 generate 不会自动迁移 prompt_input_ids 到模型设备,会报设备不一致错误

6.3 精度与性能验证(CPU 基线 vs NPU)

同输入(印地语短句,max_new_tokens=200)下:

平台生成音频耗时说明
CPU 基线2.23s,RMS=0.057147.3 s有效语音(84.1% 活跃窗)
NPU 迁移2.23s,RMS=0.0733.8 s有效语音,加速 ~39x

波形数值差异来自生成配置 do_sample: true(随机采样)且 NPU 采样 RNG 独立于 CPU seed, 属于生成式模型的预期随机行为(每次运行本身即不同),非精度问题。 语音有效性通过能量分布(活跃窗占比)与时长验证。

6.4 关键文件清单

文件内容
inference.py全部昇腾适配逻辑 + FastAPI 服务(双 tokenizer / 生成 / WAV 编码)
test_inference.py端到端 HTTP 测试用例(印地语/英语合成 + 断言)

7. 性能数据(实测)

场景耗时
服务加载(含权重读取 3.75GB)~60 s(首次,含算子编译)
3.4s 语音合成(300 tokens,稳态)~4.6 s(端到端,含 WAV 编码)
权重/显存占用~4 GB / 卡

提示:max_new_tokens 与时长近似线性(9 tokens ≈ 512 样本 ≈ 11.6ms 音频/token); 如需批量合成可复用已加载模型并发处理,NPU 推理本身可流水化。


8. 常见问题(FAQ)

问题解决方案
cannot import name 'ParlerTTSForConditionalGeneration' from 'transformers'transformers 4.57+ 已移除 ParlerTTS;安装官方独立包 parler-tts==0.2.3 并配套 transformers==4.46.1(见 requirements.txt)
生成时报 IndexError: index out of range in self(embedding)双 tokenizer 用错:合成文本必须用模型 tokenizer(Indic 词表 90714),风格描述用 T5 tokenizer(flan-t5-large)
报 Expected all tensors to be on the same device适配点4:prompt_input_ids/prompt_attention_mask 需显式 .to("npu:0")
首次运行联网请求 flan-t5 tokenizer 被拒见 3.4 节:用 HF_ENDPOINT=https://hf-mirror.com 镜像下载一次即可缓存
生成音频时长与预期不符调大 max_new_tokens(默认 600 ≈ 6.7s);短文本也可能因 do_sample 提前结束
音频噪声大或音色异常使用官方 README 推荐的语言对应 prompt 模板;印地语用印地语女声描述
Port already in use换端口启动:python inference.py --port 8006(本机 8000-8004 被其他服务占用)
首次推理慢首次含算子编译(ACL 算子缓存),第二次起进入稳态(~4.6s/3.4s 音频)

9. 附件:截图说明

截图文件内容
NPU 设备调用assets/npu_device_call.pngnpu-smi info 硬件状态 + torch_npu 设备调用验证
测试结果assets/model_result.pngtest_inference.py 全量测试输出(4/4 通过)
适配过程assets/agent_workflow.png迁移适配全过程(环境检查→分析→4 适配点→两阶段验证)

10. 参考

  • AI4Bharat Indic Parler-TTS:https://huggingface.co/ai4bharat/indic-parler-tts
  • parler-tts(官方独立包):https://github.com/huggingface/parler-tts
  • Parler-TTS 论文:https://huggingface.co/papers/2402.06351
  • 昇腾 CANN:https://www.hiascend.com

本交付由 ascend-model-agent-plugin(ai4s-basic 迁移 Skill)流程生成,迁移适配与验证结果见 6.2 / 6.3 节。