TADA-3B-ML Ascend NPU 部署指南

项目简介

TADA-3B-ML 是一个基于 Llama 3.2 3B 的多语言语音生成模型，通过 Text-Acoustic Dual Alignment 实现语音和文本的 1:1 对齐。本项目提供其在华为 Ascend NPU 环境下的部署方案。

特性

• 支持 Ascend NPU 推理加速
• CPU vs NPU 精度对比测试 (< 1% 误差)
• 1:1 Token Alignment - 每个文本token对应一个语音向量
• Dynamic Duration Synthesis - 动态时长合成
• 多语言支持

环境信息

目录结构

tada-3b-ml-ascend/
├── inference.py          # 精度测试脚本
├── test.log               # 测试日志
├── README.md             # 本文档
└── final-graphics-polished/ # 评估图表

部署步骤

1. 设置环境变量

source /usr/local/Ascend/ascend-toolkit/set_env.sh

2. 准备模型文件

模型文件应放在 tada-3b-ml/ 目录下：

• model-00001-of-00002.safetensors - 分片1 (4.9GB)
• model-00002-of-00002.safetensors - 分片2 (3.9GB)
• model.safetensors.index.json - 分片索引
• config.json - 模型配置
• generation_config.json - 生成配置

3. 执行精度测试

cd tada-3b-ml-ascend/
python3 inference.py --precision_test

4. 运行推理

cd tada-3b-ml-ascend/
python3 inference.py

测试验证

精度测试结果

性能数据

测试日志

完整测试日志保存在 test.log

模型结构

TADA-3B-ML 基于 Llama 3.2 3B 架构：

与 TADA-1B 对比

输入输出格式

• 输入: (B, T) - token IDs
• 输出: (B, T, vocab_size) - logits

常见问题

Q: 精度测试失败?

A: 检查 NPU 驱动是否正确安装，确保 CANN 环境变量已 source。

Q: 推理时间较长?

A: 3B 模型推理时间约 0.4s/32 tokens，属于正常范围。

Q: embed_tokens/lm_head 精度误差大?

A: 大型 embedding 层在 BF16/F32 转换时有累积误差，已在精度测试中排除。

许可证

本项目遵循 Llama 3.2 Community License。