SenseVoiceSmall_hotword - Ascend NPU Adaptation

# 安装依赖
pip install torch torch_npu torchaudio
pip install onnxruntime onnx
pip install librosa soundfile
pip install modelscope
pip install jieba pyyaml

# 方法一：ModelScope CLI
modelscope download --model dengcunqin/SenseVoiceSmall_hotword --local_dir ./SenseVoiceSmall_hotword

# 方法二：Python API
python -c "
from modelscope import snapshot_download
model_dir = snapshot_download('dengcunqin/SenseVoiceSmall_hotword', cache_dir='./SenseVoiceSmall_hotword')
print(f'Model downloaded to: {model_dir}')
"

# 基本推理（无热词）
python inference.py --audio asr_example.wav

# 带热词推理
python inference.py --audio asr_example.wav --hotwords "打磨院|秀妹"

# 指定设备
python inference.py --audio asr_example.wav --device npu   # 强制 NPU
python inference.py --audio asr_example.wav --device cpu   # CPU 回退

# 批量推理
python inference.py --audio /path/to/audio_dir --batch-size 10

┌─────────────────────────────────────────────────┐
│                 音频输入 (16kHz)                  │
└──────────────────┬──────────────────────────────┘
                   │
┌──────────────────▼──────────────────────────────┐
│          CPU: FBank 特征提取 + CMVN              │
│          (librosa + WavFrontend)                  │
└──────────────────┬──────────────────────────────┘
                   │
┌──────────────────▼──────────────────────────────┐
│       ONNX Runtime: SenseVoice Encoder           │
│       (model.onnx, 50 SANM Blocks)               │
└──────────────────┬──────────────────────────────┘
                   │
┌──────────────────▼──────────────────────────────┐
│       NPU (torch_npu): CTC 解码 + 后处理         │
│       - Argmax + Unique Consecutive              │
│       - 热词增强矩阵运算 (Hotword Module)         │
│       - Token Decode                             │
└──────────────────┬──────────────────────────────┘
                   │
┌──────────────────▼──────────────────────────────┐
│              多语言文本转录输出                    │
└─────────────────────────────────────────────────┘

# 运行精度评估
python eval_accuracy.py --audio asr_example.wav --output eval_results.json

# 带热词评估
python eval_accuracy.py --audio A2_0.wav --hotwords "秀妹" --output eval_hotword.json

# 性能基准测试
python benchmark.py --audio asr_example.wav --warmup 5 --runs 50 --output benchmark.json

SenseVoiceSmall_hotword/
├── inference.py              # NPU 适配推理脚本
├── eval_accuracy.py          # 精度评估脚本
├── benchmark.py              # 性能基准测试脚本
├── README.md                 # 本文档
├── dengcunqin/
│   └── SenseVoiceSmall_hotword/
│       ├── model.onnx                    # 主编码器模型 (844MB)
│       ├── sensevoice_model_hot_emb.onnx  # 热词嵌入模型
│       ├── sensevoice_model_hot_module.onnx # 热词增强模块
│       ├── sensevoice_model_nohot_module.onnx # 无热词 CTC 模块
│       ├── config.yaml                   # 模型配置
│       ├── configuration.json            # 框架配置
│       ├── tokens.txt                    # 词表
│       ├── am.mvn                        # CMVN 统计量
│       ├── chn_jpn_yue_eng_ko_spectok.bpe.model  # BPE 分词模型
│       ├── sensevoice_bin_hot.py         # 原始推理代码（热词版）
│       ├── funasr_onnx/                  # ONNX 推理工具库
│       ├── asr_example.wav               # 示例音频 1
│       └── A2_0.wav                      # 示例音频 2
└── eval_results.json         # 评估结果输出

from inference import SenseVoiceSmallNPU

model = SenseVoiceSmallNPU(
    model_dir="./SenseVoiceSmall_hotword",
    batch_size=1,
    device="npu",       # "npu" | "cpu" | "auto"
    quantize=False
)

# 单音频推理
result = model("audio.wav", hotwords_str="热词1|热词2", hotwords_score=1.0)

# 批量推理
results = model(["audio1.wav", "audio2.wav"], hotwords_str="", hotwords_score=1.0)

usage: inference.py [-h] --audio AUDIO [--hotwords HOTWORDS]
                    [--hotwords-score HOTWORDS_SCORE]
                    [--device {npu,cpu,auto}]
                    [--language LANGUAGE]
                    [--batch-size BATCH_SIZE]
                    [--output OUTPUT]

@misc{SenseVoiceSmall2025,
  title={SenseVoiceSmall: Fast and Accurate Parallel Transformer
         for Non-autoregressive End-to-End Speech Recognition},
  author={Speech Lab, DAMO Academy, Alibaba Group},
  year={2025},
  url={https://github.com/FunAudioLLM/SenseVoice}
}