Y
YYPGD/Voxtral-Mini-4B-Realtime-2602
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Voxtral-Mini-4B-Realtime-2602 昇腾 NPU 适配

1. 模型简介

Voxtral-Mini-4B-Realtime-2602 是 MistralAI 开源的实时多语言语音转写(ASR)模型: 基于 VoxtralRealtimeForConditionalGeneration 架构,输入 16kHz 音频经 mel 特征提取后 流式生成转写文本,支持低延迟实时场景。

  • 输入:合成示例音频 4.0s @ 16000Hz, float32
  • 输出:转写文本(outputs/transcription.txt)
  • 本仓库 inference.py 只传 --model_path 即可跑通,自动选择设备 npu > cuda > cpu 并打印耗时

2. 环境依赖

组件版本/说明
Python3.11.4
torch / torch_npu系统 2.7.1+cpu / 8.x
transformers模型专属 libs 内隔离安装

模型专属依赖安装于 /mnt/workspace/Voxtral-Mini-4B-Realtime-2602/libs(隔离目录,不污染共享环境)。

3. 推理步骤

3.1 环境准备

npu-smi info
ls /home/developer/models/Voxtral-Mini-4B-Realtime-2602/

3.2 运行推理

cd Voxtral-Mini-4B-Realtime-2602
PYTHONPATH=/mnt/workspace/Voxtral-Mini-4B-Realtime-2602/libs \
python3 inference.py --model_path /home/developer/models/Voxtral-Mini-4B-Realtime-2602

3.3 推理参数说明

参数默认值说明
--model_path(必填)权重目录路径

4. 测试样例及输出结果

内置样例:合成音频 4.0s @ 16000Hz,mel 特征 (1,128,792),流式转写。

[INFO] 模型加载完成,加载耗时=14.68s
[INFO] 输入特征: input_features=(1, 128, 792), input_ids=(1, 39)
耗时/elapsed: 4.583 s
输出: outputs/transcription.txt

5. Agent适配截图

5.1 Agent适配全过程截图

见 assets/agent_workflow.png。

5.2 NPU设备调用截图

见 assets/npu_device_call.png。

5.3 模型适配结果截图

见 assets/model_result.png。

6. 注意事项

  1. 输入张量:音频特征 float32,NPU 上全程 float32 推理。
  2. 合成音频说明:内置样例为合成音频(非真实人声),转写输出为空字符串属预期行为,token 流与耗时指标可正常验证推理链路。