Voxtral-Mini-4B-Realtime-2602 是 MistralAI 开源的实时多语言语音转写(ASR)模型: 基于 VoxtralRealtimeForConditionalGeneration 架构,输入 16kHz 音频经 mel 特征提取后 流式生成转写文本,支持低延迟实时场景。
| 组件 | 版本/说明 |
|---|---|
| Python | 3.11.4 |
| torch / torch_npu | 系统 2.7.1+cpu / 8.x |
| transformers | 模型专属 libs 内隔离安装 |
模型专属依赖安装于 /mnt/workspace/Voxtral-Mini-4B-Realtime-2602/libs(隔离目录,不污染共享环境)。
npu-smi info
ls /home/developer/models/Voxtral-Mini-4B-Realtime-2602/cd Voxtral-Mini-4B-Realtime-2602
PYTHONPATH=/mnt/workspace/Voxtral-Mini-4B-Realtime-2602/libs \
python3 inference.py --model_path /home/developer/models/Voxtral-Mini-4B-Realtime-2602| 参数 | 默认值 | 说明 |
|---|---|---|
| --model_path | (必填) | 权重目录路径 |
内置样例:合成音频 4.0s @ 16000Hz,mel 特征 (1,128,792),流式转写。
[INFO] 模型加载完成,加载耗时=14.68s
[INFO] 输入特征: input_features=(1, 128, 792), input_ids=(1, 39)
耗时/elapsed: 4.583 s
输出: outputs/transcription.txt见 assets/agent_workflow.png。
见 assets/npu_device_call.png。
见 assets/model_result.png。