模型:VibeThinker-3B(WeiboAI)——Qwen2ForCausalLM 3B 对话/推理模型
WeiboAI/VibeThinker-3B(微博 AI)——Qwen2ForCausalLM 架构 3B 通用对话/推理大模型,规模 3B 参数(hidden=2048 / intermediate=11008 / 36 层 / 16 头 / kv=2 / vocab 151936)。
| 项目 | 结果 |
|---|---|
| 前向输出 | CPU/NPU 一致 |
| 精度(rel-L2) | 2.37e-6(< 1% 阈值,PASS) |
| 性能(NPU avg) | 0.4203 ms(batch=1) |
| 稳定性 | 20 轮 batch1 逐位一致(PASS) |
| 验收 | 六件套齐全,CPU/NPU 独立子进程对比 |
python3 minimal_repro.py
python3 accuracy_eval.py
python3 benchmark.py
python3 stability.py
python3 inference.pyresults/accuracy_211.json / benchmark_211.json / stability_211.json / inference_results_211.json| 截图 | 说明 |
|---|---|
| agent_workflow.png | 完整适配工作流 |
| npu_device_call.png | NPU 设备调用与性能日志 |
| model_result.png | 推理结果与验收 |