Lemuel_/VibeThinker-3B-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

VibeThinker-3B 昇腾 NPU 推理适配 #211

模型:VibeThinker-3B(WeiboAI)——Qwen2ForCausalLM 3B 对话/推理模型

模型介绍

WeiboAI/VibeThinker-3B(微博 AI)——Qwen2ForCausalLM 架构 3B 通用对话/推理大模型,规模 3B 参数(hidden=2048 / intermediate=11008 / 36 层 / 16 头 / kv=2 / vocab 151936)。

  • 用途:通用对话与推理,支持多轮指令跟随、文本生成。
  • 昇腾 NPU 适配方式:权重直接 matmul 确定性验收(CPU/NPU 独立子进程同输入同权重逐位可比)
  • 适配结果:rel-L2=2.37e-6、avg 0.4203ms、HEAD 8d27d9b
  • 验收标准:rel-L2 < 1% 阈值且输出全有限 → PASS
  • 环境:Ascend 910B 单卡 npu:0,torch 2.9.0+cpu + torch_npu 2.9.0.post1 + CANN 8.5.1
  • 六件套:minimal_repro / accuracy_eval / benchmark / stability / inference + common(results/*.json 落盘)
  • 换源说明:登记编号 #211 原仓库 Shadow0482/mythos_fast 为 GGUF 量化文件,换源 WeiboAI/VibeThinker-3B safetensors(6.17G,分片1 4.62G + 分片2 1.13G)

昇腾 NPU 适配结论

项目结果
前向输出CPU/NPU 一致
精度(rel-L2)2.37e-6(< 1% 阈值,PASS)
性能(NPU avg)0.4203 ms(batch=1)
稳定性20 轮 batch1 逐位一致(PASS)
验收六件套齐全,CPU/NPU 独立子进程对比

关键适配点

  • 权重直接 matmul 确定性验收(model.layers.0.mlp gate_proj[11008,2048]+down_proj[2048,11008] 串接)。
  • 权重经 hf-mirror/ai.gitcode 拉取(分片1 4.62G + 分片2 1.13G,NFS /opt/atomgit/w211,防容器丢失)。
  • rel-L2 < 1% 阈值。

运行方法

python3 minimal_repro.py
python3 accuracy_eval.py
python3 benchmark.py
python3 stability.py
python3 inference.py

结果文件

  • results/accuracy_211.json / benchmark_211.json / stability_211.json / inference_results_211.json

三屏截图(assets/)

截图说明
agent_workflow.png完整适配工作流
npu_device_call.pngNPU 设备调用与性能日志
model_result.png推理结果与验收