HuggingFaceTB/SmolVLM-256M-Instruct 已在 昇腾 Ascend910B NPU 上跑通图文推理。 部署文档见 readme.md;推理脚本 inference.py; 验证报告 VALIDATION.md。
pip install -r requirements.txt
python3 inference.py # NPU 图文生成(内置合成测试图)
python3 inference.py --image demo.png --prompt "Describe this image."
python3 inference.py --compare # CPU(fp32) vs NPU(fp32) 一致性Idefics3ForConditionalGeneration 在 npu:0(Ascend910_9362)上完整运行torch.bucketize bf16→fp32(规避 aclnnSearchSorted 161002)| 截图 | 内容 |
|---|---|
assets/npu_device_call.png | NPU 硬件设备调用日志 |
assets/model_result.png | 模型最终适配验收结果 |
assets/agent_workflow.png | Agent 完整适配工作流 |
assets/agent_usage_1..3.png | Agent 使用过程截图 |