bloom-560m 在昇腾 NPU 上的部署

1. 简介

模型来源: AI-ModelScope/bloom-560m
参数量: 559,214,592
适配状态: 成功
适配时间: 2026-05-15 03:27:33

2. 验证环境

组件	版本
torch	2.9.0
torch-npu	2.9.0.post1
transformers	4.57.6
CANN	8.5.1
NPU	Ascend 910B4

3. 精度评测

指标	数值
余弦相似度	1.003129
精度误差	0.3129%
是否满足要求	是（< 1%）✅

精度截图

4. 性能

指标	数值
平均延迟	17.87 毫秒
峰值显存	1.24 GB

5. 复现步骤

python3 evaluate.py --model-id AI-ModelScope/bloom-560m --device npu:0 --output report.json
python3 inference.py --model-id AI-ModelScope/bloom-560m --device npu:0

贡献者: xujiashuai | 赛道: 模型适配赛道

bloom-560m 在昇腾 NPU 上的部署

1. 简介

模型来源: AI-ModelScope/bloom-560m
参数量: 559,214,592
适配状态: 成功
适配时间: 2026-05-15 03:27:33

2. 验证环境

组件	版本
torch	2.9.0
torch-npu	2.9.0.post1
transformers	4.57.6
CANN	8.5.1
NPU	Ascend 910B4

3. 精度评测

指标	数值
余弦相似度	1.003129
精度误差	0.3129%
是否满足要求	是（< 1%）✅

精度截图

4. 性能

指标	数值
平均延迟	17.87 毫秒
峰值显存	1.24 GB

5. 复现步骤

python3 evaluate.py --model-id AI-ModelScope/bloom-560m --device npu:0 --output report.json
python3 inference.py --model-id AI-ModelScope/bloom-560m --device npu:0

贡献者: xujiashuai | 赛道: 模型适配赛道