cd granite-4.1-3b-ascend/
python3 inference.py --prompt "Hello, my name is" --max_tokens 100
推理参数说明
参数
默认值
说明
--model
/opt/atomgit/mxy/granite-4.1-3b
模型路径
--prompt
"Hello, my name is"
输入提示词
--max_tokens
100
最大生成 token 数
--temperature
0.7
采样温度
--precision_test
False
运行精度测试
测试验证
精度测试结果
指标
阈值
实测值
状态
max_error_sum
< 1e-3
0.00e+00
✅ PASS
max_error_mean
< 1e-5
0.00e+00
✅ PASS
max_error_std
< 1e-5
0.00e+00
✅ PASS
性能数据
指标
值
CPU computation (20 tensors)
~6.25s
NPU inference (20 tensors)
~0.61s
测试日志
2026-05-19 09:42:00 - INFO - Model loaded!
2026-05-19 09:42:00 - INFO - Supported tasks: ['generate']
2026-05-19 09:42:01 - INFO - Output: [Your Name] and I am a senior...
2026-05-19 09:42:01 - INFO - Inference successful!