export HF_ENDPOINT=https://hf-mirror.com
pip install transformers multimolecule torch_npu Pillow
python3 inference.py以下为 Ascend NPU 真实推理输出(Ascend910_9362, CANN 8.5.1, torch_npu 2.9.0):
[worker] multimolecule/hal
[mm-runtime] multimolecule minimal runtime (transformers 4.57.6 shim)
[load] HalModel.from_pretrained(dtype=fp16) -> npu:0
[input] input_ids: (1, 160) -> npu:0
[forward] logits 输出形状正确,无算子/精度报错
结果: OK (HalModel, len=160, 229s)
[DONE]说明:在昇腾 910 NPU 上使用 multimolecule 运行时加载 HalModel 真实权重完成前向推理;
输入为长度 160 的 token 序列,229 秒内完成,验证加载、算子执行、输出全链路通过。