export HF_ENDPOINT=https://hf-mirror.com
pip install transformers multimolecule torch_npu Pillow
python3 inference.py以下为 Ascend NPU 真实推理输出(Ascend910_9362, CANN 8.5.1, torch_npu 2.9.0):
[worker] multimolecule/openspliceai-mane.10000
[mm-runtime] multimolecule minimal runtime (transformers 4.57.6 shim)
[load] OpenSpliceAiForTokenPrediction.from_pretrained(dtype=fp16) -> npu:0
[input] input_ids: (1, 256) -> npu:0
[forward] logits 输出形状正确,无算子/精度报错
结果: OK (OpenSpliceAiForTokenPrediction, len=256, 60s)
[DONE]说明:在昇腾 910 NPU 上使用 multimolecule 运行时加载 OpenSpliceAiForTokenPrediction 真实权重完成前向推理;
输入为长度 256 的 token 序列,60 秒内完成,验证加载、算子执行、输出全链路通过。