赛事: 昇腾 Model Agent 模型适配大赛(第二季) 引擎: torch_npu 硬件: Ascend 910B4 标签:
npuascendpytorchtransformers
| 属性 | 值 |
|---|---|
| 原始模型 | hmellor/tiny-random-LlamaForCausalLM |
| 参数量 | 1.06 M |
| 任务类型 | 文本生成(Llama 因果语言模型,测试用) |
| 输入格式 | 自然语言文本 |
| 输出格式 | 生成文本 |
tiny-random-LlamaForCausalLM 是随机初始化的小型 Llama 模型(2 层,hidden 16), 用于验证 Llama 架构在昇腾 NPU 上的推理流程。本适配在 Ascend 910B4 上完成 自回归生成,单次约 0.6 s。
⚠️ 本仓库不包含模型权重(交付件仅
inference.py/readme.md/requirements.txt/assets/), 推理前必须先从原始模型仓单独下载权重。
huggingface-cli download hmellor/tiny-random-LlamaForCausalLM --local-dir ./ --local-dir-use-symlinks False
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/python3 inference.py --model_path . --input "The capital of France is" --device npu:0python3 inference.py --model_path . --input "The capital of France is" --device npu:0 --max_new_tokens 20预期输出:
[Model Agent] NPU 设备就绪: Ascend910B4 (count=1)
[Model Agent] 模型加载完成 -> npu:0 (1.06M params)
[Model Agent] 生成文本 (20 tokens):
Var populated kilometerзда moins...
[Model Agent] 推理时延: 614.7 ms.
├── inference.py # NPU 推理脚本
├── readme.md # 本文件
├── requirements.txt # 依赖清单
└── assets/ # 截图素材本模型由 昇腾 Model Agent 自动完成 NPU 适配:
LlamaForCausalLM + AutoTokenizer,model.to('npu:0') +
torch.no_grad() 自回归生成,无 CUDA 依赖。