K-ON111111/tiny-random-LlamaForCausalLM
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

tiny-random-LlamaForCausalLM — 昇腾 NPU 适配模型

赛事: 昇腾 Model Agent 模型适配大赛(第二季) 引擎: torch_npu 硬件: Ascend 910B4 标签: npu ascend pytorch transformers

📖 模型简介

属性值
原始模型hmellor/tiny-random-LlamaForCausalLM
参数量1.06 M
任务类型文本生成(Llama 因果语言模型,测试用)
输入格式自然语言文本
输出格式生成文本

tiny-random-LlamaForCausalLM 是随机初始化的小型 Llama 模型(2 层,hidden 16), 用于验证 Llama 架构在昇腾 NPU 上的推理流程。本适配在 Ascend 910B4 上完成 自回归生成,单次约 0.6 s。

🔧 环境依赖

⚠️ 本仓库不包含模型权重(交付件仅 inference.py / readme.md / requirements.txt / assets/), 推理前必须先从原始模型仓单独下载权重。

huggingface-cli download hmellor/tiny-random-LlamaForCausalLM --local-dir ./ --local-dir-use-symlinks False
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/

🚀 推理步骤

python3 inference.py --model_path . --input "The capital of France is" --device npu:0

🧪 测试用例

python3 inference.py --model_path . --input "The capital of France is" --device npu:0 --max_new_tokens 20

预期输出:

[Model Agent] NPU 设备就绪: Ascend910B4 (count=1)
[Model Agent] 模型加载完成 -> npu:0 (1.06M params)
[Model Agent] 生成文本 (20 tokens):
Var populated kilometerзда moins...
[Model Agent] 推理时延: 614.7 ms

📁 目录结构

.
├── inference.py          # NPU 推理脚本
├── readme.md             # 本文件
├── requirements.txt      # 依赖清单
└── assets/               # 截图素材

📝 适配说明

本模型由 昇腾 Model Agent 自动完成 NPU 适配:

  • 代码迁移: 标准 LlamaForCausalLM + AutoTokenizer,model.to('npu:0') + torch.no_grad() 自回归生成,无 CUDA 依赖。
  • 验证: Ascend 910B4 上推理,生成流程正常(随机小模型输出为随机文本)。