🦙 Llama-68M

🤗 HuggingFace | 🪞 hf-mirror

What's New

• [2025.05] Ascend NPU 适配完成 — Llama-68M 通过 vLLM-Ascend 在华为 Ascend 910B2 NPU 上完成端到端验证，实现 100% Top-1 Token 匹配率，概率误差 < 1%，推理吞吐达 ~1571 tok/s。

模型介绍

Llama-68M 是一个基于标准 LLaMA 架构的轻量级预训练语言模型，参数量为 68.2M。该模型保留了 LLaMA 的完整架构（RMSNorm、SwiGLU、RoPE），仅通过减少层数（2 层）和 hidden_size（768）来控制参数量，是验证 LLaMA 架构在 Ascend NPU 上推理精度的理想测试载体。

使用方法

环境要求

# 安装 vLLM-Ascend
pip install vllm vllm-ascend

使用 Transformers（CPU/GPU 参考）

from transformers import LlamaForCausalLM, LlamaTokenizer

model_path = "JackFram/llama-68m"
tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(model_path)

inputs = tokenizer("Hello, my name is", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=30)
print(tokenizer.decode(outputs[0]))

使用 vLLM-Ascend（华为昇腾 NPU）

from vllm import LLM, SamplingParams

llm = LLM(
    model="JackFram/llama-68m",  # 或本地路径
    dtype="float16",
    max_model_len=512,
    gpu_memory_utilization=0.8,
    trust_remote_code=True,
    enforce_eager=True,
)

sampling_params = SamplingParams(temperature=0.7, max_tokens=50)
outputs = llm.generate(["The capital of France is"], sampling_params)
print(outputs[0].outputs[0].text)

Ascend NPU 适配与评测报告

1. 环境信息

2. 适配结论

✅ 零代码修改，完全适配成功

Llama-68M 使用标准 LlamaForCausalLM 架构，该架构已被 vLLM 原生支持，vLLM-Ascend 通过 MiniCPM 代码路径自动映射，无需任何代码修改。启动日志确认：

Platform plugin ascend is activated
Resolved architecture: LlamaForCausalLM
device_config=npu

3. 精度评测

3.1 评测方法

以 CPU (PyTorch transformers + float32) 推理结果为参考基线，对比 NPU (vLLM-Ascend + float16) 推理结果的 next-token 预测分布。共测试 8 组涵盖不同语义主题的 prompt，分别采集 CPU 和 NPU 的 logits 与概率分布进行逐项比对。

精度度量指标说明：

3.2 Token 预测一致性（vLLM-Ascend vs CPU）

注： 由于模型为随机权重（未训练），预测的 token 无实际语义，但 NPU 与 CPU 的 token 完全一致，证明了计算精度的一致性。

3.3 Logit 级精度对比（Transformers NPU float16 vs CPU float32）

3.4 精度评测汇总

3.5 精度误差分析

结论：NPU (float16) 在生成质量上与 CPU (float32) 完全等效，满足生产部署的精度要求。

1. 余弦相似度 >0.99999：NPU 与 CPU 的 logit 向量方向几乎完全一致，表明浮点运算的数值近似误差极小。

2. Top-1 / Top-5 完全一致：在测试的所有 prompt 上，NPU 和 CPU 预测的 next-token 和 Top-5 集合完全相同，确保实际生成文本的一致性。

3. 显著位相对误差 0.17%：仅对幅度 > 0.1 的"有效 logit"计算相对误差，排除近零值的噪声影响。0.17% 的平均误差完全符合业界 FP16 vs FP32 的典型精度偏差范围（通常 < 1%）。

4. 概率绝对误差 1.8e-08：softmax 后的概率分布差异可忽略不计，KL 散度接近零。

5. 误差来源说明：FP16 精度（NPU）与 FP32 精度（CPU）之间的微小偏差来源于：

   • FP16 尾数位（10-bit）比 FP32（23-bit）短，在累加运算中产生舍入误差
   • LayerNorm/RMSNorm 等归一化操作对精度敏感
   • 这些误差符合 IEEE 754 浮点标准预期，对最终输出无实质影响

3.6 概率分布可视化示例

Prompt: "The capital of France is"
Rank | CPU Token  | CPU Prob  | NPU Token  | NPU Prob  | 匹配
-----|------------|-----------|------------|-----------|-----
1    | 'pier'     | 0.000298  | 'pier'     | 0.000298  | ✅
2    | 'VM'       | 0.000281  | 'VM'       | 0.000281  | ✅
3    | 'eus'      | 0.000276  | 'eus'      | 0.000275  | ✅
4    | 'server'   | 0.000268  | 'server'   | 0.000268  | ✅
5    | 'рок'      | 0.000264  | 'рок'      | 0.000264  | ✅

说明：由于模型为随机权重，概率值较小且分布均匀，但 NPU 与 CPU 在每个 token 上的概率值高度一致。

4. 性能评测

4.1 单请求延迟

4.2 批量吞吐

4.3 Prefill 与 Decode 分解

4.4 显存使用

5. 环境兼容性说明

6. 注意事项

1. dtype 选择：原始模型为 float32 权重，vLLM-Ascend 自动降级为 float16（NPU 最优计算格式）。精度评测表明 float16 与 float32 的偏差 < 1%，推荐生产环境使用 float16。
2. enforce_eager：初次测试建议启用，后续可尝试 VLLM_COMPILE 模式以进一步优化性能。
3. 权重格式：如使用 safetensors 格式权重，需确保配置文件中的 "use_safetensors": true 与实际文件匹配。
4. 长上下文：该模型 max_position_embeddings=2048，如需更长上下文可按需配置 max_model_len。

声明

• Llama-68M 为 JackFram 发布的轻量级 LLaMA 测试模型，本仓库提供了 Ascend NPU 上的适配验证报告。
• 该模型权重为随机初始化，未经过训练，生成的文本无语义含义。
• Ascend NPU 适配工作由 vLLM-Ascend 社区支持。

许可证

• 本项目基于 Apache-2.0 许可证。

精度数据摘要

┌─────────────────────────────────────────────────────┐
│           Llama-68M 昇腾 NPU 精度验证结论             │
├─────────────────────────────────────────────────────┤
│  ✅ Top-1 Token 匹配率: 100%                        │
│  ✅ Cosine Similarity: 0.999998 (平均)               │
│  ✅ 显著位相对误差: 0.17% (< 1%)                     │
│  ✅ Top-5 Token 包含率: 100%                         │
│  ✅ 概率分布 KL 散度: ~0                             │
│                                                     │
│  结论: NPU (float16) 与 CPU (float32) 推理结果等效   │
│       精度满足生产部署要求                           │
└─────────────────────────────────────────────────────┘