赛事: 昇腾 Model Agent 模型适配大赛(第二季) 引擎: torch_npu 硬件: Ascend 910B4 标签:
npuascendpytorchtransformers
| 属性 | 值 |
|---|---|
| 原始模型 | MooreThreads/MusaCoder-27B |
| 参数量 | 27 B |
| 任务类型 | 代码生成 / 文本生成(Qwen3.5 架构) |
| 输入格式 | 自然语言 / 代码提示 |
| 输出格式 | 前向推理 next-token 预测 |
MusaCoder-27B 是摩枢(MooreThreads)推出的高性能代码大模型,基于 Qwen3.5 架构(64 层,hidden 5120),擅长代码生成、补全与推理。本适配在昇腾 NPU (Ascend 910B4)上完成前向推理。
⚠️ 显存提示:27B bf16 权重约 54GB,超单卡 32GB HBM。本脚本用
device_map="auto"将 400/851 层加载到 NPU、其余卸载 CPU 协同推理; 完整自回归生成需更多显存(多卡或量化),本交付以**前向推理(next-token 预测)**作为 NPU 验证。建议机器具备 ≥64GB 系统内存。
⚠️ 本仓库不包含模型权重(交付件仅
inference.py/readme.md/requirements.txt/assets/), 推理前必须先从原始模型仓单独下载权重。
# 1. 下载模型权重(仓库不含权重,必须单独下载)
huggingface-cli download MooreThreads/MusaCoder-27B --local-dir ./ --local-dir-use-symlinks False
# 2. 安装依赖
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/# 运行 NPU 推理(提示 -> next-token 预测)
python3 inference.py --model_path . --input "def fibonacci(n):" --device npu:0python3 inference.py --model_path . --input "def fibonacci(n):" --device npu:0预期输出:
[Model Agent] NPU 设备就绪: Ascend910B4 (count=1)
[Model Agent] 模型加载完成: MusaCoder-27B, NPU 层 400/851
[Model Agent] 前向推理完成 (next-token 预测)
[Model Agent] logits 形状: (248320,), vocab=248320
top1: '\n' (prob 0.9648)
top2: '\r\n' (prob 0.0156)
top3: '\n\n' (prob 0.0084)
top4: ' ' (prob 0.0022)
top5: ' #' (prob 0.0021)
[Model Agent] 推理时延: 43012.6 ms.
├── inference.py # NPU 推理脚本
├── readme.md # 本文件
├── requirements.txt # 依赖清单
└── assets/ # 截图素材本模型由 昇腾 Model Agent 自动完成 NPU 适配:
AutoModelForCausalLM(Qwen3.5)+ AutoTokenizer;27B bf16 超单卡
HBM,device_map="auto" 分层加载(NPU 400/851 层 + CPU 卸载),前向推理在
NPU 上运行,无 CUDA 依赖。