K-ON111111/MusaCoder-27B
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

MusaCoder-27B — 昇腾 NPU 适配模型

赛事: 昇腾 Model Agent 模型适配大赛(第二季) 引擎: torch_npu 硬件: Ascend 910B4 标签: npu ascend pytorch transformers

📖 模型简介

属性值
原始模型MooreThreads/MusaCoder-27B
参数量27 B
任务类型代码生成 / 文本生成(Qwen3.5 架构)
输入格式自然语言 / 代码提示
输出格式前向推理 next-token 预测

MusaCoder-27B 是摩枢(MooreThreads)推出的高性能代码大模型,基于 Qwen3.5 架构(64 层,hidden 5120),擅长代码生成、补全与推理。本适配在昇腾 NPU (Ascend 910B4)上完成前向推理。

⚠️ 显存提示:27B bf16 权重约 54GB,超单卡 32GB HBM。本脚本用 device_map="auto" 将 400/851 层加载到 NPU、其余卸载 CPU 协同推理; 完整自回归生成需更多显存(多卡或量化),本交付以**前向推理(next-token 预测)**作为 NPU 验证。建议机器具备 ≥64GB 系统内存。

🔧 环境依赖

⚠️ 本仓库不包含模型权重(交付件仅 inference.py / readme.md / requirements.txt / assets/), 推理前必须先从原始模型仓单独下载权重。

# 1. 下载模型权重(仓库不含权重,必须单独下载)
huggingface-cli download MooreThreads/MusaCoder-27B --local-dir ./ --local-dir-use-symlinks False

# 2. 安装依赖
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/

🚀 推理步骤

# 运行 NPU 推理(提示 -> next-token 预测)
python3 inference.py --model_path . --input "def fibonacci(n):" --device npu:0

🧪 测试用例

用例 1: 代码 next-token 预测

python3 inference.py --model_path . --input "def fibonacci(n):" --device npu:0

预期输出:

[Model Agent] NPU 设备就绪: Ascend910B4 (count=1)
[Model Agent] 模型加载完成: MusaCoder-27B, NPU 层 400/851
[Model Agent] 前向推理完成 (next-token 预测)
[Model Agent] logits 形状: (248320,), vocab=248320
  top1: '\n' (prob 0.9648)
  top2: '\r\n' (prob 0.0156)
  top3: '\n\n' (prob 0.0084)
  top4: ' ' (prob 0.0022)
  top5: ' #' (prob 0.0021)
[Model Agent] 推理时延: 43012.6 ms

📁 目录结构

.
├── inference.py          # NPU 推理脚本
├── readme.md             # 本文件
├── requirements.txt      # 依赖清单
└── assets/               # 截图素材

📝 适配说明

本模型由 昇腾 Model Agent 自动完成 NPU 适配:

  • 代码迁移: AutoModelForCausalLM(Qwen3.5)+ AutoTokenizer;27B bf16 超单卡 HBM,device_map="auto" 分层加载(NPU 400/851 层 + CPU 卸载),前向推理在 NPU 上运行,无 CUDA 依赖。
  • 验证: Ascend 910B4 上前向推理,next-token 预测合理(代码场景输出换行符)。