dolphin-2.9.1-yi-1.5-34b 是 Cognitive Computations 团队基于 01-ai/Yi-1.5-34B 底座全参微调的对话模型,采用 ChatML 模板,覆盖通用对话、指令遵循、代码生成与函数调用等场景,官方报告 MMLU 77.4。模型以 Apache 2.0 许可发布。
从结构上看,它是一枚标准的 Llama 架构稠密因果语言模型(LlamaForCausalLM),关键超参如下:
| 超参 | 数值 |
|---|---|
| 层数 (num_hidden_layers) | 60 |
| 隐层维度 (hidden_size) | 7168 |
| 注意力头 / KV 头 | 56 / 8 (GQA) |
| 前馈维度 (intermediate_size) | 20480 |
| 词表大小 (vocab_size) | 64000 |
| 最大位置编码 | 8192 |
| RoPE theta | 5000000 |
| 数据类型 | bfloat16 |
| 权重体积 | 约 68.8 GB |
权重通过 GitCode hf_mirrors 镜像(dphn/dolphin-2.9.1-yi-1.5-34b)拉取,共 15 个 safetensors 分片。由于 bfloat16 权重超过单卡 61GB 可用显存,本次适配采用 2 卡张量并行(--tensor-parallel-size 2)部署,在昇腾 910 NPU 上完成加载、服务化与推理验证,并以 OpenAI 兼容协议对外提供接口。
本次适配在以下环境中完成全部验证:
| 组件 | 版本 |
|---|---|
| 操作系统 | Linux (openEuler, aarch64) |
| NPU 硬件 | Ascend 910 (2× 64GB HBM, 张量并行) |
| CANN 版本 | 8.5.1 |
| Python | 3.11.14 |
| torch | 2.9.0+cpu |
| torch_npu | 2.9.0.post1+gitee7ba04 |
| vllm | 0.18.0 |
| vllm-ascend | 0.18.0 |
| transformers | 4.57.6 |
| openai | 2.24.0 |
权重来源:GitCode hf_mirrors(ai.gitcode.com/hf_mirrors/dphn/dolphin-2.9.1-yi-1.5-34b),Git 远端 gitcode.com/hf_mirrors/dphn/dolphin-2.9.1-yi-1.5-34b.git。
cd /path/to/dolphin-2.9.1-yi-1.5-34b
python3 inference.py --mode serve --host 0.0.0.0 --port 8010 \
--tensor-parallel-size 2 --dtype bfloat16ASCEND_RT_VISIBLE_DEVICES=0,1 \
vllm serve /path/to/dolphin-2.9.1-yi-1.5-34b \
--served-model-name dolphin-2.9.1-yi-1.5-34b \
--dtype bfloat16 \
--tensor-parallel-size 2 \
--max-model-len 8192 \
--gpu-memory-utilization 0.85 \
--host 0.0.0.0 --port 8010服务就绪后监听 8010 端口,提供 OpenAI 兼容接口:GET /v1/models、POST /v1/chat/completions、POST /v1/completions。
python3 inference.py --mode offline --prompt "请用一句话介绍昇腾 AI 处理器。"不启动 HTTP 服务,直接在 NPU 上完成一次生成,用于快速确认权重可加载、算子可执行。
服务就绪后依次执行:
# 1. 健康检查
curl -s http://127.0.0.1:8010/health
# 2. 模型列表
curl -s http://127.0.0.1:8010/v1/models
# 3. 对话补全
curl -s http://127.0.0.1:8010/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"dolphin-2.9.1-yi-1.5-34b",
"messages":[{"role":"user","content":"你好,请自我介绍一下"}],
"temperature":0.7,"max_tokens":128}'本机实测返回内容见文末推理样例,首 token 延迟与生成速率见性能参考章节。若 /v1/models 能列出 dolphin-2.9.1-yi-1.5-34b 且对话返回正常文本,即代表链路通畅。
在 Ascend 910(2 卡 TP=2)上对服务进行了连续生成压测,实测数据如下:
| 指标 | 数值 |
|---|---|
| 模型加载耗时 | 约 4 分 13 秒(01:15:12 起载 → 01:19:25 就绪) |
| 首 token 延迟 (TTFT) | 0.24 s |
| 平均生成速率 | 22.5 tokens/s |
| 单请求平均总延迟 | 约 3.0 |
| 请求并发 | 1(顺序压测) |
| NPU 进程 HBM 占用(每卡) | 约 53.5 GB / 卡(VLLMWorker_TP 进程) |
| AICore 利用率(峰值) | 68%(chip1)/ 67%(chip0) |
压测期间服务进程在 npu-smi 中可见,NPU 5 号卡两个芯片各有 VLLMWorker_TP 张量并行进程驻留(PID 22060 / 22061,各占约 53.5 GB),芯片 HBM 占用分别约 62.0 GB / 56.5 GB。生成长文(256 tokens)时 AICore 稳定在 64%~68%。
从三个层面验证 NPU 上推理的正确性:
1. 输出确定性
对相同输入以 temperature=0 重复请求,输出应逐 token 一致,用于确认图模式与采样链路稳定。
2. 事实性抽查
构造带确定答案的常识 / 数学问题,人工核对回复内容。
3. 参考一致性
用相同权重在另一条推理通道(offline vllm.LLM)以相同采样参数复现同一 prompt,比对生成结果的一致性。
实测结果(2026-08-23):
确定性(temperature=0 重复两次):
| 输入 | 第 1 次 | 第 2 次 | 一致 |
|---|---|---|---|
1+1=? | 1 + 1 = 2 | 1 + 1 = 2 | 是 |
事实性抽查:
| 问题 | 模型回复(节选) | 期望 | 结果 |
|---|---|---|---|
| 中国首都是哪个城市? | 中国的首都是北京。 | 北京 | 命中 |
| 水的化学式是什么? | 水的化学式是H2O… | H2O | 命中 |
| 2的10次方等于多少? | 2 的10 次方等于1024。 | 1024 | 命中 |
数学推理: 输入「一个数加上它的两倍等于 27,这个数是多少?请给出推导。」,模型正确推导 x + 2x = 27 → 3x = 27 → x = 9。
代码生成: 输入「用 Python 写一个函数,判断一个字符串是否是回文。」,输出 isPalindrome 函数(小写化 + 去非字母数字 + 反转比对),逻辑正确。
ASCEND_RT_VISIBLE_DEVICES 指定逻辑设备,避免与其它窗口的服务抢占资源。--port 指定空闲端口,不要结束他人进程。--gpu-memory-utilization 可能导致 OOM 或 KV cache 不足。max_position_embeddings 为 8192,超出长度的输入会被截断。dolphin-2.9.1-yi-1.5-34b/
├── inference.py # 推理与服务脚本(serve / offline / chat 三模式)
├── README.md # 本文档
├── requirements.txt # Python 依赖
└── assets/
└── README.md # 附加材料说明