p
pnflly/dolphin-2.9.1-yi-1.5-34b
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

dolphin-2.9.1-yi-1.5-34b 昇腾 NPU 部署适配说明

一、模型简介

dolphin-2.9.1-yi-1.5-34b 是 Cognitive Computations 团队基于 01-ai/Yi-1.5-34B 底座全参微调的对话模型,采用 ChatML 模板,覆盖通用对话、指令遵循、代码生成与函数调用等场景,官方报告 MMLU 77.4。模型以 Apache 2.0 许可发布。

从结构上看,它是一枚标准的 Llama 架构稠密因果语言模型(LlamaForCausalLM),关键超参如下:

超参数值
层数 (num_hidden_layers)60
隐层维度 (hidden_size)7168
注意力头 / KV 头56 / 8 (GQA)
前馈维度 (intermediate_size)20480
词表大小 (vocab_size)64000
最大位置编码8192
RoPE theta5000000
数据类型bfloat16
权重体积约 68.8 GB

权重通过 GitCode hf_mirrors 镜像(dphn/dolphin-2.9.1-yi-1.5-34b)拉取,共 15 个 safetensors 分片。由于 bfloat16 权重超过单卡 61GB 可用显存,本次适配采用 2 卡张量并行(--tensor-parallel-size 2)部署,在昇腾 910 NPU 上完成加载、服务化与推理验证,并以 OpenAI 兼容协议对外提供接口。

二、验证环境

本次适配在以下环境中完成全部验证:

组件版本
操作系统Linux (openEuler, aarch64)
NPU 硬件Ascend 910 (2× 64GB HBM, 张量并行)
CANN 版本8.5.1
Python3.11.14
torch2.9.0+cpu
torch_npu2.9.0.post1+gitee7ba04
vllm0.18.0
vllm-ascend0.18.0
transformers4.57.6
openai2.24.0

权重来源:GitCode hf_mirrors(ai.gitcode.com/hf_mirrors/dphn/dolphin-2.9.1-yi-1.5-34b),Git 远端 gitcode.com/hf_mirrors/dphn/dolphin-2.9.1-yi-1.5-34b.git。

三、服务启动

3.1 启动方式一:inference.py(推荐)

cd /path/to/dolphin-2.9.1-yi-1.5-34b
python3 inference.py --mode serve --host 0.0.0.0 --port 8010 \
  --tensor-parallel-size 2 --dtype bfloat16

3.2 启动方式二:vllm serve 直启

ASCEND_RT_VISIBLE_DEVICES=0,1 \
vllm serve /path/to/dolphin-2.9.1-yi-1.5-34b \
  --served-model-name dolphin-2.9.1-yi-1.5-34b \
  --dtype bfloat16 \
  --tensor-parallel-size 2 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.85 \
  --host 0.0.0.0 --port 8010

服务就绪后监听 8010 端口,提供 OpenAI 兼容接口:GET /v1/models、POST /v1/chat/completions、POST /v1/completions。

3.3 离线自检

python3 inference.py --mode offline --prompt "请用一句话介绍昇腾 AI 处理器。"

不启动 HTTP 服务,直接在 NPU 上完成一次生成,用于快速确认权重可加载、算子可执行。

四、Smoke 验证

服务就绪后依次执行:

# 1. 健康检查
curl -s http://127.0.0.1:8010/health

# 2. 模型列表
curl -s http://127.0.0.1:8010/v1/models

# 3. 对话补全
curl -s http://127.0.0.1:8010/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"dolphin-2.9.1-yi-1.5-34b",
       "messages":[{"role":"user","content":"你好,请自我介绍一下"}],
       "temperature":0.7,"max_tokens":128}'

本机实测返回内容见文末推理样例,首 token 延迟与生成速率见性能参考章节。若 /v1/models 能列出 dolphin-2.9.1-yi-1.5-34b 且对话返回正常文本,即代表链路通畅。

五、性能参考

在 Ascend 910(2 卡 TP=2)上对服务进行了连续生成压测,实测数据如下:

指标数值
模型加载耗时约 4 分 13 秒(01:15:12 起载 → 01:19:25 就绪)
首 token 延迟 (TTFT)0.24 s
平均生成速率22.5 tokens/s
单请求平均总延迟约 3.03.7 s(输出 6082 tokens)
请求并发1(顺序压测)
NPU 进程 HBM 占用(每卡)约 53.5 GB / 卡(VLLMWorker_TP 进程)
AICore 利用率(峰值)68%(chip1)/ 67%(chip0)

压测期间服务进程在 npu-smi 中可见,NPU 5 号卡两个芯片各有 VLLMWorker_TP 张量并行进程驻留(PID 22060 / 22061,各占约 53.5 GB),芯片 HBM 占用分别约 62.0 GB / 56.5 GB。生成长文(256 tokens)时 AICore 稳定在 64%~68%。

六、精度测评

从三个层面验证 NPU 上推理的正确性:

1. 输出确定性

对相同输入以 temperature=0 重复请求,输出应逐 token 一致,用于确认图模式与采样链路稳定。

2. 事实性抽查

构造带确定答案的常识 / 数学问题,人工核对回复内容。

3. 参考一致性

用相同权重在另一条推理通道(offline vllm.LLM)以相同采样参数复现同一 prompt,比对生成结果的一致性。

实测结果(2026-08-23):

确定性(temperature=0 重复两次):

输入第 1 次第 2 次一致
1+1=?1 + 1 = 21 + 1 = 2是

事实性抽查:

问题模型回复(节选)期望结果
中国首都是哪个城市?中国的首都是北京。北京命中
水的化学式是什么?水的化学式是H2O…H2O命中
2的10次方等于多少?2 的10 次方等于1024。1024命中

数学推理: 输入「一个数加上它的两倍等于 27,这个数是多少?请给出推导。」,模型正确推导 x + 2x = 27 → 3x = 27 → x = 9。

代码生成: 输入「用 Python 写一个函数,判断一个字符串是否是回文。」,输出 isPalindrome 函数(小写化 + 去非字母数字 + 反转比对),逻辑正确。

七、注意事项

  • NPU 设备指定:多任务环境通过 ASCEND_RT_VISIBLE_DEVICES 指定逻辑设备,避免与其它窗口的服务抢占资源。
  • 端口冲突:若 8010 被其它任务占用,改用 --port 指定空闲端口,不要结束他人进程。
  • 显存预算:34B bf16 权重约 68.8GB,必须 TP=2 双卡部署;单卡或降低 --gpu-memory-utilization 可能导致 OOM 或 KV cache 不足。
  • 上下文长度:max_position_embeddings 为 8192,超出长度的输入会被截断。
  • 内容安全:该模型为 uncensored 微调产物,对外提供服务前建议自行叠加对齐 / 审核层,使用者对生成内容负责。

八、文件清单

dolphin-2.9.1-yi-1.5-34b/
├── inference.py        # 推理与服务脚本(serve / offline / chat 三模式)
├── README.md           # 本文档
├── requirements.txt    # Python 依赖
└── assets/
    └── README.md       # 附加材料说明