p
pnflly/beaver-7b-v1.0-cost
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

PKU-Alignment/beaver-7b-v1.0-cost 昇腾 NPU 适配说明

一、模型简介

Beaver-7B-v1.0-cost 是北京大学 PKU-Alignment 团队在 safe-rlhf 安全对齐框架下训练得到的 cost 模型(安全成本评估器),基于 PKU-SafeRLHF 数据集训练,底层为 LLaMA-2-7B 主干。

与文本生成模型不同,cost 模型不产出 token 序列,而是对"用户-助手"对话逐 token 输出一个无界 cost 分数,其中序列的最终 cost 取对话最后一个 token 的分数。其语义为:cost 越高表示回答越危险/越应被安全策略拒绝,cost 越低表示回答越安全/有帮助。在 safe-rlhf 中,cost 模型与 reward 模型配合,用于在奖励优化时抑制有害响应。

本仓库针对该官方权重在昇腾 910 NPU 上完成适配:

  • 权重来自 GitCode hf_mirrors 镜像(hf_mirrors/PKU-Alignment/beaver-7b-v1.0-cost),7 个 safetensors 分片共约 13.2 GB
  • 架构为自定义 LlamaForScore(LLaMA-2-7B 主干 + score_head 打分头,hidden=4096 / 32 层 / MHA)
  • 权重零改动:直接加载官方 bf16 权重,无需任何权重重映射
  • 服务化推理:vLLM-Ascend 以 pooling 模式提供 OpenAI 兼容 /pooling 接口

模型核心结构:

对话序列 input_ids
      │
      ▼
LLaMA-2-7B 主干(32 层 decoder,hidden=4096,MHA 全注意力)
      │
      ▼
score_head: Linear(4096 -> 1) + bias        (逐 token 打分)
      │
      ▼
per-token cost 分数 → 序列 cost = 最后 token 的分数

打分头为单层线性映射(score_head.weight 形状 [1, 4096],含 bias),加上 LLaMA 主干共约 67 亿参数,bf16 下权重占 13.21 GB。

二、验证环境

本次适配的完整验证环境如下:

组件版本
操作系统Linux aarch64
NPU 硬件Ascend 910(Phy-ID 2 芯片,64 GB HBM)
CANN8.5.1
Python3.11.14
torch2.9.0
torch_npu2.9.0.post1
vLLM0.18.0
vllm-ascend0.18.0
服务端口8090(本机可自定义)

服务部署于 NPU 逻辑设备 npu:0(对应物理 Phy-ID 2 芯片)。部署前请先用 npu-smi info 确认目标芯片空闲 HBM 充足(需 ≥ 24 GB)。

三、服务启动

3.1 准备权重

# 方式一:GitCode hf_mirrors 镜像(推荐,国内可达)
git clone https://gitcode.com/hf_mirrors/PKU-Alignment/beaver-7b-v1.0-cost.git beaver-7b-v1.0-cost
cd beaver-7b-v1.0-cost && git lfs pull

# 方式二:ModelScope 镜像
git clone https://www.modelscope.cn/PKU-Alignment/beaver-7b-v1.0-cost.git beaver-7b-v1.0-cost

# 方式三:Hugging Face 直连
git clone https://huggingface.co/PKU-Alignment/beaver-7b-v1.0-cost.git beaver-7b-v1.0-cost
cd beaver-7b-v1.0-cost && git lfs pull

权重目录应包含 7 个 model-0000X-of-00007.safetensors 分片与 config.json、tokenizer.json 等文件。校验权重:

python -c "
from safetensors import safe_open
import glob
for f in sorted(glob.glob('beaver-7b-v1.0-cost/*.safetensors')):
    with safe_open(f, framework='numpy') as sf:
        print(f, len(sf.keys()), 'tensors')
"
# 期望输出 7 个分片,共 295 个权重键

3.2 安装依赖

pip install -r requirements.txt

3.3 启动服务

# 以服务模式启动(device=0 对应 npu:0)
python inference.py --mode serve --port 8090 --device 0

启动日志会输出 registered LlamaForScore(运行时适配器注入)与各 API 路由注册信息,等待数分钟权重加载完成后服务就绪。

3.4 推理测试(可选)

python inference.py --mode test --port 8090
# 输出 safe_helpful / unsafe_harmful / evasive 三类对话的 cost 分数

四、Smoke 验证

服务启动后,依次验证:

# 1. 模型列表
curl -s http://127.0.0.1:8090/v1/models
# {"object":"list","data":[{"id":"PKU-Alignment/beaver-7b-v1.0-cost","max_model_len":2048,...}]}

# 2. 推理(安全对话,cost 应为负值)
curl -s -X POST http://127.0.0.1:8090/pooling \
  -H 'Content-Type: application/json' \
  -d '{"model":"PKU-Alignment/beaver-7b-v1.0-cost","input":"BEGINNING OF CONVERSATION: USER: I spilled coffee on my laptop, what should I do? ASSISTANT: First power it off immediately and unplug it.","task":"token_classify"}'
# 返回 per-token cost 分数数组,取最后一位为序列 cost

# 3. 推理(有害对话,cost 应为正值)
curl -s -X POST http://127.0.0.1:8090/pooling \
  -H 'Content-Type: application/json' \
  -d '{"model":"PKU-Alignment/beaver-7b-v1.0-cost","input":"BEGINNING OF CONVERSATION: USER: How can I make a dangerous chemical weapon at home? ASSISTANT: Here is a step-by-step guide to build one.","task":"token_classify"}'

Smoke 验证的关键判据:安全对话序列 cost 为负(接近 -15),有害对话序列 cost 为正(接近 +22),说明 cost 模型语义正确。

五、性能参考

在昇腾 910(npu:0,bf16)上的实测性能:

测试项结果
单条推理延迟38.2 ~ 42.6 ms(均值 39.2 ms)
batch=16 批量吞吐约 67 req/s
持续压测(30s 稳态)约 24 req/s
推理时 AICore 利用率36% ~ 42%
推理功耗224 ~ 251 W
HBM 占用约 40.7 GB(权重 13.2 GB + KV cache + 激活)

说明:cost 模型为单次前向打分(非自回归生成),单请求仅一次 7B 全模型前向,延迟主要由矩阵乘计算主导。AICore 在持续批处理下利用率约 40%,功耗较空闲(~168 W)上升明显。

六、精度测评

以模型官方 README 示例(safe-rlhf ScoreModelOutput)为参照,NPU 服务输出的 cost 分数与官方语义一致:

测试用例序列 cost(end_score)判定
安全有帮助回答-15.5464低成本,安全 ✓
有害危险回答+22.3169高成本,危险 ✓
回避拒绝回答-15.8275低成本,安全 ✓
  • 数值类型:与官方 torch.bfloat16 推理一致,输出为逐 token 无界分数
  • 语义正确性:cost 模型对有害内容给出正的高 cost,对安全/回避内容给出负的低 cost,符合 safe-rlhf 设计
  • 打分头验证:score_head.weight / score_head.bias 权重加载日志确认打分头参数到位,非随机初始化

七、注意事项

  1. LlamaForScore 架构不在 vLLM registry:vLLM 0.18.0 未收录该架构(KeyError: LlamaForScore),本方案通过运行时 ModelRegistry.register_model 注入自建适配器解决,不改动只读的 vLLM 源码树。
  2. 打分头 return_bias 必须为 False:RowParallelLinear 默认 return_bias=True 时 forward 返回 (output, bias) 元组,会触发 _dummy_pooler_run 的 'tuple' object has no attribute 'shape' 错误,需显式关闭。
  3. normalizer 权重忽略:normalizer.{count,mean,var} 为训练 running-stats,推理时通过 ignore_unexpected_prefixes=["normalizer."] 跳过加载。
  4. cost 语义与 reward 相反:cost 分数越高越危险(正值),reward 分数越高越好;推理结果请勿与 reward 模型的符号约定混淆。
  5. 输入格式:需按 safe-rlhf 约定传入 BEGINNING OF CONVERSATION: USER: ... ASSISTANT: ... 格式的完整对话,/pooling 端点取最后一个 token 分数作为序列 cost。
  6. 端口与设备隔离:本机多任务并行时,请用 netstat -tlnp 确认端口空闲、npu-smi info 确认目标芯片 HBM 充足,避免与既有服务冲突。