Beaver-7B-v1.0-cost 是北京大学 PKU-Alignment 团队在 safe-rlhf 安全对齐框架下训练得到的 cost 模型(安全成本评估器),基于 PKU-SafeRLHF 数据集训练,底层为 LLaMA-2-7B 主干。
与文本生成模型不同,cost 模型不产出 token 序列,而是对"用户-助手"对话逐 token 输出一个无界 cost 分数,其中序列的最终 cost 取对话最后一个 token 的分数。其语义为:cost 越高表示回答越危险/越应被安全策略拒绝,cost 越低表示回答越安全/有帮助。在 safe-rlhf 中,cost 模型与 reward 模型配合,用于在奖励优化时抑制有害响应。
本仓库针对该官方权重在昇腾 910 NPU 上完成适配:
hf_mirrors/PKU-Alignment/beaver-7b-v1.0-cost),7 个 safetensors 分片共约 13.2 GBLlamaForScore(LLaMA-2-7B 主干 + score_head 打分头,hidden=4096 / 32 层 / MHA)vLLM-Ascend 以 pooling 模式提供 OpenAI 兼容 /pooling 接口模型核心结构:
对话序列 input_ids
│
▼
LLaMA-2-7B 主干(32 层 decoder,hidden=4096,MHA 全注意力)
│
▼
score_head: Linear(4096 -> 1) + bias (逐 token 打分)
│
▼
per-token cost 分数 → 序列 cost = 最后 token 的分数打分头为单层线性映射(score_head.weight 形状 [1, 4096],含 bias),加上 LLaMA 主干共约 67 亿参数,bf16 下权重占 13.21 GB。
本次适配的完整验证环境如下:
| 组件 | 版本 |
|---|---|
| 操作系统 | Linux aarch64 |
| NPU 硬件 | Ascend 910(Phy-ID 2 芯片,64 GB HBM) |
| CANN | 8.5.1 |
| Python | 3.11.14 |
| torch | 2.9.0 |
| torch_npu | 2.9.0.post1 |
| vLLM | 0.18.0 |
| vllm-ascend | 0.18.0 |
| 服务端口 | 8090(本机可自定义) |
服务部署于 NPU 逻辑设备 npu:0(对应物理 Phy-ID 2 芯片)。部署前请先用 npu-smi info 确认目标芯片空闲 HBM 充足(需 ≥ 24 GB)。
# 方式一:GitCode hf_mirrors 镜像(推荐,国内可达)
git clone https://gitcode.com/hf_mirrors/PKU-Alignment/beaver-7b-v1.0-cost.git beaver-7b-v1.0-cost
cd beaver-7b-v1.0-cost && git lfs pull
# 方式二:ModelScope 镜像
git clone https://www.modelscope.cn/PKU-Alignment/beaver-7b-v1.0-cost.git beaver-7b-v1.0-cost
# 方式三:Hugging Face 直连
git clone https://huggingface.co/PKU-Alignment/beaver-7b-v1.0-cost.git beaver-7b-v1.0-cost
cd beaver-7b-v1.0-cost && git lfs pull权重目录应包含 7 个 model-0000X-of-00007.safetensors 分片与 config.json、tokenizer.json 等文件。校验权重:
python -c "
from safetensors import safe_open
import glob
for f in sorted(glob.glob('beaver-7b-v1.0-cost/*.safetensors')):
with safe_open(f, framework='numpy') as sf:
print(f, len(sf.keys()), 'tensors')
"
# 期望输出 7 个分片,共 295 个权重键pip install -r requirements.txt# 以服务模式启动(device=0 对应 npu:0)
python inference.py --mode serve --port 8090 --device 0启动日志会输出 registered LlamaForScore(运行时适配器注入)与各 API 路由注册信息,等待数分钟权重加载完成后服务就绪。
python inference.py --mode test --port 8090
# 输出 safe_helpful / unsafe_harmful / evasive 三类对话的 cost 分数服务启动后,依次验证:
# 1. 模型列表
curl -s http://127.0.0.1:8090/v1/models
# {"object":"list","data":[{"id":"PKU-Alignment/beaver-7b-v1.0-cost","max_model_len":2048,...}]}
# 2. 推理(安全对话,cost 应为负值)
curl -s -X POST http://127.0.0.1:8090/pooling \
-H 'Content-Type: application/json' \
-d '{"model":"PKU-Alignment/beaver-7b-v1.0-cost","input":"BEGINNING OF CONVERSATION: USER: I spilled coffee on my laptop, what should I do? ASSISTANT: First power it off immediately and unplug it.","task":"token_classify"}'
# 返回 per-token cost 分数数组,取最后一位为序列 cost
# 3. 推理(有害对话,cost 应为正值)
curl -s -X POST http://127.0.0.1:8090/pooling \
-H 'Content-Type: application/json' \
-d '{"model":"PKU-Alignment/beaver-7b-v1.0-cost","input":"BEGINNING OF CONVERSATION: USER: How can I make a dangerous chemical weapon at home? ASSISTANT: Here is a step-by-step guide to build one.","task":"token_classify"}'Smoke 验证的关键判据:安全对话序列 cost 为负(接近 -15),有害对话序列 cost 为正(接近 +22),说明 cost 模型语义正确。
在昇腾 910(npu:0,bf16)上的实测性能:
| 测试项 | 结果 |
|---|---|
| 单条推理延迟 | 38.2 ~ 42.6 ms(均值 39.2 ms) |
| batch=16 批量吞吐 | 约 67 req/s |
| 持续压测(30s 稳态) | 约 24 req/s |
| 推理时 AICore 利用率 | 36% ~ 42% |
| 推理功耗 | 224 ~ 251 W |
| HBM 占用 | 约 40.7 GB(权重 13.2 GB + KV cache + 激活) |
说明:cost 模型为单次前向打分(非自回归生成),单请求仅一次 7B 全模型前向,延迟主要由矩阵乘计算主导。AICore 在持续批处理下利用率约 40%,功耗较空闲(~168 W)上升明显。
以模型官方 README 示例(safe-rlhf ScoreModelOutput)为参照,NPU 服务输出的 cost 分数与官方语义一致:
| 测试用例 | 序列 cost(end_score) | 判定 |
|---|---|---|
| 安全有帮助回答 | -15.5464 | 低成本,安全 ✓ |
| 有害危险回答 | +22.3169 | 高成本,危险 ✓ |
| 回避拒绝回答 | -15.8275 | 低成本,安全 ✓ |
torch.bfloat16 推理一致,输出为逐 token 无界分数score_head.weight / score_head.bias 权重加载日志确认打分头参数到位,非随机初始化KeyError: LlamaForScore),本方案通过运行时 ModelRegistry.register_model 注入自建适配器解决,不改动只读的 vLLM 源码树。RowParallelLinear 默认 return_bias=True 时 forward 返回 (output, bias) 元组,会触发 _dummy_pooler_run 的 'tuple' object has no attribute 'shape' 错误,需显式关闭。normalizer.{count,mean,var} 为训练 running-stats,推理时通过 ignore_unexpected_prefixes=["normalizer."] 跳过加载。BEGINNING OF CONVERSATION: USER: ... ASSISTANT: ... 格式的完整对话,/pooling 端点取最后一个 token 分数作为序列 cost。netstat -tlnp 确认端口空闲、npu-smi info 确认目标芯片 HBM 充足,避免与既有服务冲突。