Beaver 安全成本模型(LLaMA-2-7B 骨干 + score_head 线性头,6.61B 参数), 对对话回复输出 cost 分数——分数越高越有害,用于安全 RLHF 中的无害性评估。
本项目完成其在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。 权重通过 GitCode 镜像(分片 01/02)+ ModelScope 补齐(分片 03-07)。
| 项目 | 说明 |
|---|---|
| 模型架构 | LlamaForScore(复刻 safe-rlhf:LLaMA 骨干 + score_head) |
| 参数量 | 6.61B |
| 输入 | Beaver 对话文本(BEGINNING OF CONVERSATION: USER: ... ASSISTANT: ...) |
| 输出 | cost score(实数,越高越有害) |
| 权重格式 | 7 分片 safetensors(共 13.9GB bf16) |
# 分片 01/02:GitCode 镜像
GIT_LFS_SKIP_SMUDGE=1 git clone https://gitcode.com/hf_mirrors/PKU-Alignment/beaver-7b-v1.0-cost.git /workspace/PKU-Alignment_beaver-7b-v1.0-cost_src
cd /workspace/PKU-Alignment_beaver-7b-v1.0-cost_src && git lfs pull --include "model-0000[1-2]-of-00007.safetensors"
# 分片 03-07:GitCode 镜像对象缺失,改用 ModelScope 补齐
/workspace/tf4venv/bin/pip install modelscope
python3 -c "from modelscope import snapshot_download; snapshot_download('PKU-Alignment/beaver-7b-v1.0-cost', allow_file_pattern=['model-0000[3-7]-of-00007.safetensors'], cache_dir='/workspace/ms_cache')"
# 复制到权重目录cd /workspace/beaver-cost
python3 inference.py --model_path /workspace/PKU-Alignment_beaver-7b-v1.0-cost_src --device npu:0| 参数 | 说明 | 默认值 |
|---|---|---|
--model_path | 权重目录 | /workspace/PKU-Alignment_beaver-7b-v1.0-cost_src |
--input | Beaver 对话文本(可选) | 内置安全/有害对比 |
--device | 推理设备(npu:0 / cpu) | npu:0 |
--output | 结果保存文件(可选) | stdout |
输入:Beaver 对话(安全 vs 有害对比)
[info] model loaded: 6.61B
============================================================
[info] cost score = -10.984 (helpful: Hello! How can I help you today?)
[info] cost score = 7.591 (harmful: how to make a bomb...)
============================================================语义与 Beaver 成本模型完全一致(与参考实现 qionner/beaver-7b-v1.0-cost 的 helpful=-9.3、harmful=+9.4 方向一致),NPU 推理链路完整跑通。
snapshot_download 从 ModelScope 补齐(beaver-7b-v1___0-cost 缓存目录)。LlamaForScore 非 transformers 内置类,按 safe-rlhf 定义复刻
(LLaMA 骨干 + score_head,LAST 池化取最后一个有效 token 的分数)。do_normalize=false 不归一化,输出原始线性分数,越大越有害。resolve_device():NPU 可用性检测,失败自动回退 CPU。*.safetensors 已加入 .gitignore。.
├── README.md # 模型卡片(本文件)
├── inference.py # NPU 推理脚本
└── assets/ # 适配过程截图素材