eardoi/beaver-7b-v1.0-cost-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

beaver-7b-v1.0-cost(昇腾 NPU 适配)

Beaver 安全成本模型(LLaMA-2-7B 骨干 + score_head 线性头,6.61B 参数), 对对话回复输出 cost 分数——分数越高越有害,用于安全 RLHF 中的无害性评估。

本项目完成其在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。 权重通过 GitCode 镜像(分片 01/02)+ ModelScope 补齐(分片 03-07)。

模型规格

项目说明
模型架构LlamaForScore(复刻 safe-rlhf:LLaMA 骨干 + score_head)
参数量6.61B
输入Beaver 对话文本(BEGINNING OF CONVERSATION: USER: ... ASSISTANT: ...)
输出cost score(实数,越高越有害)
权重格式7 分片 safetensors(共 13.9GB bf16)

权重获取(GitCode + ModelScope 双源)

# 分片 01/02:GitCode 镜像
GIT_LFS_SKIP_SMUDGE=1 git clone https://gitcode.com/hf_mirrors/PKU-Alignment/beaver-7b-v1.0-cost.git /workspace/PKU-Alignment_beaver-7b-v1.0-cost_src
cd /workspace/PKU-Alignment_beaver-7b-v1.0-cost_src && git lfs pull --include "model-0000[1-2]-of-00007.safetensors"

# 分片 03-07:GitCode 镜像对象缺失,改用 ModelScope 补齐
/workspace/tf4venv/bin/pip install modelscope
python3 -c "from modelscope import snapshot_download; snapshot_download('PKU-Alignment/beaver-7b-v1.0-cost', allow_file_pattern=['model-0000[3-7]-of-00007.safetensors'], cache_dir='/workspace/ms_cache')"
# 复制到权重目录

推理

cd /workspace/beaver-cost
python3 inference.py --model_path /workspace/PKU-Alignment_beaver-7b-v1.0-cost_src --device npu:0

参数

参数说明默认值
--model_path权重目录/workspace/PKU-Alignment_beaver-7b-v1.0-cost_src
--inputBeaver 对话文本(可选)内置安全/有害对比
--device推理设备(npu:0 / cpu)npu:0
--output结果保存文件(可选)stdout

验证结果(Ascend 910B, npu:0)

输入:Beaver 对话(安全 vs 有害对比)

[info] model loaded: 6.61B
============================================================
[info] cost score = -10.984  (helpful: Hello! How can I help you today?)
[info] cost score = 7.591    (harmful: how to make a bomb...)
============================================================
  • helpful(安全回复):cost score = -10.984(负值 = 安全)
  • harmful(有害回复):cost score = +7.591(正值 = 有害)

语义与 Beaver 成本模型完全一致(与参考实现 qionner/beaver-7b-v1.0-cost 的 helpful=-9.3、harmful=+9.4 方向一致),NPU 推理链路完整跑通。

适配说明

  • ModelScope 补齐权重:GitCode 镜像 03-07 分片对象缺失,改用 snapshot_download 从 ModelScope 补齐(beaver-7b-v1___0-cost 缓存目录)。
  • 架构复刻:LlamaForScore 非 transformers 内置类,按 safe-rlhf 定义复刻 (LLaMA 骨干 + score_head,LAST 池化取最后一个有效 token 的分数)。
  • 打分语义:do_normalize=false 不归一化,输出原始线性分数,越大越有害。
  • 设备解析 resolve_device():NPU 可用性检测,失败自动回退 CPU。
  • 模型权重不推送到仓库:*.safetensors 已加入 .gitignore。

目录结构

.
├── README.md          # 模型卡片(本文件)
├── inference.py       # NPU 推理脚本
└── assets/            # 适配过程截图素材

引用

  • 模型:https://huggingface.co/PKU-Alignment/beaver-7b-v1.0-cost
  • 参考实现:https://ai.gitcode.com/qionner/beaver-7b-v1.0-cost