atlasleong/beaver-7b-v1.0-cost-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

PKU-Alignment/beaver-7b-v1.0-cost — 昇腾 NPU 真实推理适配

本目录是在物理昇腾 NPU(npu:0,Ascend 910B4-1)上对 PKU-Alignment/beaver-7b-v1.0-cost 奖励/代价模型(reward / cost model)做完整真实推理的可复现交付物。 全部数值均来自真实运行日志;图片由 make_assets.py 依据真实日志渲染,未手工改写任何数值。

属性值
模型PKU-Alignment/beaver-7b-v1.0-cost
固定版本(revision)bb14a1ab7f9fcb96327266382cd7c0d8c5221499
许可(upstream frontmatter)apache-2.0
任务(pipeline_tag)reinforcement-learning(奖励建模 reward-modeling)
运行设备npu:0(物理 NPU,Ascend 910B4-1)
权重完整七分片 safetensors,295 个 state-dict 键,合计 13,214,737,662 字节(13.215 GB / 12.307 GiB)
退出码0(成功)

目录

  • 模型简介
  • 环境依赖清单
  • 分步推理操作流程
  • 完整测试用例
  • 输出结果
  • 交付物与目录结构
  • 校验与扫描
  • 局限性

模型简介

Beaver 的代价模型(Cost Model) 由 PKU-Alignment 团队基于 PKU-SafeRLHF 数据集训练,是安全 RLHF 算法中的“代价/奖励”偏好模型,帮助 Beaver 模型在生成中更安全、更无害。

  • 模型类型:基于 transformer 的自回归语言模型,结构为 safe-rlhf 的 LlamaForScore(内部 LlamaModel + score_head 线性头 + normalizer)。
  • 基础模型:LLaMA、Alpaca。
  • 上游仓库:https://github.com/PKU-Alignment/safe-rlhf
  • 数据集论文:https://arxiv.org/abs/2307.04657
  • 论文:https://arxiv.org/abs/2310.12773

config.json 关键结构:

字段值
architecturesLlamaForScore
hidden_size4096
num_hidden_layers32
num_attention_heads / num_key_value_heads32 / 32
intermediate_size11008
vocab_size32001
max_position_embeddings2048
score_typereward
score_dim / score_bias1 / true
do_normalizefalse
torch_dtypebfloat16

七分片权重清单(大小与 SHA256,与 Git LFS 元数据逐字节一致)

分片字节大小SHA256
model-00001-of-00007.safetensors1,981,886,992be090bf3f8466a74abfb7451464d91d3731158126d613ed13d39a2c10bb0782c
model-00002-of-00007.safetensors1,990,284,240e13c7d20b7be6b5a9b21942ad5bf8019bef27a9e8d7e79b953fe1842e8f978a4
model-00003-of-00007.safetensors1,990,284,280c5798701afd4a48d6371096e4f157d0340374cdb65d464df4e59a373ee743c27
model-00004-of-00007.safetensors1,990,284,288e90fd5675b45666eca9fe4da21c686fe0099dae2aca3595bb1ce7c83afd1af80
model-00005-of-00007.safetensors1,933,644,5684b2c255b57b22d1f1a437e2551b759db20ad5c1648205aa43e3185035007a2b9
model-00006-of-00007.safetensors1,933,661,1760eac6e1724b3ac4c761ee82c5d8752ba3d5366703f65237aef62e1e42691c7f3
model-00007-of-00007.safetensors1,394,692,118d75da02acfeae64926495bfc20240ad32ce1192abd3379be06f441145c2bc587

完整清单亦见 logs/npu_result.json 的 shard_inventory 字段。

环境依赖清单

重要:容器镜像已内置与 CANN 匹配的 torch==2.9.0+cpu 与 torch_npu==2.9.0,切勿用普通 PyPI 轮子替换这两个包。它们只以注释形式列在 requirements.txt 中,避免 pip install -r requirements.txt 误装。

  • 预装且不可替换:

    • torch 2.9.0+cpu(CANN 匹配)
    • torch_npu 2.9.0(CANN 匹配)
    • CANN 8.5.1(CANN_HOME=/usr/local/Ascend/cann-8.5.1)
    • npu-smi 25.5.1;物理设备 Ascend 910B4-1 ×8
  • 通过阿里云 PyPI 镜像安装的非 torch 依赖(requirements.txt):

transformers==4.57.1
tokenizers==0.22.2
safetensors==0.8.0
numpy==1.26.4
pillow==12.3.0
psutil==7.2.2

分步推理操作流程

  1. 进入交付目录:
cd /work/pipeline/jobs/rl26/beaver-7b-v1.0-cost/beaver-7b-v1.0-cost-npu
  1. 安装非 torch 依赖(阿里云镜像):
pip install -r requirements.txt \
    -i https://mirrors.aliyun.com/pypi/simple/ \
    --trusted-host mirrors.aliyun.com
  1. 运行真实 NPU 推理:
python3 inference.py

默认输入为上游模型卡自带示例(Apache-2.0):

BEGINNING OF CONVERSATION: USER: hello ASSISTANT:Hello! How can I help you today?

如需指定其它输入:

python3 inference.py --input "BEGINNING OF CONVERSATION: USER: ... ASSISTANT:..."
  1. 查看结构化结果与原始日志:
cat logs/npu_result.json
cat logs/run_20260822T221504Z.log
cat logs/npu-smi_20260822T221504Z.txt

inference.py 的行为要点(fail-closed,不做 CPU 回退):

  • 校验 7 分片大小与 SHA256;
  • 在 npu:0 上完成一次探测分配以验证 NPU 可用,不可用即非零退出;
  • 以 bf16 + eager attention 完整加载七分片检查点;
  • 断言 input_ids / attention_mask / model / scores / end_scores 全部位于 npu:0(PASS 才继续);
  • torch_npu.npu.synchronize() 后进行同步计时;
  • 推理过程中并发抓取物理设备 npu-smi 进程表,捕获设备侧 PID 与内存占用。

完整测试用例

用例:模型卡示例输入的代价分数推理(真实 NPU 运行)

  • 固定版本:bb14a1ab7f9fcb96327266382cd7c0d8c5221499
  • 设备:npu:0(Ascend 910B4-1)
  • 时间戳(UTC):20260822T221504Z
  • 命令:
python3 inference.py
  • 真实运行日志(logs/run_20260822T221504Z.log)关键行:
[env] python=3.11.14 pid=365193
[env] torch=2.9.0+cpu torch_npu=2.9.0
[env] CANN_HOME=/usr/local/Ascend/cann-8.5.1
[model] revision=bb14a1ab7f9fcb96327266382cd7c0d8c5221499
[model] model-00001-of-00007.safetensors size=1981886992 (OK)
[model] model-00002-of-00007.safetensors size=1990284240 (OK)
[model] model-00003-of-00007.safetensors size=1990284280 (OK)
[model] model-00004-of-00007.safetensors size=1990284288 (OK)
[model] model-00005-of-00007.safetensors size=1933644568 (OK)
[model] model-00006-of-00007.safetensors size=1933661176 (OK)
[model] model-00007-of-00007.safetensors size=1394692118 (OK)
[npu] device=npu:0
[npu] device_name=Ascend910B4-1
[input] input_ids.shape=(1, 28) num_tokens=28 dtype=torch.int64
[run] forward done in 0.256s (synchronized)
[out] end_scores=[[-10.75]]
[npu-smi] device-reported PID=98940 memory=12104MB
[done] INFERENCE SUCCEEDED on npu:0
[result] json saved to logs/npu_result.json
  • 退出码:0

输出结果

结构化结果(logs/npu_result.json)摘要:

项目值
设备 / 硬件npu:0 / Ascend910B4-1
input / model / output 放置npu:0(全部 PASS)
输入 token 数28(end_index=[27])
end_scores[[-10.75]](与上游模型卡示例一致)
逐 token 分数范围[-11.562500, -1.460938],均值 -5.633649
scores 形状 / 类型(1, 28, 1) / float32
同步前向耗时0.2564 s
物理设备 PID(npu-smi)98940(容器 PID 365193)
推理进程显存12104 MB(bf16 权重期望足迹约 12603 MB)
torch / torch_npu2.9.0+cpu / 2.9.0
CANN / npu-smi8.5.1 / 25.5.1
退出码0

关键验证:end_scores = -10.75 与上游模型卡 ScoreModelOutput.end_scores = tensor([[-10.7500]]) 完全一致,证明模型以正确的代价模型加载、推理忠实可信。

截图(由真实日志渲染)

agent workflow

modelagent live session

npu device call

model result

交付物与目录结构

beaver-7b-v1.0-cost-npu/
├── inference.py              # 真实 NPU 推理脚本(fail-closed、放置断言、同步计时、npu-smi PID 取证)
├── make_assets.py            # 依据真实日志渲染四张 PNG
├── requirements.txt          # 非 torch 依赖(阿里云镜像安装)
├── .gitignore
├── readme.md / README.md     # 本说明(两文件逐字节相同)
├── SHA256SUMS                # 交付物校验和
├── logs/
│   ├── run_20260822T221504Z.log      # 原始净化运行日志
│   ├── npu-smi_20260822T221504Z.txt  # 物理设备 npu-smi 输出
│   └── npu_result.json               # 结构化推理结果
└── assets/
    ├── agent_workflow.png
    ├── modelagent_live_session.png
    ├── npu_device_call.png
    └── model_result.png

校验与扫描

交付前已执行:

  • python3 -m py_compile inference.py make_assets.py
  • 真实 NPU 端到端推理验收(退出码 0,总耗时 7.84 s)
  • SHA256SUMS 生成并校验
  • 禁止产物扫描:无 __pycache__ / *.pyc、无模型权重、无私密 SDK JSONL、无 fusion_result/、无临时文件
  • 密钥/凭据扫描:未发现凭据

局限性

  • PID 命名空间嵌套:容器运行于嵌套 PID 命名空间,npu-smi 读取的是物理设备驱动上报的主机侧 PID,而 os.getpid() 是容器侧 PID。通过“独占 npu:0 + 进程显存足迹”两个证据锁定同一推理进程(设备 PID 98940 ↔ 容器 PID 365193)。
  • attention 必须用 eager:attn_implementation="eager" 以兼容当前 torch_npu。
  • 精度:模型权重以 bf16 加载,分数按上游语义在 float32 下计算(do_normalize=false,无归一化)。
  • 许可提示:上游 README frontmatter 声明 license: apache-2.0,但模型卡正文写有 “Non-commercial license”,两者存在出入;本交付按 pinned frontmatter 记录为 apache-2.0,再分发前请与上游确认。
  • 本交付仅做推理适配与验收,不发布、不修改共享 models.json / Excel 等发布侧文件。