本目录是在物理昇腾 NPU(
npu:0,Ascend 910B4-1)上对 PKU-Alignment/beaver-7b-v1.0-cost 奖励/代价模型(reward / cost model)做完整真实推理的可复现交付物。 全部数值均来自真实运行日志;图片由make_assets.py依据真实日志渲染,未手工改写任何数值。
| 属性 | 值 |
|---|---|
| 模型 | PKU-Alignment/beaver-7b-v1.0-cost |
| 固定版本(revision) | bb14a1ab7f9fcb96327266382cd7c0d8c5221499 |
| 许可(upstream frontmatter) | apache-2.0 |
| 任务(pipeline_tag) | reinforcement-learning(奖励建模 reward-modeling) |
| 运行设备 | npu:0(物理 NPU,Ascend 910B4-1) |
| 权重 | 完整七分片 safetensors,295 个 state-dict 键,合计 13,214,737,662 字节(13.215 GB / 12.307 GiB) |
| 退出码 | 0(成功) |
Beaver 的代价模型(Cost Model) 由 PKU-Alignment 团队基于 PKU-SafeRLHF 数据集训练,是安全 RLHF 算法中的“代价/奖励”偏好模型,帮助 Beaver 模型在生成中更安全、更无害。
LlamaForScore(内部 LlamaModel + score_head 线性头 + normalizer)。config.json 关键结构:
| 字段 | 值 |
|---|---|
| architectures | LlamaForScore |
| hidden_size | 4096 |
| num_hidden_layers | 32 |
| num_attention_heads / num_key_value_heads | 32 / 32 |
| intermediate_size | 11008 |
| vocab_size | 32001 |
| max_position_embeddings | 2048 |
| score_type | reward |
| score_dim / score_bias | 1 / true |
| do_normalize | false |
| torch_dtype | bfloat16 |
| 分片 | 字节大小 | SHA256 |
|---|---|---|
| model-00001-of-00007.safetensors | 1,981,886,992 | be090bf3f8466a74abfb7451464d91d3731158126d613ed13d39a2c10bb0782c |
| model-00002-of-00007.safetensors | 1,990,284,240 | e13c7d20b7be6b5a9b21942ad5bf8019bef27a9e8d7e79b953fe1842e8f978a4 |
| model-00003-of-00007.safetensors | 1,990,284,280 | c5798701afd4a48d6371096e4f157d0340374cdb65d464df4e59a373ee743c27 |
| model-00004-of-00007.safetensors | 1,990,284,288 | e90fd5675b45666eca9fe4da21c686fe0099dae2aca3595bb1ce7c83afd1af80 |
| model-00005-of-00007.safetensors | 1,933,644,568 | 4b2c255b57b22d1f1a437e2551b759db20ad5c1648205aa43e3185035007a2b9 |
| model-00006-of-00007.safetensors | 1,933,661,176 | 0eac6e1724b3ac4c761ee82c5d8752ba3d5366703f65237aef62e1e42691c7f3 |
| model-00007-of-00007.safetensors | 1,394,692,118 | d75da02acfeae64926495bfc20240ad32ce1192abd3379be06f441145c2bc587 |
完整清单亦见 logs/npu_result.json 的 shard_inventory 字段。
重要:容器镜像已内置与 CANN 匹配的 torch==2.9.0+cpu 与 torch_npu==2.9.0,切勿用普通 PyPI 轮子替换这两个包。它们只以注释形式列在 requirements.txt 中,避免 pip install -r requirements.txt 误装。
预装且不可替换:
2.9.0+cpu(CANN 匹配)2.9.0(CANN 匹配)8.5.1(CANN_HOME=/usr/local/Ascend/cann-8.5.1)25.5.1;物理设备 Ascend 910B4-1 ×8通过阿里云 PyPI 镜像安装的非 torch 依赖(requirements.txt):
transformers==4.57.1
tokenizers==0.22.2
safetensors==0.8.0
numpy==1.26.4
pillow==12.3.0
psutil==7.2.2cd /work/pipeline/jobs/rl26/beaver-7b-v1.0-cost/beaver-7b-v1.0-cost-npupip install -r requirements.txt \
-i https://mirrors.aliyun.com/pypi/simple/ \
--trusted-host mirrors.aliyun.compython3 inference.py默认输入为上游模型卡自带示例(Apache-2.0):
BEGINNING OF CONVERSATION: USER: hello ASSISTANT:Hello! How can I help you today?如需指定其它输入:
python3 inference.py --input "BEGINNING OF CONVERSATION: USER: ... ASSISTANT:..."cat logs/npu_result.json
cat logs/run_20260822T221504Z.log
cat logs/npu-smi_20260822T221504Z.txtinference.py 的行为要点(fail-closed,不做 CPU 回退):
npu:0 上完成一次探测分配以验证 NPU 可用,不可用即非零退出;input_ids / attention_mask / model / scores / end_scores 全部位于 npu:0(PASS 才继续);torch_npu.npu.synchronize() 后进行同步计时;用例:模型卡示例输入的代价分数推理(真实 NPU 运行)
bb14a1ab7f9fcb96327266382cd7c0d8c5221499npu:0(Ascend 910B4-1)20260822T221504Zpython3 inference.pylogs/run_20260822T221504Z.log)关键行:[env] python=3.11.14 pid=365193
[env] torch=2.9.0+cpu torch_npu=2.9.0
[env] CANN_HOME=/usr/local/Ascend/cann-8.5.1
[model] revision=bb14a1ab7f9fcb96327266382cd7c0d8c5221499
[model] model-00001-of-00007.safetensors size=1981886992 (OK)
[model] model-00002-of-00007.safetensors size=1990284240 (OK)
[model] model-00003-of-00007.safetensors size=1990284280 (OK)
[model] model-00004-of-00007.safetensors size=1990284288 (OK)
[model] model-00005-of-00007.safetensors size=1933644568 (OK)
[model] model-00006-of-00007.safetensors size=1933661176 (OK)
[model] model-00007-of-00007.safetensors size=1394692118 (OK)
[npu] device=npu:0
[npu] device_name=Ascend910B4-1
[input] input_ids.shape=(1, 28) num_tokens=28 dtype=torch.int64
[run] forward done in 0.256s (synchronized)
[out] end_scores=[[-10.75]]
[npu-smi] device-reported PID=98940 memory=12104MB
[done] INFERENCE SUCCEEDED on npu:0
[result] json saved to logs/npu_result.json0结构化结果(logs/npu_result.json)摘要:
| 项目 | 值 |
|---|---|
| 设备 / 硬件 | npu:0 / Ascend910B4-1 |
| input / model / output 放置 | npu:0(全部 PASS) |
| 输入 token 数 | 28(end_index=[27]) |
end_scores | [[-10.75]](与上游模型卡示例一致) |
| 逐 token 分数范围 | [-11.562500, -1.460938],均值 -5.633649 |
scores 形状 / 类型 | (1, 28, 1) / float32 |
| 同步前向耗时 | 0.2564 s |
| 物理设备 PID(npu-smi) | 98940(容器 PID 365193) |
| 推理进程显存 | 12104 MB(bf16 权重期望足迹约 12603 MB) |
| torch / torch_npu | 2.9.0+cpu / 2.9.0 |
| CANN / npu-smi | 8.5.1 / 25.5.1 |
| 退出码 | 0 |
关键验证:end_scores = -10.75 与上游模型卡 ScoreModelOutput.end_scores = tensor([[-10.7500]]) 完全一致,证明模型以正确的代价模型加载、推理忠实可信。




beaver-7b-v1.0-cost-npu/
├── inference.py # 真实 NPU 推理脚本(fail-closed、放置断言、同步计时、npu-smi PID 取证)
├── make_assets.py # 依据真实日志渲染四张 PNG
├── requirements.txt # 非 torch 依赖(阿里云镜像安装)
├── .gitignore
├── readme.md / README.md # 本说明(两文件逐字节相同)
├── SHA256SUMS # 交付物校验和
├── logs/
│ ├── run_20260822T221504Z.log # 原始净化运行日志
│ ├── npu-smi_20260822T221504Z.txt # 物理设备 npu-smi 输出
│ └── npu_result.json # 结构化推理结果
└── assets/
├── agent_workflow.png
├── modelagent_live_session.png
├── npu_device_call.png
└── model_result.png交付前已执行:
python3 -m py_compile inference.py make_assets.pySHA256SUMS 生成并校验__pycache__ / *.pyc、无模型权重、无私密 SDK JSONL、无 fusion_result/、无临时文件os.getpid() 是容器侧 PID。通过“独占 npu:0 + 进程显存足迹”两个证据锁定同一推理进程(设备 PID 98940 ↔ 容器 PID 365193)。eager:attn_implementation="eager" 以兼容当前 torch_npu。do_normalize=false,无归一化)。README frontmatter 声明 license: apache-2.0,但模型卡正文写有 “Non-commercial license”,两者存在出入;本交付按 pinned frontmatter 记录为 apache-2.0,再分发前请与上游确认。models.json / Excel 等发布侧文件。