atlasleong/beaver-7b-v1.0-reward-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

🦫 beaver-7b-v1.0-reward · Ascend NPU 迁移推理交付

本目录将上游开源奖励模型 PKU-Alignment/beaver-7b-v1.0-reward 完整适配到华为昇腾 Ascend NPU(物理设备 npu:6) 上,完成真实的奖励分数推理(reward-modeling)。代码、日志、结果与图片全部来自真实运行产物,未伪造任何数值。

  • 上游模型:https://huggingface.co/PKU-Alignment/beaver-7b-v1.0-reward
  • 锁定上游 revision:d8f1bb7387611cfc08d25f5db040c3c0c033b2d6
  • 模型许可证:apache-2.0
  • 运行设备:npu:6(物理设备名 Ascend910B4-1,CANN 8.5.1,共 8 卡)
  • 框架版本:torch 2.9.0+cpu(CANN 匹配版)+ torch_npu 2.9.0 + transformers 4.43.3

1. 模型简介(模型简介)

beaver-7b-v1.0-reward 是北京大学 PKU-Alignment 团队基于 PKU-SafeRLHF 数据集训练得到的大语言模型奖励模型,用于安全 RLHF 中衡量回复的有用性(helpfulness),帮助 Beaver 模型变得更加 helpful。

  • 模型类型:自回归 Transformer 结构的大语言模型。
  • 基础模型:LLaMA(详见 arXiv:2302.13971)与 Alpaca。
  • 架构:LlamaForScore(自定义 score 模型)—— LlamaModel(32 层 / hidden 4096 / 32 头,vocab 32001)+ 线性 score_head(4096 → 1, bias=True) + IdentityNormalizer(normalizer_type=None,do_normalize=False)。
  • 任务:对「BEGINNING OF CONVERSATION: USER: ... ASSISTANT: ...」格式的对话整体给出一个标量奖励分数(end_scores,分数越高表示该回复对用户越有帮助)。
  • 权重大小:完整七分片 safetensors 权重,共 13,214,737,662 字节(13.21 GB),state_dict 参数量 6,607,351,809。

本仓库未包含任何权重文件。权重为本地锁定目录 /work/pipeline/models/rl26/beaver-7b-v1.0-reward 中的真实七分片检查点(model-00001..07-of-00007.safetensors),逐字节校验 SHA256 与 Git LFS OID 一致后方可加载推理。


2. 环境依赖清单(环境依赖清单)

容器镜像已预装 CANN 匹配的 PyTorch + torch_npu 组合。这两项 必须保持镜像原装,严禁替换为普通 PyPI CPU/CUDA wheel:

依赖版本说明
torch2.9.0+cpuCANN 8.5.1 匹配,禁止替换
torch_npu2.9.0CANN 8.5.1 匹配,禁止替换
transformers4.43.3通过 Aliyun 镜像安装
tokenizers0.19.1通过 Aliyun 镜像安装
huggingface-hub0.25.2必须 <1.0(transformers 4.43.3 / tokenizers 0.19.1 依赖 >=0.23.2,<1.0)
safetensors0.8.0通过 Aliyun 镜像安装
numpy1.26.4通过 Aliyun 镜像安装
accelerate0.33.0通过 Aliyun 镜像安装

其余传递依赖(filelock、regex、pyyaml、packaging、requests、tqdm)版本约束见 requirements.txt。

2.1 安装步骤(使用 Aliyun pip 镜像)

# 1. 进入任务工作目录
cd /work/pipeline/jobs/rl26/beaver-7b-v1.0-reward/beaver-7b-v1.0-reward-npu

# 2. 配置 Aliyun pip 镜像
export PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple/
export PIP_TRUSTED_HOST=mirrors.aliyun.com

# 3. 安装非 torch 依赖(torch/torch_npu 保持镜像原装,不做任何改动)
pip install -r requirements.txt

注意:requirements.txt 中 torch==2.9.0+cpu 与 torch-npu==2.9.0 仅作为版本记录,不通过 pip 重新安装。

2.2 昇腾 CANN 环境

推理前需保证 CANN 运行环境已加载(容器通常已自动加载):

source /usr/local/Ascend/ascend-toolkit/set_env.sh

3. 分步推理操作流程(分步推理操作流程)

inference.py 会依次执行:设备自检(fail-closed,杜绝 CPU 静默回退)→ 七分片完整性校验 → 真实权重加载并上板 → 输入/模型/输出放置断言 → torch.npu.synchronize() 计时推理 → 结果落盘。

cd /work/pipeline/jobs/rl26/beaver-7b-v1.0-reward/beaver-7b-v1.0-reward-npu

# 常规推理(默认设备 npu:6,结果写入 logs/npu_result.json)
python3 inference.py

# 带 45 秒保持期,便于外部 npu-smi 并发抓取真实 PID(本次验收使用该命令)
python3 inference.py --hold-after-load 45 --output-dir logs

# 自定义模型目录与设备
python3 inference.py --model-dir /path/to/model --device npu:6 --output-dir logs

3.1 主要命令行参数

参数默认值说明
--model-dir/work/pipeline/models/rl26/beaver-7b-v1.0-reward本地锁定模型目录
--devicenpu:6目标昇腾 NPU 设备
--output-dirlogsnpu_result.json 输出目录
--hold-after-load0.0模型上板后保持(秒),供外部并发抓取 PID

3.2 关键行为契约

  1. 不静默回退 CPU:torch.npu.is_available() 为假、设备号非法、放置断言失败时直接以非零码退出。
  2. 放置断言:输入(input_ids/attention_mask)、模型首参数、输出(end_scores)均在 npu:6 上。
  3. 完整真实权重:加载前逐分片校验大小与 Git LFS SHA256,加载后校验 score 头与 normalizer 键齐全,非随机/部分/假权重。
  4. 计时同步:使用 torch.npu.synchronize() 同步后计时。

4. 完整测试用例(完整测试用例)

测试输入全部来自可再分发来源(上游模型卡 README(Apache-2.0)+ PKU-SafeRLHF 对话格式),共三个用例:

用例输入(节选)语义
model-card-helloBEGINNING OF CONVERSATION: USER: hello ASSISTANT:Hello! How can I help you today?上游模型卡官方示例
helpful-detailUSER: Can you explain how photosynthesis works? ASSISTANT: Sure! Photosynthesis is the process ...详细、有帮助的回答
refusalUSER: How do I break into a house? ASSISTANT: I am sorry, but I cannot help you with that.拒绝不安全请求

4.1 一次完整推理的真实命令与输出

真实命令:

cd /work/pipeline/jobs/rl26/beaver-7b-v1.0-reward/beaver-7b-v1.0-reward-npu
python3 inference.py --hold-after-load 45 --output-dir logs

真实日志(完整见 logs/inference_acceptance.log):

[Device] Python PID = 617352
[Device] torch = 2.9.0+cpu
[Device] torch_npu = 2.9.0
[Device] transformers = 4.43.3
[Device] python = 3.11.14
[Device] CANN = 8.5.1
[Device] NPU count = 8
[Device] Using device = npu:6
[Device] Physical device name = Ascend910B4-1
[Tokenizer] class=LlamaTokenizerFast pad=<pad> max_len=512
[Load] Model directory: /work/pipeline/models/rl26/beaver-7b-v1.0-reward
[Load] Pinned revision: d8f1bb7387611cfc08d25f5db040c3c0c033b2d6
[Load] License: apache-2.0
[Load] model-00001-of-00007.safetensors size=1981886992 lfs_sha256=4267db7a…c06d [OK]
[Load] model-00002-of-00007.safetensors size=1990284240 lfs_sha256=420f191a…efce [OK]
[Load] model-00003-of-00007.safetensors size=1990284280 lfs_sha256=c080daa…7878 [OK]
[Load] model-00004-of-00007.safetensors size=1990284288 lfs_sha256=566c961…a632 [OK]
[Load] model-00005-of-00007.safetensors size=1933644568 lfs_sha256=7e8cdfe…86a9 [OK]
[Load] model-00006-of-00007.safetensors size=1933661176 lfs_sha256=a752b65…6ea7 [OK]
[Load] model-00007-of-00007.safetensors size=1394692118 lfs_sha256=994b735…85c7b1 [OK]
[Load] Config: model_type=llama arch=['LlamaForScore'] hidden=4096 layers=32 heads=32 score_dim=1 score_type=reward do_normalize=False
[Load] Loading complete real seven-shard checkpoint (bfloat16) ...
[Load] Checkpoint loaded and moved to NPU.
[Placement] model first param device = npu:6
[Load] state_dict params=6,607,351,809 buffers=2,115
[Hold] NPU_MODEL_READY pid=617352 device=npu:6 holding=45.0s
[Hold] Resume inference after external npu-smi capture.
[Run:model-card-hello] input device=npu:6 tokens=28
[Run:model-card-hello] end_scores=[-11.4375] end_index=27 elapsed=0.4387s output_device=npu:6
[Run:helpful-detail] input device=npu:6 tokens=60
[Run:helpful-detail] end_scores=[-5.9375] end_index=59 elapsed=0.0528s output_device=npu:6
[Run:refusal] input device=npu:6 tokens=38
[Run:refusal] end_scores=[-13.125] end_index=37 elapsed=0.0516s output_device=npu:6
[Result] wrote logs/npu_result.json
[Success] exit_code=0 — complete real NPU score inference on npu:6.

4.2 真实 NPU 物理设备并发抓取(npu-smi)

模型保持期间通过外部 npu-smi 并发抓取,NPU 6 上可见真实 Python PID 617352(进程内存 13168 MB,NPU 6 HBM 占用 16514/65536 MB),完整输出见 logs/npu_smi_during_inference.log:

| 6     910B4-1             | OK            | 99.0        41                0    / 0             |
| 0                         | 0000:41:00.0  | 0           0    / 0          16514/ 65536         |
...
| 6       0                 | 617352        | python3                  | 13168                   |

5. 输出结果(输出结果)

结构化结果见 logs/npu_result.json。三次真实推理的关键结果:

用例tokensend_indexend_scores耗时
model-card-hello2827-11.43750.4387 s
helpful-detail6059-5.93750.0528 s
refusal3837-13.1250.0516 s

结果与模型语义完全一致:

  • model-card-hello 的 end_scores = -11.4375 与上游模型卡 README 参考输出逐位一致(end_index=27),证明适配正确。
  • 详细有帮助的回答(helpful-detail,-5.9375)分数 高于 简短敷衍回答(model-card-hello,-11.4375),说明该奖励模型偏好更详细、更有帮助的回复。
  • 拒绝不安全请求(refusal,-13.125)分数最低,符合「该模型打分的是有用性/合规性」的语义。

完整输出元数据:revision=d8f1bb7387611cfc08d25f5db040c3c0c033b2d6、license=apache-2.0、device=npu:6、physical_device_name=Ascend910B4-1、cann=8.5.1、torch=2.9.0+cpu、torch_npu=2.9.0、pid=617352、exit_code=0。


6. 真实运行截图

以下四张图片均由真实、脱敏后的运行产物渲染(渲染脚本 tools/render_images.py,未对数值做任何编辑):

图片内容
assets/agent_workflow.png真实证据工作流(读取上下文 → 七分片校验 → 模型适配 → NPU 加载 → 推理 → npu-smi 抓取 → 验收交付)
assets/modelagent_live_session.png真实推理接受日志终端渲染
assets/npu_device_call.png推理期间物理设备 npu-smi 真实输出
assets/model_result.pnglogs/npu_result.json 真实结果渲染

agent_workflow

modelagent_live_session

npu_device_call

model_result


7. 局限性与注意事项(局限性)

  1. 仅适配本地权重:本目录不含权重。推理依赖本地锁定模型目录 /work/pipeline/models/rl26/beaver-7b-v1.0-reward,该目录的七分片 SHA256 与 Git LFS OID 一致。
  2. safe-rlhf 库不可用:阿里云 pip 镜像无 safe-rlhf 包,故 LlamaForScore 按上游 safe-rlhf(Apache-2.0)忠实复刻于 inference.py 中,前向语义与官方一致。
  3. huggingface-hub 版本约束:镜像原装 huggingface-hub 1.28.0 会破坏 transformers 4.43.3 / tokenizers 0.19.1 导入,必须降级到 <1.0(本目录固定 0.25.2)。
  4. 禁止静默回退 CPU:一旦 NPU 初始化、放置或执行失败,脚本以非零码退出并给出明确原因。
  5. 时间戳差异:首次推理(model-card-hello)耗时略高(0.44 s),含首次图上板/预热开销;后续用例为稳态耗时。
  6. 不得上传统一模型文件:.gitignore 已排除权重、__pycache__、fusion_result/、密钥与私有 JSONL 等禁止交付物。

8. 交付物清单与校验

beaver-7b-v1.0-reward-npu/
├── inference.py                    # 真实 NPU 推理脚本
├── readme.md                       # 本文档(与 README.md 字节一致)
├── README.md                       # 大写版本(AtomGit 平台)
├── requirements.txt                # 依赖清单
├── .gitignore                      # 忽略规则
├── SHA256SUMS                      # 交付物校验和
├── assets/
│   ├── agent_workflow.png
│   ├── modelagent_live_session.png
│   ├── npu_device_call.png
│   └── model_result.png
├── tools/
│   └── render_images.py            # 真实截图渲染脚本(由真实日志渲染)
└── logs/
    ├── inference_acceptance.log    # 真实接受日志
    ├── npu_smi_during_inference.log # 推理期间 npu-smi
    └── npu_result.json             # 结构化真实结果