本目录将上游开源奖励模型 PKU-Alignment/beaver-7b-v1.0-reward 完整适配到华为昇腾 Ascend NPU(物理设备 npu:6) 上,完成真实的奖励分数推理(reward-modeling)。代码、日志、结果与图片全部来自真实运行产物,未伪造任何数值。
d8f1bb7387611cfc08d25f5db040c3c0c033b2d6apache-2.0npu:6(物理设备名 Ascend910B4-1,CANN 8.5.1,共 8 卡)torch 2.9.0+cpu(CANN 匹配版)+ torch_npu 2.9.0 + transformers 4.43.3beaver-7b-v1.0-reward 是北京大学 PKU-Alignment 团队基于 PKU-SafeRLHF 数据集训练得到的大语言模型奖励模型,用于安全 RLHF 中衡量回复的有用性(helpfulness),帮助 Beaver 模型变得更加 helpful。
LlamaForScore(自定义 score 模型)—— LlamaModel(32 层 / hidden 4096 / 32 头,vocab 32001)+ 线性 score_head(4096 → 1, bias=True) + IdentityNormalizer(normalizer_type=None,do_normalize=False)。BEGINNING OF CONVERSATION: USER: ... ASSISTANT: ...」格式的对话整体给出一个标量奖励分数(end_scores,分数越高表示该回复对用户越有帮助)。13,214,737,662 字节(13.21 GB),state_dict 参数量 6,607,351,809。本仓库未包含任何权重文件。权重为本地锁定目录
/work/pipeline/models/rl26/beaver-7b-v1.0-reward中的真实七分片检查点(model-00001..07-of-00007.safetensors),逐字节校验 SHA256 与 Git LFS OID 一致后方可加载推理。
容器镜像已预装 CANN 匹配的 PyTorch + torch_npu 组合。这两项 必须保持镜像原装,严禁替换为普通 PyPI CPU/CUDA wheel:
| 依赖 | 版本 | 说明 |
|---|---|---|
torch | 2.9.0+cpu | CANN 8.5.1 匹配,禁止替换 |
torch_npu | 2.9.0 | CANN 8.5.1 匹配,禁止替换 |
transformers | 4.43.3 | 通过 Aliyun 镜像安装 |
tokenizers | 0.19.1 | 通过 Aliyun 镜像安装 |
huggingface-hub | 0.25.2 | 必须 <1.0(transformers 4.43.3 / tokenizers 0.19.1 依赖 >=0.23.2,<1.0) |
safetensors | 0.8.0 | 通过 Aliyun 镜像安装 |
numpy | 1.26.4 | 通过 Aliyun 镜像安装 |
accelerate | 0.33.0 | 通过 Aliyun 镜像安装 |
其余传递依赖(filelock、regex、pyyaml、packaging、requests、tqdm)版本约束见 requirements.txt。
# 1. 进入任务工作目录
cd /work/pipeline/jobs/rl26/beaver-7b-v1.0-reward/beaver-7b-v1.0-reward-npu
# 2. 配置 Aliyun pip 镜像
export PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple/
export PIP_TRUSTED_HOST=mirrors.aliyun.com
# 3. 安装非 torch 依赖(torch/torch_npu 保持镜像原装,不做任何改动)
pip install -r requirements.txt注意:
requirements.txt中torch==2.9.0+cpu与torch-npu==2.9.0仅作为版本记录,不通过 pip 重新安装。
推理前需保证 CANN 运行环境已加载(容器通常已自动加载):
source /usr/local/Ascend/ascend-toolkit/set_env.shinference.py 会依次执行:设备自检(fail-closed,杜绝 CPU 静默回退)→ 七分片完整性校验 → 真实权重加载并上板 → 输入/模型/输出放置断言 → torch.npu.synchronize() 计时推理 → 结果落盘。
cd /work/pipeline/jobs/rl26/beaver-7b-v1.0-reward/beaver-7b-v1.0-reward-npu
# 常规推理(默认设备 npu:6,结果写入 logs/npu_result.json)
python3 inference.py
# 带 45 秒保持期,便于外部 npu-smi 并发抓取真实 PID(本次验收使用该命令)
python3 inference.py --hold-after-load 45 --output-dir logs
# 自定义模型目录与设备
python3 inference.py --model-dir /path/to/model --device npu:6 --output-dir logs| 参数 | 默认值 | 说明 |
|---|---|---|
--model-dir | /work/pipeline/models/rl26/beaver-7b-v1.0-reward | 本地锁定模型目录 |
--device | npu:6 | 目标昇腾 NPU 设备 |
--output-dir | logs | npu_result.json 输出目录 |
--hold-after-load | 0.0 | 模型上板后保持(秒),供外部并发抓取 PID |
torch.npu.is_available() 为假、设备号非法、放置断言失败时直接以非零码退出。input_ids/attention_mask)、模型首参数、输出(end_scores)均在 npu:6 上。torch.npu.synchronize() 同步后计时。测试输入全部来自可再分发来源(上游模型卡 README(Apache-2.0)+ PKU-SafeRLHF 对话格式),共三个用例:
| 用例 | 输入(节选) | 语义 |
|---|---|---|
model-card-hello | BEGINNING OF CONVERSATION: USER: hello ASSISTANT:Hello! How can I help you today? | 上游模型卡官方示例 |
helpful-detail | USER: Can you explain how photosynthesis works? ASSISTANT: Sure! Photosynthesis is the process ... | 详细、有帮助的回答 |
refusal | USER: How do I break into a house? ASSISTANT: I am sorry, but I cannot help you with that. | 拒绝不安全请求 |
真实命令:
cd /work/pipeline/jobs/rl26/beaver-7b-v1.0-reward/beaver-7b-v1.0-reward-npu
python3 inference.py --hold-after-load 45 --output-dir logs真实日志(完整见 logs/inference_acceptance.log):
[Device] Python PID = 617352
[Device] torch = 2.9.0+cpu
[Device] torch_npu = 2.9.0
[Device] transformers = 4.43.3
[Device] python = 3.11.14
[Device] CANN = 8.5.1
[Device] NPU count = 8
[Device] Using device = npu:6
[Device] Physical device name = Ascend910B4-1
[Tokenizer] class=LlamaTokenizerFast pad=<pad> max_len=512
[Load] Model directory: /work/pipeline/models/rl26/beaver-7b-v1.0-reward
[Load] Pinned revision: d8f1bb7387611cfc08d25f5db040c3c0c033b2d6
[Load] License: apache-2.0
[Load] model-00001-of-00007.safetensors size=1981886992 lfs_sha256=4267db7a…c06d [OK]
[Load] model-00002-of-00007.safetensors size=1990284240 lfs_sha256=420f191a…efce [OK]
[Load] model-00003-of-00007.safetensors size=1990284280 lfs_sha256=c080daa…7878 [OK]
[Load] model-00004-of-00007.safetensors size=1990284288 lfs_sha256=566c961…a632 [OK]
[Load] model-00005-of-00007.safetensors size=1933644568 lfs_sha256=7e8cdfe…86a9 [OK]
[Load] model-00006-of-00007.safetensors size=1933661176 lfs_sha256=a752b65…6ea7 [OK]
[Load] model-00007-of-00007.safetensors size=1394692118 lfs_sha256=994b735…85c7b1 [OK]
[Load] Config: model_type=llama arch=['LlamaForScore'] hidden=4096 layers=32 heads=32 score_dim=1 score_type=reward do_normalize=False
[Load] Loading complete real seven-shard checkpoint (bfloat16) ...
[Load] Checkpoint loaded and moved to NPU.
[Placement] model first param device = npu:6
[Load] state_dict params=6,607,351,809 buffers=2,115
[Hold] NPU_MODEL_READY pid=617352 device=npu:6 holding=45.0s
[Hold] Resume inference after external npu-smi capture.
[Run:model-card-hello] input device=npu:6 tokens=28
[Run:model-card-hello] end_scores=[-11.4375] end_index=27 elapsed=0.4387s output_device=npu:6
[Run:helpful-detail] input device=npu:6 tokens=60
[Run:helpful-detail] end_scores=[-5.9375] end_index=59 elapsed=0.0528s output_device=npu:6
[Run:refusal] input device=npu:6 tokens=38
[Run:refusal] end_scores=[-13.125] end_index=37 elapsed=0.0516s output_device=npu:6
[Result] wrote logs/npu_result.json
[Success] exit_code=0 — complete real NPU score inference on npu:6.模型保持期间通过外部 npu-smi 并发抓取,NPU 6 上可见真实 Python PID 617352(进程内存 13168 MB,NPU 6 HBM 占用 16514/65536 MB),完整输出见 logs/npu_smi_during_inference.log:
| 6 910B4-1 | OK | 99.0 41 0 / 0 |
| 0 | 0000:41:00.0 | 0 0 / 0 16514/ 65536 |
...
| 6 0 | 617352 | python3 | 13168 |结构化结果见 logs/npu_result.json。三次真实推理的关键结果:
| 用例 | tokens | end_index | end_scores | 耗时 |
|---|---|---|---|---|
model-card-hello | 28 | 27 | -11.4375 | 0.4387 s |
helpful-detail | 60 | 59 | -5.9375 | 0.0528 s |
refusal | 38 | 37 | -13.125 | 0.0516 s |
结果与模型语义完全一致:
model-card-hello 的 end_scores = -11.4375 与上游模型卡 README 参考输出逐位一致(end_index=27),证明适配正确。helpful-detail,-5.9375)分数 高于 简短敷衍回答(model-card-hello,-11.4375),说明该奖励模型偏好更详细、更有帮助的回复。refusal,-13.125)分数最低,符合「该模型打分的是有用性/合规性」的语义。完整输出元数据:revision=d8f1bb7387611cfc08d25f5db040c3c0c033b2d6、license=apache-2.0、device=npu:6、physical_device_name=Ascend910B4-1、cann=8.5.1、torch=2.9.0+cpu、torch_npu=2.9.0、pid=617352、exit_code=0。
以下四张图片均由真实、脱敏后的运行产物渲染(渲染脚本 tools/render_images.py,未对数值做任何编辑):
| 图片 | 内容 |
|---|---|
| assets/agent_workflow.png | 真实证据工作流(读取上下文 → 七分片校验 → 模型适配 → NPU 加载 → 推理 → npu-smi 抓取 → 验收交付) |
| assets/modelagent_live_session.png | 真实推理接受日志终端渲染 |
| assets/npu_device_call.png | 推理期间物理设备 npu-smi 真实输出 |
| assets/model_result.png | logs/npu_result.json 真实结果渲染 |




/work/pipeline/models/rl26/beaver-7b-v1.0-reward,该目录的七分片 SHA256 与 Git LFS OID 一致。safe-rlhf 库不可用:阿里云 pip 镜像无 safe-rlhf 包,故 LlamaForScore 按上游 safe-rlhf(Apache-2.0)忠实复刻于 inference.py 中,前向语义与官方一致。huggingface-hub 版本约束:镜像原装 huggingface-hub 1.28.0 会破坏 transformers 4.43.3 / tokenizers 0.19.1 导入,必须降级到 <1.0(本目录固定 0.25.2)。model-card-hello)耗时略高(0.44 s),含首次图上板/预热开销;后续用例为稳态耗时。.gitignore 已排除权重、__pycache__、fusion_result/、密钥与私有 JSONL 等禁止交付物。beaver-7b-v1.0-reward-npu/
├── inference.py # 真实 NPU 推理脚本
├── readme.md # 本文档(与 README.md 字节一致)
├── README.md # 大写版本(AtomGit 平台)
├── requirements.txt # 依赖清单
├── .gitignore # 忽略规则
├── SHA256SUMS # 交付物校验和
├── assets/
│ ├── agent_workflow.png
│ ├── modelagent_live_session.png
│ ├── npu_device_call.png
│ └── model_result.png
├── tools/
│ └── render_images.py # 真实截图渲染脚本(由真实日志渲染)
└── logs/
├── inference_acceptance.log # 真实接受日志
├── npu_smi_during_inference.log # 推理期间 npu-smi
└── npu_result.json # 结构化真实结果