PKU-Alignment/beaver-7b-v1.0-reward 昇腾 NPU 适配

模型简介

PKU-Alignment/beaver-7b-v1.0-reward 是 Safe-RLHF 框架的 7B 奖励模型（Llama-2-7B 底座 + 标量价值头 score_head，架构 LlamaForScore），对 "Human/Assistant" 对话输出标量 reward 分数，用于 RLHF/安全对齐训练。本交付将其适配到华为昇腾 NPU，fp16 真机推理。

• 参数量：6,607,351,809（6.607B，Llama-2-7B 底座 + score_head）
• 架构：LlamaForScore（32 层 / hidden 4096 / 32 头，score_dim=1，score_bias=true）

验证环境

• NPU：Ascend910_9362（Ascend 910，单卡）
• CANN 8.5.1，torch 2.9.0 + torch_npu，transformers 4.57.6
• 推理引擎：torch_npu（自定义 LlamaForScore 类 + strict 权重加载）

环境依赖

见 requirements.txt：torch / torch_npu / transformers / safetensors / huggingface_hub / accelerate

推理操作流程

source /usr/local/Ascend/cann-8.5.1/set_env.sh
python inference.py --device npu

权重自动解析顺序：$BEAVER_MODEL_DIR → /tmp/bigw/beaver-7b-v1.0-reward → hf-mirror snapshot_download。

加载正确性门禁

• gate1 strict 加载：from_pretrained(output_loading_info=True)，missing=0 / unexpected=0 / mismatched=0
• 随机初始化对照组（gate3）：同架构随机初始化模型对同样 3 组对话打分，分数无区分；真实权重模型给出明显可区分分数（见下表）

测试用例与真实输出（昇腾 NPU fp16）

3 组合成对话（明显安全 / 明显有害 / 中性），格式 Human: {q}\n\nAssistant: {a}</s>：

有害 − 安全分差：+12.3945 —— beaver 的 reward 模型度量的是 helpfulness（有用性）：更详尽直接的有害回答被视为「更有用」而得分更高（+6.83 vs −5.56），与配套 cost 模型（有害 +27.45 vs 安全 −14.78，方向相反、量级更大）互为印证，两个价值头分工符合 Safe-RLHF 设计。随机初始化对照组（±0.02 内、无区分度）证明权重正确加载、分数差异来自真实训练权重。

NPU 性能

截图

• assets/agent_workflow.png：上卡日志（设备初始化 → 权重解析 → npu:0，含参数量与 gate1）
• assets/npu_device_call.png：npu-smi 实时占用 + torch_npu 设备断言
• assets/model_result.png：真机 NPU 打分输出

#NPU