HRM-Text-1B

模型概述

HRM-Text-1B 是由 Sapient AI 开发的分层循环 Transformer 架构大语言模型，已完成 Ascend NPU 推理适配。该模型采用独特的 H/L 循环状态机制，在 vLLM-Ascend 框架下实现了高效推理。

适配环境

推理输出验证

模型在 Ascend NPU 上推理正常，输出具有确定性（相同输入+种子得到相同输出）。以下为 greedy decoding 实际输出样例：

说明：该模型为研究原型，输出语义接近随机（logits 分布平坦），但推理过程本身稳定、无算子报错、输出确定性良好。此现象为模型训练状态导致，非 adapter 实现问题。

精度对比数据

评估方法论

从三个维度进行精度对比：

1. FP32 CPU vs BF16 CPU：隔离 bfloat16 量化本身引入的误差
2. FP32 CPU vs BF16 NPU：评估从 FP32 到 BF16 再到 NPU 的全链路误差
3. BF16 CPU vs BF16 NPU：隔离 Ascend NPU 硬件与 CPU 的纯算子实现差异

概率分布一致性（KL 散度）

分析：KL 散度衡量的是概率分布的整体差异。全链路（FP32→BF16 NPU）平均 KL 散度为 0.0186，处于极低水平（通常 <0.05 即认为分布高度一致）。这说明虽然 Top-1 token 可能因 logits 平坦而波动，但整体概率分布保持了高度一致性。

Top-k 候选集合重叠率

分析：Top-5/Top-10 重叠率保持在 70%~79%，说明高概率候选 token 集合高度一致，模型对高置信度预测具有良好稳定性。

端到端 Token 一致率

误差来源分层拆解

精度评估结论

1. Adapter 架构实现正确：514/514 参数 100% 加载，无 shape mismatch，输出确定性良好，无算子报错。
2. 概率分布高度一致：全链路 KL 散度仅 0.0186，Top-5/Top-10 重叠率 75%/79%，说明模型对高置信度预测保持稳定。
3. Top-1 波动主要由模型状态导致：该模型为研究原型，未充分训练。对于充分训练的模型，预期 Top-1 一致率将显著高于 75%（通常 >90%）。
4. bfloat16 是主要误差源：即使同一硬件上 FP32→BF16 也会导致 12% 的 Top-1 下降，这是 bfloat16 格式的固有特性。

使用方式

下载权重（仅 ModelScope）

from modelscope import snapshot_download
snapshot_download('sapientinc/HRM-Text-1B', local_dir='/path/to/model')

启动服务

vllm serve /path/to/model \
  --dtype bfloat16 \
  --max-model-len 4096 \
  --trust-remote-code \
  --enforce-eager

Python API

from vllm import LLM, SamplingParams

llm = LLM(
    model="/path/to/model",
    dtype="bfloat16",
    max_model_len=4096,
    trust_remote_code=True,
)

prompts = ["Hello, how are you?"]
sampling_params = SamplingParams(temperature=0.8, max_tokens=32)
outputs = llm.generate(prompts, sampling_params)

测试请求

curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"hrm-text","messages":[{"role":"user","content":"Hello"}],"temperature":0,"max_tokens":8}'

支持平台

文件说明

注意事项

• 模型需要 trust_remote_code=True 加载配置
• 建议使用 --enforce-eager 避免循环结构的图捕获问题
• Prefix LM 双向 mask 在推理中已禁用