r
redannancy/sap-rpt-1-oss
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

sap-rpt-1-oss 在昇腾 NPU 上的落地实践

简介

拿到 sap-rpt-1-oss 的第一眼,很多人会以为它又是一个百亿级的大语言模型。实际上它是 SAP 在 NeurIPS 2025 发布的"表格上下文学习"基础模型(原代号 ConTextTab,论文链接)。它不做文本生成,而是把一张张表格直接"读进去"——列名、数值、日期都被编码成语义向量,再用一层跨列、一层跨行的注意力交替堆叠,最后针对查询行输出分类概率或回归数值。

这种模型最大的价值在于零训练推理:只需要在预测时提供几十到几千行示例,它就能"现学现卖",不用为每个数据集重新训练。本文档记录的是把它从官方 PyTorch checkpoint 搬运到华为昇腾 Ascend910 的完整过程,以及最终交付的服务化推理方案。

关于"为什么不用 vLLM 直接起服务"这一点,需要先说明:vLLM 的成熟管线面向自回归生成模型,而 RPT 是双向编码器结构,二者并不匹配。因此本次适配在保持昇腾算子栈不变的前提下,为模型定制了一个轻量的 REST 推理服务,实际效果和通用 LLM 服务一样,都是"起一个 HTTP 服务、发请求、拿结果"。

验证环境

本次验证的软硬件组合如下:

  • 硬件:Ascend910 加速卡(可见 2 个 chip,各 64GB HBM),所在节点为 aarch64 架构
  • 软件栈:CANN 8.5.1、Python 3.11.14、PyTorch 2.9.0、torch_npu 2.9.0.post1
  • 关键依赖:sap_rpt_oss 1.0.1、sentence-transformers 6.0.0、transformers 4.57.6、fastapi / uvicorn

模型本身:RPT 编码器,12 层、隐藏维 768、前馈 3072、12 头注意力,约 1.72 亿参数;权重文件 2025-11-04_sap-rpt-one-oss.pt(64.5 MB,fp32 存储,加载到 NPU 后转 bfloat16 运行)。

服务启动

依赖安装:

pip install -r requirements.txt

启动命令(模型权重和语义编码器建议都使用本地路径):

python3 inference.py \
  --port 8003 \
  --checkpoint /path/to/2025-11-04_sap-rpt-one-oss.pt \
  --embedding-dir /path/to/all-MiniLM-L6-v2

也可以在启动前用环境变量指定,效果等价:

export SAP_RPT_CHECKPOINT=/path/to/2025-11-04_sap-rpt-one-oss.pt
export SAP_RPT_EMBEDDING_DIR=/path/to/all-MiniLM-L6-v2
python3 inference.py --port 8003

看到下面这行日志,就说明模型已经就绪:

[INFO] RPT model loaded on npu:0 (dtype=torch.bfloat16) in 2.72s
INFO:     Uvicorn running on http://0.0.0.0:8003

服务的调用方式是"两步走":先用 /fit 把上下文示例喂进去,再对查询表调用 /predict。分类与回归共用一个接口,由请求体里的 task 字段区分。

Smoke 验证

最快的验证方式是直接打 /infer_simple——它内置了乳腺癌分类数据集,会自动完成上下文编码 + 285 行测试集预测:

curl -X POST http://127.0.0.1:8003/infer_simple

返回片段:

{
  "task": "classification",
  "n_train": 284,
  "n_test": 285,
  "accuracy": 0.9789,
  "predictions": [1, 0, 0, 1, 1, 0, 0, 0, 0, 1],
  "truth": [1, 0, 0, 1, 1, 0, 0, 0, 1, 1],
  "elapsed_ms": 631.48,
  "device": "npu:0"
}

同时建议先看一眼健康检查接口确认设备状态:

curl http://127.0.0.1:8003/health

性能参考

用乳腺癌数据集(30 个特征列)实测,服务运行在 npu:0:

  • 模型从加载到可用:约 2.7–2.9 秒
  • 一次上下文编码(284 行训练示例):约 1.3 秒
  • 分类预测:20 行一批约 359 毫秒,5 行一批约 360–372 毫秒
  • 回归预测:8 行一批约 101 毫秒
  • 显存:整卡 HBM 约占用 5.33 GB(共 64 GB),其中推理进程约 2.27 GB
  • 计算负载:密集批次下 AICore 峰值利用率约 97%,整卡功耗约 172 W、温度约 46 ℃

几点体会:这个模型的显存占用主要来自语义编码缓存和中间激活,模型本体反而很小;推理时计算密度高但单次快,适合以"批量并发请求"的方式压吞吐。如果后续要做性能优化,可以优先考虑把语义编码结果的 LRU 缓存调大,或对列数做裁剪。

精度测评

在无任何超参调整的前提下,用固定随机种子(42)做 50/50 划分,结果如下:

  • 分类(Breast Cancer):Accuracy = 0.9789。查看概率输出,多数样本的置信度都落在 0.9 以上,只有个别样本(例如第 9 行)出现接近 0.8/0.2 的犹豫,属于模型对边界样本的正常表现。
  • 回归(Diabetes):R² = 0.4933。对于 1024 上下文这种轻量配置,这个分数是合理的;官方 README 也建议在资源允许时把上下文提到 8192 并配合 bagging=8 以获得更好效果。

权重在 NPU 上以 bfloat16 运行,语义编码器以 fp16 运行,与官方 fp32 参考结果相比没有观察到明显精度损失。对精度要求更严格的场景,也可以把模型切回 fp32 跑一遍对比。

注意事项

  1. 模型的语义编码依赖列名与取值的文本含义,列名质量直接决定预测上限。常量列会被自动剔除,但含大量无信息文本的列建议提前清洗。
  2. inference.py 内置了 NPU 运行时补丁,把 sap_rpt_oss 包的设备选择、checkpoint 加载、语义模型路径统一重定向到昇腾设备与本地文件,因此无需改动第三方包源码即可运行。
  3. 服务默认绑 0.0.0.0:8003,共享机器上请注意端口冲突;建议用 ASCEND_RT_VISIBLE_DEVICES 把不同任务隔离到不同 chip,避免互相干扰。
  4. max_context_size 与 bagging 是精度与开销的旋钮:小表建议直接上下文放全、bagging=1;大表建议 2048–8192 上下文 + bagging≥4。
  5. 当前服务为单进程单卡部署。多卡并行、流式返回等能力不在本次交付范围内,如有需要可在此基础上扩展。
  6. 请勿把本服务当作文本生成模型调用——它只接受表格数据,返回的是预测结果而不是自然语言。

资源说明

目录下 assets/ 存放本次适配过程的辅助说明,详见 assets/README.md。推理代码 inference.py 为单一入口,无其他隐藏依赖。