拿到 sap-rpt-1-oss 的第一眼,很多人会以为它又是一个百亿级的大语言模型。实际上它是 SAP 在 NeurIPS 2025 发布的"表格上下文学习"基础模型(原代号 ConTextTab,论文链接)。它不做文本生成,而是把一张张表格直接"读进去"——列名、数值、日期都被编码成语义向量,再用一层跨列、一层跨行的注意力交替堆叠,最后针对查询行输出分类概率或回归数值。
这种模型最大的价值在于零训练推理:只需要在预测时提供几十到几千行示例,它就能"现学现卖",不用为每个数据集重新训练。本文档记录的是把它从官方 PyTorch checkpoint 搬运到华为昇腾 Ascend910 的完整过程,以及最终交付的服务化推理方案。
关于"为什么不用 vLLM 直接起服务"这一点,需要先说明:vLLM 的成熟管线面向自回归生成模型,而 RPT 是双向编码器结构,二者并不匹配。因此本次适配在保持昇腾算子栈不变的前提下,为模型定制了一个轻量的 REST 推理服务,实际效果和通用 LLM 服务一样,都是"起一个 HTTP 服务、发请求、拿结果"。
本次验证的软硬件组合如下:
模型本身:RPT 编码器,12 层、隐藏维 768、前馈 3072、12 头注意力,约 1.72 亿参数;权重文件 2025-11-04_sap-rpt-one-oss.pt(64.5 MB,fp32 存储,加载到 NPU 后转 bfloat16 运行)。
依赖安装:
pip install -r requirements.txt启动命令(模型权重和语义编码器建议都使用本地路径):
python3 inference.py \
--port 8003 \
--checkpoint /path/to/2025-11-04_sap-rpt-one-oss.pt \
--embedding-dir /path/to/all-MiniLM-L6-v2也可以在启动前用环境变量指定,效果等价:
export SAP_RPT_CHECKPOINT=/path/to/2025-11-04_sap-rpt-one-oss.pt
export SAP_RPT_EMBEDDING_DIR=/path/to/all-MiniLM-L6-v2
python3 inference.py --port 8003看到下面这行日志,就说明模型已经就绪:
[INFO] RPT model loaded on npu:0 (dtype=torch.bfloat16) in 2.72s
INFO: Uvicorn running on http://0.0.0.0:8003服务的调用方式是"两步走":先用 /fit 把上下文示例喂进去,再对查询表调用 /predict。分类与回归共用一个接口,由请求体里的 task 字段区分。
最快的验证方式是直接打 /infer_simple——它内置了乳腺癌分类数据集,会自动完成上下文编码 + 285 行测试集预测:
curl -X POST http://127.0.0.1:8003/infer_simple返回片段:
{
"task": "classification",
"n_train": 284,
"n_test": 285,
"accuracy": 0.9789,
"predictions": [1, 0, 0, 1, 1, 0, 0, 0, 0, 1],
"truth": [1, 0, 0, 1, 1, 0, 0, 0, 1, 1],
"elapsed_ms": 631.48,
"device": "npu:0"
}同时建议先看一眼健康检查接口确认设备状态:
curl http://127.0.0.1:8003/health用乳腺癌数据集(30 个特征列)实测,服务运行在 npu:0:
几点体会:这个模型的显存占用主要来自语义编码缓存和中间激活,模型本体反而很小;推理时计算密度高但单次快,适合以"批量并发请求"的方式压吞吐。如果后续要做性能优化,可以优先考虑把语义编码结果的 LRU 缓存调大,或对列数做裁剪。
在无任何超参调整的前提下,用固定随机种子(42)做 50/50 划分,结果如下:
权重在 NPU 上以 bfloat16 运行,语义编码器以 fp16 运行,与官方 fp32 参考结果相比没有观察到明显精度损失。对精度要求更严格的场景,也可以把模型切回 fp32 跑一遍对比。
inference.py 内置了 NPU 运行时补丁,把 sap_rpt_oss 包的设备选择、checkpoint 加载、语义模型路径统一重定向到昇腾设备与本地文件,因此无需改动第三方包源码即可运行。ASCEND_RT_VISIBLE_DEVICES 把不同任务隔离到不同 chip,避免互相干扰。max_context_size 与 bagging 是精度与开销的旋钮:小表建议直接上下文放全、bagging=1;大表建议 2048–8192 上下文 + bagging≥4。目录下 assets/ 存放本次适配过程的辅助说明,详见 assets/README.md。推理代码 inference.py 为单一入口,无其他隐藏依赖。