#NPU
alana89/TabSTAR 是 TabSTAR 表格基础模型(基于 intfloat/e5-small-v2 的语义目标感知表示),在 400 个表格数据集上预训练,6 层 tabular encoder,d_model 384。本仓将其适配到单卡 Ascend 910 NPU (npu:0) 通过 torch_npu 真实推理。
73560fb23d34307f4b6fa849f38f8299a8980a4a, pipeline tabular-classification)model.safetensors), float32, 参数量 ~47M (文本编码器 ~33M + tabular ~14M)合成演示数据(固定 seed=42,保证可复现,不含隐私):
"{col} is {value}" 字符串数组 x_txt [B, Seq] + x_num [B, Seq] float32表格预处理器需复用同一 fitted state(TabSTARVerbalizer),不得在 CPU/NPU 上分别重新 fit。列缺失/多列/类型错误时推理脚本校验并报错。
npu:0 (显式 model.to("npu:0"), tokenizer 输入 .to("npu:0"), 首参 device 校验)pip install -r requirements.txt
# 权重已通过 HF mirror 缓存,无需手动下载;首次运行会自动从 https://huggingface.co/alana89/TabSTAR 与 intfloat/e5-small-v2 拉取离线环境可预先 snapshot_download("alana89/TabSTAR") 与 snapshot_download("intfloat/e5-small-v2") 到本地,再设置 E5_SMALL_LOCAL_PATH。
python inference.py
# --batch-size 4 --device npu:0 (默认)日志打印:模型名、任务、backend、device、dtype、首参 device、输入摘要 (x_txt/x_num shape/sample)、输出摘要 (logits/probs/pred)、同步耗时、结果 PASS/FAIL。
以下为本次在 npu:0 的真实完整输出(python inference.py):
[0.6335, -0.6559], probs [0.7840, 0.2159] pred 0[0.63136, -0.65319], probs [0.78322, 0.21677] pred 0注意:
aten::_transformer_encoder_layer_fwd在 NPU 上回退到 CPU (warning 已保留),其余算子在 NPU 执行;模型核心前向已在 npu:0 验证,首参 device=npu:0,输出 device=npu:0。
model.safetensors (189 MB) 与同一 E5 权重x_txt/x_num (seed 42) 与相同预处理compare_outputs.py 分类 logits, atol 1e-2 rtol 1e-3 (FP32 表格模型实测误差 within)python /tmp/npu-adapt-tabular/scripts/compare_outputs.py --cpu cpu_logits.npy --npu npu_logits.npy --task classification --atol 1e-2 --rtol 1e-3计时均使用 torch.npu.synchronize() 包围。
| 图片 | 说明 |
|---|---|
assets/agent_workflow.png | 侦察、下载、加载、NPU 推理完整工作流 |
assets/npu_device_call.png | npu-smi、NPU 可用性、设备名、模型参数 device/dtype |
assets/model_result.png | 默认 python inference.py 的真实完整输出 |

三图由 xterm.js 根据本次真实日志生成(
scripts/render_xterm_evidence.mjs --style raw),深灰背景、白色等宽字体、固定提示符atomgit@pod-a94f8701860f4700b161b00e290de466:~$。
aten::_transformer_encoder_layer_fwd 回退 CPU,非纯 NPU;若后续支持可改等价 PyTorch 标准算子