sheepss/YuchenShen-FoMo-0D-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

FoMo-0D(NPU 适配)

#NPU

FoMo-0D 是面向**表格数据零样本异常检测(outlier detection)**的先验数据拟合网络(Prior-data Fitted Network, PFN)。模型基于 RouterAttention 的 Transformer 骨干网络,在大规模合成 GMM 先验数据上预训练,推理时无需任何训练或超参搜索,仅需一次前向即可为每条测试样本输出异常评分。

  • 模型:YuchenShen/FoMo-0D
  • 论文:FoMo-0D: A Foundation Model for Zero-shot Tabular Outlier Detection(TMLR 2025)
  • 架构:PFN Transformer(emsize=256, nhid=512, nlayers=4, nhead=4, RouterAttention num_R=500)
  • 任务:表格数据二分类(inlier / outlier)异常检测

数据契约

使用 sklearn 内置的真实医学数据 load_breast_cancer(Wisconsin 乳腺肿瘤数据,可溯源,569 行 × 30 特征):

  • 类别分布:benign(inlier)= 212,malignant(outlier)= 357
  • 上下文(context):从 inlier 中按固定 seed=0 自助抽样,最长 5000 行
  • 预处理(与官方评测一致):逐列 QuantileTransformer(normal)→ 按 context 位置做均值/方差归一化 → 特征缩放 → 补齐到模型 num_features=100
  • 异常评分:softmax 输出类别 1(outlier)的概率
  • 指标:AUCROC、AUCPR、F1(取前 num_anomalies 个最高分作为异常,与官方 low_density_anomalies 一致)

推理脚本会校验 NPU 可用性;若 NPU 不可用直接退出,不做 CPU fallback。

环境

  • 设备:Ascend 910(单卡 npu:0,本验证为 Ascend910,HBM 64GB)
  • 软件栈:Python 3.11、PyTorch 2.9、torch_npu 2.9.0.post1、CANN 8.5.1、huggingface_hub 0.36
  • 模型权重经 HF_ENDPOINT 指向的国内镜像下载(huggingface_hub snapshot_download)
  • 模型源码(自定义架构)从官方 GitHub 仓库 clone 到本地缓存目录后使用

安装

pip install torch torch-npu huggingface_hub numpy scikit-learn pandas

NPU 推理

python inference.py                # 默认 npu:0,context=500
python inference.py --context-size 500

脚本会:

  1. 下载权重(走国内镜像)并 clone 官方源码到 ~/.cache/fomo-0d-src
  2. 加载模型到 npu:0,模型参数与全部输入 Tensor 均位于 npu:0,dtype=float32
  3. 对测试集逐行前向,输出异常评分、耗时与状态

真实结果(Ascend NPU 实测)

[model] repo=YuchenShen/FoMo-0D task=tabular-outlier-detection backend=torch_npu device=npu:0
[model] dtype=torch.float32 params=4.89M first-param-device=npu:0
[data] context=212 test=569 num_features=100
[perf] compile(first-run)=160.9ms rows=568
[perf] stable avg=4.7ms/row min=4.6ms max=6.2ms p50=4.7ms p90=4.7ms p95=5.5ms
[perf] throughput=211.7 rows/s (NPU inference only)
[result] aucroc=0.9678 aucpr=0.9764 f1=0.9468 num_anomalies=357
[status] OK

异常检测效果:AUCROC=0.9678,AUCPR=0.9764,F1=0.9468。得分概率范围为 [0.0016, 1.0000]。

CPU-NPU 一致性

同一权重、同一预处理、同一 seed、同一输入(context=200,569 行)下对比 CPU 与 NPU 的异常评分(概率,范围 [0,1]):

  • 最大绝对误差 = 0.0137(0.02 容差),平均绝对误差 = 5.6e-4,相关系数 = 0.999995
  • 决策一致性(score>0.5 的判定)100% 一致
  • 阈值说明:输出为 float32 概率评分(0~1 区间),故采用 atol=0.02, rtol=0.02;compare_outputs.py 校验通过(passed=true)

性能

  • 首轮编译(first run):160.9ms(后续复用缓存)
  • 稳定推理:平均 4.7ms/行(min 4.6 / max 6.2 / p50 4.7 / p90 4.7 / p95 5.5ms)
  • 吞吐:211.7 rows/s(仅 NPU 前向,不含 CSV/预处理)
  • 峰值显存:约 0.04GB(4.89M 参数,float32)
  • 预热 3 次 + 计时 10 次整轮通过(每轮 569 行):avg 2853ms/pass,per-row 5.01ms,199.4 rows/s

证据图

以下三张 PNG 由 xterm.js 根据本次真实执行日志生成(非模拟截图):

  • agent_workflow:侦察、数据检查、下载、加载、NPU 推理、一致性、benchmark、提交校验全流程
  • npu_device_call:npu-smi、NPU 可用性、模型参数 device/dtype、输入/输出 Tensor device
  • model_result:默认 python inference.py 的真实完整输出(schema、真实评分、同步耗时、状态)

限制

  • 模型预训练固定 num_features=100:特征数 >100 需采样投影,<100 需补零;本验证使用 30 特征补零到 100
  • 上下文最长 5000 行;超过时按官方协议自助抽样
  • 依赖官方 GitHub 源码(自定义 PFN 架构),首次运行需联网 clone 源码
  • 权重与源码下载地址见脚本常量,不内置权重文件