redannancy/LimiX-16M
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

LimiX-16M — Ascend NPU Deployment

1. 模型概述

LimiX-16M 是 stable-ai 推出的表格数据基础模型,参数量约 16.5M。 与传统的语言模型不同,它专注于表格数据的分类与回归任务,采用双维注意力机制同时对特征维度和样本维度进行建模。

关键特性:

  • 原生 PyTorch 实现,无需额外 CUDA 或 Triton 算子
  • 支持上下文学习(in-context learning),通过少量标注样本即可推理
  • 模型权重 66MB,对部署环境要求低
  • 本仓库提供 Ascend NPU 全流程部署方案,用户可直接使用

2. 硬件与软件环境

部署验证基于以下环境配置:

  • NPU: Ascend910 (atlas 800 训练卡)
  • 显存: 64GB HBM(实际使用约 350MB)
  • 驱动: npu-smi 25.5.5
  • CANN: 8.5.1
  • Python: 3.11.14
  • torch: 2.9.0 / torch_npu: 2.9.0.post1
  • 依赖: fastapi, uvicorn, scikit-learn, pandas, numpy

3. 快速部署

环境准备

pip install torch_npu fastapi uvicorn scikit-learn pandas numpy

启动推理服务

export ASCEND_RT_VISIBLE_DEVICES=0
export LIMIX_CKPT=./LimiX-16M.ckpt
python3 inference.py --port 8060

服务有三大端点:

  • GET /healthz — 健康检查
  • GET /v1/models — 模型元信息
  • POST /v1/predict — 推理预测

调用示例

使用 curl 发送分类请求:

curl -X POST http://localhost:8060/v1/predict \
  -H "Content-Type: application/json" \
  -d '{
    "x_train": [[1.2, 0.3], [0.8, 0.5]],
    "y_train": [0, 1],
    "x_test": [[1.0, 0.4]],
    "task": "classification"
  }'

响应中会返回每个类别的概率分布、预测结果和推理耗时。

4. 功能验证

启动服务后执行以下命令确认服务正常:

# 健康检查
curl http://localhost:8060/healthz

# 查询模型信息
curl http://localhost:8060/v1/models

# 分类推理
curl -X POST http://localhost:8060/v1/predict \
  -H "Content-Type: application/json" \
  -d '{"x_train":[[1.7,0.2],[0.9,0.15]],"y_train":[0,1],"x_test":[[1.5,0.15]],"task":"classification"}'

若返回正确的 JSON 响应且包含 latency_s 字段,说明服务正常工作。

5. 性能数据

在 Ascend910 上的实测结果:

场景延迟备注
模型加载~18s含两个 LimiXPredictor 初始化
小样本分类(5样本)~1.4s预处理管线占主要耗时
中等分类(284样本)~1.8s4 pipeline ensemble 推理
回归任务~1.5s与分类任务延迟相近

性能瓶颈分析:

  • 预处理阶段(特征分箱、重平衡、编码)占 60% 以上时间
  • 模型前向传播实际仅需约 0.2s
  • 可通过增加训练样本数量优化预处理效率

6. 精度验证

使用学术界标准数据集 breast_cancer(569 样本,30 特征)完成精度测试:

  • 分类准确率(Accuracy): 0.9825
  • ROC AUC: 0.9990
  • NPU vs CPU 推理一致性: 100%
  • 混合精度(bf16)无精度损失

测试方法:使用 sklearn 的 train_test_split 按 50%:50% 划分训练/测试集,分别在 NPU 和 CPU 上运行推理并比对结果。

7. 部署注意事项

  • 模型权重文件 LimiX-16M.ckpt 约 66MB,下载时注意网络稳定性
  • 确保 ASCEND_RT_VISIBLE_DEVICES 环境变量正确设置,避免设备冲突
  • 首次启动时模型加载较慢(约 15-20s),属正常现象
  • 若需切换 NPU 芯片,修改 ASCEND_RT_VISIBLE_DEVICES 即可
  • 服务默认监听 0.0.0.0,可根据实际网络环境调整 host 参数
  • 推理请求的 JSON 中 x_train 和 x_test 的维度需保持一致(特征数相同)
  • 本模型不支持批处理推理,每请求只处理一个测试集