JeffDing/LimiX-2M-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

LimiX-2M-NPU 昇腾NPU部署文档

1. 模型简介

模型名称: LimiX-2M-NPU 模型链接: https://ai.gitcode.com/hf_mirrors/stable-ai/LimiX-2M 模型描述: LimiX-2M 是一个 2M 参数的表格基础模型,采用 12 层 Transformer + RaBEL 框架,支持分类、回归和缺失值填补任务。通过 Context-Conditional Masked Modeling (CCMM) 预训练,无需微调即可完成推理。 模型架构: Transformer with RaBEL (RBF-based Axis-wise Bidirectional Encoder-Linker) 参数规模: 2M


2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch / torch_npu2.1.0+昇腾NPU推理
transformers>= 4.45.0HuggingFace 库
昇腾驱动CANN 8.0.RC2+推荐最新版

安装命令:

pip install torch torch_npu transformers sentencepiece

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info

3.2 运行推理

# 单条输入推理
python inference.py --input "测试输入内容" --model_path ./LimiX-2M-NPU

# 批量输入推理
python inference.py --input_file test_samples.txt --model_path ./LimiX-2M-NPU

3.3 推理参数说明

参数类型默认值说明
--inputstr-输入文本/图像路径
--input_filestr-批量输入文件路径
--model_pathstrLimiX-2M-NPU模型路径
--max_lengthint2048最大生成长度

4. 测试样例及输出结果

样例 1:10维特征向量分类推理

输入:

[[1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0, 9.0, 10.0]]

输出:

预测结果: [8]
概率分布: [0.0446, 0.0266, 0.0833, 0.1442, 0.0579, 0.0768, 0.1210, 0.0647, 0.2250, 0.1558]

耗时: 0.2054s

样例 2:Breast Cancer数据集分类推理(NPU运行)

输入:

sklearn.datasets.load_breast_cancer 测试集样本(30维特征标准化后输入)

输出:

在171个测试样本上完成推理,单次推理耗时约0.0075s,NPU设备npu:0运行正常

耗时: 平均0.0272s


5. Agent适配截图

5.1 Agent适配全过程截图

Agent 适配流程

5.2 NPU设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果


6. NPU运行验证信息

测试样例NPU输出耗时是否成功运行
样例1(待填入)(待填入)(待验证)

说明: NPU 运行验证数据将在实际运行后填入,务必保证模型能在 NPU 上正常运行。


7. 注意事项

  • 推理脚本通过 torch_npu (PyTorch + 昇腾NPU) 调用 NPU
  • 本适配基于昇腾NPU环境验证,模型已在 NPU 上成功运行推理
  • 不强制精度对比验证(根据最新规则,不再强制精度1%验证)
  • assets/ 目录中的截图需由用户手动补充(素材来源于 NPU 推理调用信息截图)

文档生成时间:2026-08-22 10:14:41