模型为 ECG 信号机基座模型(非因果 LLM),不适合 vLLM-Ascend 的 chat / 文本生成服务; 本仓库采用 torch_npu 直连 + FastAPI 服务化 的部署形态,在昇腾 NPU 上完成 推理与服务化。
| 组件 | 版本 |
|---|---|
| torch | 2.9.0 |
| torch-npu | 2.9.0.post1 |
| xlstm | 2.0.4 |
| CANN | 8.5.1 |
| NPU | Ascend 910 (.1) |
原模型默认在 sLSTM 使用 backend="cuda",依赖 CUDA kernel,昇腾无 CUDA 会报
KeyError: CUDA_LIB。本仓库在加载时做了两项零迁移适配(不改动模型结构):
backend="vanilla",强制使用纯 PyTorch 实现,
绕开 CUDA kernel 依赖(官方 get_xlstm 已预留该参数)。_recurrent_kernel_ 张量形状为 [H, state, proj],
vanilla 后端为 [H, proj, state],加载时对相关键 permute(0, 2, 1)
(官方 load_checkpoint 中留有被注释的同款转换逻辑)。xECG_base_model_v1/
├── inference.py # 推理脚本(CLI + FastAPI 服务化,必选)
├── xECG.py # 模型定义(官方源码,仓内自包含)
├── downstream_models.py # 下游任务模型定义(官方源码)
├── README.md # 本文档(必选)
├── requirements.txt # 环境依赖清单
├── model/ # 模型权重(config.json + model.safetensors, 拉取后放入)
└── assets/ # 截图素材(agent_workflow.png, npu_device_call.png, model_result.png)# 1) 安装依赖
pip install -r requirements.txt
# 2) 拉取权重(任一镜像)
HF_ENDPOINT=https://hf-mirror.com python -c "from huggingface_hub import snapshot_download; snapshot_download('riccardolunelli/xECG_base_model_v1', local_dir='./model')"
# 或 gitcode 镜像: https://ai.gitcode.com/hf_mirrors/riccardolunelli/xECG_base_model_v1
# 3) 命令行推理(NPU)
python3 inference.py --model-dir ./model --device npu:0
# 4) 服务化推理
python3 inference.py --serve --model-dir ./model --device npu:0 --host 127.0.0.1 --port 8001
curl http://127.0.0.1:8001/health
curl -X POST http://127.0.0.1:8001/v1/predict -H 'Content-Type: application/json' \
-d '{"length":1200}'| 名称 | 数值 |
|---|---|
| 参数量 | 57.02 M |
| 输入形状 | [1, 1200, 12] |
| 推理耗时 | 448.9 ms(NPU:0) |
| 输出 | cls [1,1024] + patch [1,48,1024] |

贡献者: liuhongwei-2026 | 赛道: 模型适配赛道