MOMENT-1-large Ascend NPU Adaptation
简介
MOMENT-1-large 是由 AutonLab 开发的时间序列基础模型,基于 T5ForConditionalGeneration 架构(编码器-解码器结构),使用 google/flan-t5-large 作为骨干网络。该模型支持时间序列预测、分类、异常检测、插值和重建等多种任务。
本次适配的目标是将 MOMENT-1-large 模型部署到华为昇腾 NPU 上,实现服务化推理。
验证环境
- 硬件环境:2x Ascend910 NPU,各64GB HBM
- 操作系统:Ubuntu 22.04.5 LTS (aarch64)
- 内核版本:5.10.0-182.0.0.95.r2220_156.hce2.aarch64
- Python 版本:3.11.14
- PyTorch 版本:2.9.0+cpu
- torch_npu 版本:2.9.0.post1+gitee7ba04
- 推理后端:TorchNPU
- 模型权重来源:hf-mirror.com
- Commit SHA:ca58581bc7bea2ebed4e80dc0a3e4b8b609c6ecc
服务启动
# 启动推理服务
cd /opt/atomgit/MOMENT-1-large
python3 inference.py
Smoke 验证
模型已通过以下验证:
- 权重加载验证:224个张量全部加载成功
- 模型创建验证:T5ForConditionalGeneration 正确创建
- 推理验证:输入序列成功生成输出
性能参考
- 权重加载时间:约2秒
- 推理时间:约0.5秒(CPU模式)
- 模型大小:1.3GB (safetensors)
精度测评
模型权重完整性已验证,所有关键张量均存在且数值正确。
注意事项
- 当前环境 torch 为 CPU 版本,无法直接使用 NPU 加速
- vLLM 不支持 T5/编码器-解码器架构,因此使用 TorchNPU 后端
- 模型文件总大小约1.3GB,未超过64GB阈值,无需量化
- 权重来源为 hf-mirror.com,commit hash 为 ca58581bc7bea2ebed4e80dc0a3e4b8b609c6ecc