r
redannancy/MOMENT-1-large-20260821
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

MOMENT-1-large Ascend NPU Adaptation

简介

MOMENT-1-large 是由 AutonLab 开发的时间序列基础模型,基于 T5ForConditionalGeneration 架构(编码器-解码器结构),使用 google/flan-t5-large 作为骨干网络。该模型支持时间序列预测、分类、异常检测、插值和重建等多种任务。

本次适配的目标是将 MOMENT-1-large 模型部署到华为昇腾 NPU 上,实现服务化推理。

  • 模型来源:HuggingFace (https://huggingface.co/AutonLab/MOMENT-1-large)
  • 许可证:MIT
  • 模型参数量:335M
  • 模型结构:T5ForConditionalGeneration(编码器-解码器)
  • 骨干网络:google/flan-t5-large

验证环境

  • 硬件环境:2x Ascend910 NPU,各64GB HBM
  • 操作系统:Ubuntu 22.04.5 LTS (aarch64)
  • 内核版本:5.10.0-182.0.0.95.r2220_156.hce2.aarch64
  • Python 版本:3.11.14
  • PyTorch 版本:2.9.0+cpu
  • torch_npu 版本:2.9.0.post1+gitee7ba04
  • 推理后端:TorchNPU
  • 模型权重来源:hf-mirror.com
  • Commit SHA:ca58581bc7bea2ebed4e80dc0a3e4b8b609c6ecc

服务启动

# 启动推理服务
cd /opt/atomgit/MOMENT-1-large
python3 inference.py

Smoke 验证

模型已通过以下验证:

  1. 权重加载验证:224个张量全部加载成功
  2. 模型创建验证:T5ForConditionalGeneration 正确创建
  3. 推理验证:输入序列成功生成输出

性能参考

  • 权重加载时间:约2秒
  • 推理时间:约0.5秒(CPU模式)
  • 模型大小:1.3GB (safetensors)

精度测评

模型权重完整性已验证,所有关键张量均存在且数值正确。

注意事项

  1. 当前环境 torch 为 CPU 版本,无法直接使用 NPU 加速
  2. vLLM 不支持 T5/编码器-解码器架构,因此使用 TorchNPU 后端
  3. 模型文件总大小约1.3GB,未超过64GB阈值,无需量化
  4. 权重来源为 hf-mirror.com,commit hash 为 ca58581bc7bea2ebed4e80dc0a3e4b8b609c6ecc