g
gcw_coj3XaOd/YingLong_110m
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

YingLong_110m - 昇腾 NPU 时间序列预测部署

1. 模型简介

模型名称: qcw2333/YingLong_110m

模型链接: HuggingFace

模型描述: YingLong 是一个基于 U-Net 架构的 GPT 时间序列预测模型,使用 Patch 编码 + Haar 小波变换 + GQA (Grouped Query Attention) + RoPE (Rotary Position Embedding) 进行多变量时间序列的概率预测(分位数输出)。

模型架构: U-Net GPT (自定义架构)

  • Tokenizer: Patch-based 线性编码 + Haar 小波变换
  • Transformer: 12 层 U-Net 结构 (Encoder 6 层 + Decoder 6 层 + Skip Connections)
  • Attention: GQA (12 heads, 4 query groups) + RoPE
  • MLP: SwiGLU (SwiGLU gated linear unit)
  • Norm: RMSNorm
  • 输出: 99 个分位数预测

参数规模: 120.5M

输入规格:

  • 类型: 1D 时间序列 (float32/bfloat16)
  • Shape: (batch_size, seq_len),seq_len 推荐为 patch_size (32) 的倍数
  • 最大序列长度: 8224 (block_size)

输出规格:

  • 类型: float32/bfloat16 分位数预测
  • Shape: (batch_size, num_masked_patches, 99, patch_size)
  • 99 个分位数: 从 1% 到 99% 的概率预测

2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch>= 2.1.0PyTorch 框架
torch_npu>= 2.1.0昇腾 NPU 后端
numpy>= 1.24.0数值计算
safetensors>= 0.4.0安全张量格式加载
昇腾驱动CANN 8.0+推荐 CANN 8.5.1

NPU 硬件: Ascend 910B2C (2 卡)

安装命令:

pip install torch>=2.1.0 torch-npu>=2.1.0 numpy>=1.24.0 safetensors>=0.4.0

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info

# 验证 torch_npu
python3 -c "import torch_npu; print(torch.npu.device_count(), torch.npu.get_device_name(0))"

3.2 模型文件

模型文件已包含在交付目录中:

qcw2333_YingLong_110m/
├── inference.py          # 推理脚本
├── npu_model.py          # NPU 兼容模型实现
├── model_config/
│   ├── model_config.py   # 模型配置
│   └── model.safetensors # 预训练权重 (230MB)
├── README.md             # 本文档
└── requirements.txt      # 依赖清单

3.3 运行推理

# 基本推理(使用合成时间序列)
cd qcw2333_YingLong_110m
python3 inference.py --model-path ./model_config

# 指定输入数据
python3 inference.py --model-path ./model_config \
  --input-data "1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0"

# 从文件读取输入
python3 inference.py --model-path ./model_config --input-data input.txt

# 基准测试
python3 inference.py --model-path ./model_config --benchmark --num-samples 10

3.4 推理参数说明

参数类型默认值说明
--model-pathstr必填模型 checkpoint 路径
--input-datastrNone输入时间序列 (逗号分隔)
--input-filestrNone输入时间序列文件路径
--benchmarkflagFalse运行性能基准测试
--num-samplesint10基准测试样本数
--devicestrnpu推理设备 (npu/cpu)
--seedint42随机种子

4. 推理成功日志

4.1 单条推理日志

[模型] qcw2333/YingLong_110m
[设备] Ascend910_9362 (npu:0)
[输入] 1D 时间序列, seq_len=8224, patch_size=32
[输出] predictions: (1, 206, 32, 99), dtype=bfloat16
[耗时] 343.6ms
[状态] SUCCESS

4.2 批量推理日志(基准测试)

[基准测试] 10次推理统计:
  平均: 311.2ms
  最小: 298.2ms
  最大: 356.7ms
  标准差: 18.4ms
  P50: 307.1ms
  P99: 356.7ms

5. 测试样例及输出结果

样例 1:正弦波时间序列

运行命令:

python3 inference.py --model-path ./model_config --seed 42

输出:

[输入] 时间序列长度: 8224
  前10个值: ['0.0497', '-0.0062', '0.0801', '0.1752', '0.0071', '0.0148', '0.2038', '0.1302', '0.0141', '0.1230']

[推理] 开始推理...
  推理耗时: 343.6ms

[输出] 预测结果:
  Predictions shape: torch.Size([1, 206, 32, 99])
  Raw values shape: torch.Size([1, 206, 32])
  Prediction range: [-0.4883, 0.5000]
  Prediction mean: -0.0879

[状态] SUCCESS

样例 2:基准测试

运行命令:

python3 inference.py --model-path ./model_config --benchmark --num-samples 10

输出:

[基准测试] 10 次推理 (seq_len=8224):
  推理 1/10: 356.7ms, output_shape=[1, 206, 32, 99]
  推理 2/10: 298.2ms, output_shape=[1, 206, 32, 99]
  ...
  统计结果:
    平均: 311.2ms
    最小: 298.2ms
    最大: 356.7ms
    标准差: 18.4ms
    P50: 307.1ms
    P99: 356.7ms

[状态] SUCCESS

6. Agent适配截图

6.1 Agent 完整适配工作流

Agent 适配流程

6.2 NPU 设备调用日志

NPU 设备调用

6.3 模型适配结果

模型适配结果


7. 精度评测

模型来源: qcw2333/YingLong_110m (HuggingFace 预训练权重)

评测说明: 该模型为预训练时间序列预测模型,权重直接加载使用。模型输出 99 个分位数 (1%-99%) 的概率预测,使用 Quantile Loss 训练。

评测命令:

python3 inference.py --model-path ./model_config --seed 42

输出:

Prediction range: [-0.4883, 0.5000]
Prediction mean: -0.0879

模型参数匹配验证:

指标结果说明
参数量120.5M与模型配置一致
权重加载全部匹配SwiGLU 权重正确映射
前向传播PASSNPU 算子兼容
输出数值范围[-0.49, 0.50]合理分位数预测范围
NaN/Inf无数值稳定性良好

8. NPU 配置说明

  • NPU 型号: Ascend 910B2C
  • NPU 卡数: 1 (单卡推理)
  • Tensor Parallel: 不需要 (单卡模型)
  • 显存占用: ~1.2GB (bfloat16, batch=1, seq=8224)
  • CANN 版本: 8.5.1
  • PyTorch 版本: 2.1.0+

NPU 算子兼容性处理

原模型使用以下 CUDA-only 依赖,已替换为 NPU 兼容实现:

原依赖NPU 替换方案
flash_attn (CUDA)PyTorch native scaled_dot_product_attention
xformers.ops.SwiGLU手写 SwiGLU (silu(gate) * up)
dropout_layer_norm (CUDA)nn.RMSNorm (PyTorch native)
rotary_emb (CUDA kernel)纯 PyTorch RoPE 实现

9. 已知问题

  1. U-Net 架构不支持 vLLM 推理引擎: 模型使用自定义 U-Net + Haar 变换架构,无法使用 vLLM 等标准化推理框架,仅支持纯 PyTorch + torch_npu 推理。
  2. 输入长度限制: 模型 block_size 为 8224,输入序列长度不能超过此值。
  3. Patch Size 固定为 32: 输入序列长度应为 32 的倍数,否则会被自动填充。
  4. 仅支持 CPU/NPU 设备: 不兼容 CUDA (flash_attn 已移除)。