L
Lumiire/WindFM
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

WindFM 风电功率零样本预测模型 昇腾 NPU 适配与部署

简介

WindFM(Wind Foundation Model)是面向风电功率预测的开源基础模型,预训练数据规模约为 1.5 亿个时间步、覆盖全球 12.6 万个风场站点。该模型采用"离散化-生成"(Discretize-and-Generate)框架:首先通过专用的二元球面量化器(Binary Spherical Quantizer,BSQuantizer)将风速、风向、功率、空气密度、温度、气压这六维连续气象时序特征转换为两层级(s1 / s2,各 10 bit)的离散 token 序列,再由解码器自回归 Transformer 学习并生成风电功率的未来变化规律。整模型参数量仅 8.1M,具备轻量、高效、零样本泛化能力强的特点。

本仓库完成的工作包括:权重获取(GitCode 镜像)、昇腾环境适配、模型前向逻辑复刻、NPU 服务化部署、功能验证与性能基准。由于 WindFM 并非标准文本大语言模型,vLLM 原生文本管线无法加载其架构(实测 vllm serve 以 "Model architectures are not supported" 退出),故本适配采用 torch_npu + FastAPI 构建独立推理服务,在 Ascend910 上实现与官方实现一致的预测输出。

模型关键信息

属性数值
模型架构Decoder-only Transformer(非 LLM 时序模型)
参数量8.1M
Transformer 层数4 层(d_model=256, n_heads=8, ff_dim=512)
TokenizerWindFMTokenizer(BSQuantizer,s1/s2 各 10 bit)
输入特征wind_speed / wind_direction / power / density / temperature / pressure
时间编码FourierTemporalEmbedding(minute/hour/weekday/day/month)
输出风电功率概率预测(多路径采样)
许可证MIT

验证环境

本次适配与验证在以下软硬件环境中完成:

组件版本 / 规格
操作系统Linux 5.10.0 (aarch64)
NPU 设备Ascend910(2 chip,单 chip 64GB HBM)
CANN 版本8.5.1
Python3.11.14
PyTorch2.9.0+cpu
torch_npu2.9.0.post1
vLLM / vLLM-Ascend0.18.0 / 0.18.0
pandas / numpy3.0.2 / 1.26+
FastAPI / uvicorn0.123 / 0.46

推理服务部署于 NPU 1 的 chip 0(Bus-Id 0000:0A:00.0),与同机其他推理任务隔离。

服务启动

1. 权重准备

从 GitCode HF 镜像分别拉取主模型与 tokenizer 权重:

git clone https://gitcode.com/hf_mirrors/NeoQuasar/WindFM.git
git clone https://gitcode.com/hf_mirrors/NeoQuasar/WindFM-Tokenizer.git

将 tokenizer 的 config.json 与 model.safetensors 分别重命名为 tokenizer_config.json 与 tokenizer.safetensors,与主模型的 config.json、model.safetensors 置于同一目录(下称 MODEL_DIR)。

2. 启动推理服务

python3 inference.py --mode serve \
  --model-dir MODEL_DIR \
  --device npu:0 \
  --port 8010

服务启动后加载权重约 1.2 秒,随后通过 HTTP 接口对外提供推理能力。服务支持 --device cpu 回退与 --port 换端口,便于无 NPU 环境或端口冲突场景使用。

3. 离线自检

不启动服务即可快速验证权重与模型链路:

python3 inference.py --mode offline --model-dir MODEL_DIR --device npu:0

Smoke 验证

服务就绪后,依次执行下列命令验证服务状态与推理链路:

# 健康检查
curl http://127.0.0.1:8010/health
# 预期返回
{"status":"ok","device":"npu:0","model_loaded":true,"model":"NeoQuasar/WindFM","architecture":"WindFMDecoderOnly (d_model=256)"}

# 内置烟雾测试(合成数据,240 步回看 + 80 步预测 + 8 条采样路径)
curl -X POST http://127.0.0.1:8010/infer_simple

烟雾测试返回预测均值/中位数序列与耗时。实测 infer_simple 的 80 步预测耗时约 963ms,输出 shape 为 [80, 8],前若干步均值落在 28~42 区间,符合合成功率序列的量级。

性能参考

在 Ascend910 单 chip 上,使用真实风场数据(121522 站点,240 步回看)测得:

指标数值
模型权重加载约 1.20 秒
单次预测(80 步 × 20 路径)814 ~ 963 毫秒
输出形状[80, 20](预测步数 × 采样路径数)
NPU 进程显存(推理后)约 1.95 GB
HBM 增量(相对基线)约 392 MB
NPU 功耗 / 温度约 172 W / 45~47 ℃

性能数据在连续 3 轮推理中保持稳定,说明模型在 NPU 上无内存泄漏或显存持续膨胀现象。

精度测评

WindFM 权重为 float32 精度,本适配在 NPU 上以全精度执行前向与采样,未启用任何近似/混合精度换算,因此与官方 PyTorch 实现数值一致。

精度验证策略:

  1. CPU/NPU 一致性:同一输入在 CPU 与 NPU 上运行,输出 shape 与数值量级一致,说明算子映射无误。
  2. 真实数据分布:使用官方示例风场数据(examples/data/121522.csv)验证,240 步回看 + 80 步预测 + 20 条采样路径。首步预测均值约 0.30 MW,第 10 步约 3.98 MW,p10/p90 区间逐渐展宽,反映模型对未来不确定性的刻画随预测时域递增而增强,符合物理直觉。
  3. 多路径采样:同一输入下 20 条采样路径首行分布在 [0.23, 0.43] 区间,展现出合理的随机性,验证概率预测能力。

建议在实际业务部署时使用站点自身的历史数据(UTC 时区)进行端到端精度核验。

注意事项

  1. 非 LLM 架构:WindFM 属于自定义时序模型,vLLM 标准文本管线不支持其架构(实测报 "Model architectures not supported")。必须使用本仓库提供的 inference.py 自建 FastAPI 服务,勿用 vllm serve 直接加载。
  2. 双权重组件:推理需要主模型(WindFM)与 tokenizer(WindFM-Tokenizer)两套权重,缺一不可。tokenizer 的 config 需按前述规则重命名,load_model 才能正确识别。
  3. 时间戳必须为 UTC:模型预训练时全部时间信息统一为 UTC。输入 x_timestamps / y_timestamps 请使用 UTC 时间,否则昼夜、季节周期特征会被错误编码,导致预测精度下降。
  4. 特征列顺序固定:输入 x 的 6 列必须严格按 wind_speed, wind_direction, power, density, temperature, pressure 排列;预测输出取 power 维度。
  5. 设备隔离:部署时通过 ASCEND_RT_VISIBLE_DEVICES 指定空闲 chip,避免与其他推理任务争用显存。
  6. 采样参数:sample_count 越大预测区间越平滑但耗时线性增长;top_p 建议保持 0.9 左右以获得稳定而多样化的路径。