WindFM(Wind Foundation Model)是面向风电功率预测的开源基础模型,预训练数据规模约为 1.5 亿个时间步、覆盖全球 12.6 万个风场站点。该模型采用"离散化-生成"(Discretize-and-Generate)框架:首先通过专用的二元球面量化器(Binary Spherical Quantizer,BSQuantizer)将风速、风向、功率、空气密度、温度、气压这六维连续气象时序特征转换为两层级(s1 / s2,各 10 bit)的离散 token 序列,再由解码器自回归 Transformer 学习并生成风电功率的未来变化规律。整模型参数量仅 8.1M,具备轻量、高效、零样本泛化能力强的特点。
本仓库完成的工作包括:权重获取(GitCode 镜像)、昇腾环境适配、模型前向逻辑复刻、NPU 服务化部署、功能验证与性能基准。由于 WindFM 并非标准文本大语言模型,vLLM 原生文本管线无法加载其架构(实测 vllm serve 以 "Model architectures are not supported" 退出),故本适配采用 torch_npu + FastAPI 构建独立推理服务,在 Ascend910 上实现与官方实现一致的预测输出。
| 属性 | 数值 |
|---|---|
| 模型架构 | Decoder-only Transformer(非 LLM 时序模型) |
| 参数量 | 8.1M |
| Transformer 层数 | 4 层(d_model=256, n_heads=8, ff_dim=512) |
| Tokenizer | WindFMTokenizer(BSQuantizer,s1/s2 各 10 bit) |
| 输入特征 | wind_speed / wind_direction / power / density / temperature / pressure |
| 时间编码 | FourierTemporalEmbedding(minute/hour/weekday/day/month) |
| 输出 | 风电功率概率预测(多路径采样) |
| 许可证 | MIT |
本次适配与验证在以下软硬件环境中完成:
| 组件 | 版本 / 规格 |
|---|---|
| 操作系统 | Linux 5.10.0 (aarch64) |
| NPU 设备 | Ascend910(2 chip,单 chip 64GB HBM) |
| CANN 版本 | 8.5.1 |
| Python | 3.11.14 |
| PyTorch | 2.9.0+cpu |
| torch_npu | 2.9.0.post1 |
| vLLM / vLLM-Ascend | 0.18.0 / 0.18.0 |
| pandas / numpy | 3.0.2 / 1.26+ |
| FastAPI / uvicorn | 0.123 / 0.46 |
推理服务部署于 NPU 1 的 chip 0(Bus-Id 0000:0A:00.0),与同机其他推理任务隔离。
从 GitCode HF 镜像分别拉取主模型与 tokenizer 权重:
git clone https://gitcode.com/hf_mirrors/NeoQuasar/WindFM.git
git clone https://gitcode.com/hf_mirrors/NeoQuasar/WindFM-Tokenizer.git将 tokenizer 的 config.json 与 model.safetensors 分别重命名为 tokenizer_config.json 与 tokenizer.safetensors,与主模型的 config.json、model.safetensors 置于同一目录(下称 MODEL_DIR)。
python3 inference.py --mode serve \
--model-dir MODEL_DIR \
--device npu:0 \
--port 8010服务启动后加载权重约 1.2 秒,随后通过 HTTP 接口对外提供推理能力。服务支持 --device cpu 回退与 --port 换端口,便于无 NPU 环境或端口冲突场景使用。
不启动服务即可快速验证权重与模型链路:
python3 inference.py --mode offline --model-dir MODEL_DIR --device npu:0服务就绪后,依次执行下列命令验证服务状态与推理链路:
# 健康检查
curl http://127.0.0.1:8010/health
# 预期返回
{"status":"ok","device":"npu:0","model_loaded":true,"model":"NeoQuasar/WindFM","architecture":"WindFMDecoderOnly (d_model=256)"}
# 内置烟雾测试(合成数据,240 步回看 + 80 步预测 + 8 条采样路径)
curl -X POST http://127.0.0.1:8010/infer_simple烟雾测试返回预测均值/中位数序列与耗时。实测 infer_simple 的 80 步预测耗时约 963ms,输出 shape 为 [80, 8],前若干步均值落在 28~42 区间,符合合成功率序列的量级。
在 Ascend910 单 chip 上,使用真实风场数据(121522 站点,240 步回看)测得:
| 指标 | 数值 |
|---|---|
| 模型权重加载 | 约 1.20 秒 |
| 单次预测(80 步 × 20 路径) | 814 ~ 963 毫秒 |
| 输出形状 | [80, 20](预测步数 × 采样路径数) |
| NPU 进程显存(推理后) | 约 1.95 GB |
| HBM 增量(相对基线) | 约 392 MB |
| NPU 功耗 / 温度 | 约 172 W / 45~47 ℃ |
性能数据在连续 3 轮推理中保持稳定,说明模型在 NPU 上无内存泄漏或显存持续膨胀现象。
WindFM 权重为 float32 精度,本适配在 NPU 上以全精度执行前向与采样,未启用任何近似/混合精度换算,因此与官方 PyTorch 实现数值一致。
精度验证策略:
examples/data/121522.csv)验证,240 步回看 + 80 步预测 + 20 条采样路径。首步预测均值约 0.30 MW,第 10 步约 3.98 MW,p10/p90 区间逐渐展宽,反映模型对未来不确定性的刻画随预测时域递增而增强,符合物理直觉。建议在实际业务部署时使用站点自身的历史数据(UTC 时区)进行端到端精度核验。
inference.py 自建 FastAPI 服务,勿用 vllm serve 直接加载。load_model 才能正确识别。x_timestamps / y_timestamps 请使用 UTC 时间,否则昼夜、季节周期特征会被错误编码,导致预测精度下降。wind_speed, wind_direction, power, density, temperature, pressure 排列;预测输出取 power 维度。ASCEND_RT_VISIBLE_DEVICES 指定空闲 chip,避免与其他推理任务争用显存。sample_count 越大预测区间越平滑但耗时线性增长;top_p 建议保持 0.9 左右以获得稳定而多样化的路径。