AIFS ENS - v1.0

本文介绍的AIFS ENS（人工智能预报系统集成预报系统）是由欧洲中期天气预报中心（ECMWF）开发的基于集成方法的概率数据驱动预报模型。

AIFS可针对高空变量、地面气象参数和热带气旋路径生成高精度预报。AIFS ENS每日运行四次，与ECMWF基于物理机制的数值天气预报模式并行运作，其预报结果根据ECMWF开放数据政策向公众开放。需要注意的是，由于GPU的非确定性特性，用户自行运行AIFS ENS时无法完全复现官方发布的AIFS ENS预报结果。

更多详细信息请参阅我们的技术文档。

数据详情

数据参数

注意
关于降水单位需特别注意：AIFS模型基于$m^{3}/m^{2}$单位进行训练，因此输出的降水数据也采用该单位。若需从开放数据获取降水数据，其单位将为$mm$。

模型详情

模型描述

AIFS ENS的完整技术细节请参阅Lang等人2024年论文。

该模型基于图神经网络（GNN）编码器-解码器架构和滑动窗口变换处理器，采用ECMWF的ERA5再分析资料及业务数值天气预报（NWP）分析数据进行训练。

模型采用灵活模块化设计，支持多级并行计算以实现高分辨率输入数据的训练。通过将AIFS预报结果与NWP分析数据和直接观测数据进行对比，评估其预报技巧。

AIFS ENS通过最小化小型集成成员计算的连续分级概率评分（CRPS）进行训练优化。

• 开发机构： ECMWF
• 模型类型： 编码器-处理器-解码器模型
• 许可协议： 模型权重遵循知识共享署名4.0国际许可协议（CC BY 4.0），详见https://creativecommons.org/licenses/by/4.0/；Notebook脚本及其他代码文件采用Apache 2.0许可协议，详见https://www.apache.org/licenses/LICENSE-2.0.txt

分辨率

数据来源

• 代码库： Anemoi 是一个由欧洲中期天气预报中心（ECMWF）与欧洲多国气象服务机构联合开发的开源框架，用于构建机器学习（ML）天气预测系统。
• 论文： https://arxiv.org/abs/2412.15832

快速开始

🚨 注意 默认情况下 aifs-ens-1.0 需要占用 38GB 显存，可通过设置 ANEMOI_INFERENCE_NUM_CHUNKS 为 2 的倍数来降低显存需求。例如设置为 16 可将显存需求降至 24GB，但会牺牲吞吐量。因此低端 GPU 可能遇到运行问题。

要使用 AIFS ENS 生成新预报，可使用 anemoi-inference。在示例笔记本中提供了通过 HuggingFace 模型运行 AIFS ENS 的完整工作流程：

1. 安装依赖包并导入
   • torch==2.5.0 anemoi-inference[huggingface]==0.6.0 anemoi-models==0.6.0 anemoi-graphs==0.6.0 anemoi-datasets==0.5.23
   • earthkit-regrid==0.4.0 'ecmwf-opendata>=0.3.19'
   • flash_attn
2. 从 ECMWF 开放数据获取初始条件
   • 选择日期
   • 通过 ECMWF 开放数据 API 获取数据
   • 提取输入字段
   • 合并单层场与压层场数据
   • 将位势高度转换为位势
   • 创建初始状态
3. 加载模型并运行预报
   • 从 Hugging Face 下载模型检查点
   • 创建运行器
   • 使用 anemoi-inference 运行预报
4. 检查生成的预报结果
   • 绘制场图

🚨 注意 AIFS 使用 flash_attention 进行训练。使用 "Flash Attention" 包需满足特定的软硬件要求，详见 GitHub 仓库中的安装与特性说明。

🚨 注意 aifs_ens_v1.0.ckpt 检查点仅包含模型权重，不包含优化器状态、学习率调度器状态等信息。

引用说明

若您在研究工作中使用本模型，请按以下格式引用：

BibTeX格式：

@misc{lang2024aifscrps,
      title={AIFS-CRPS: Ensemble forecasting using a model trained with a loss function based on the Continuous Ranked Probability Score}, 
      author={Simon Lang and Mihai Alexe and Mariana C. A. Clare and Christopher Roberts and Rilwan Adewoyin and Zied Ben Bouallègue and Matthew Chantry and Jesper Dramsch and Peter D. Dueben and Sara Hahner and Pedro Maciel and Ana Prieto-Nemesio and Cathal O'Brien and Florian Pinault and Jan Polster and Baudouin Raoult and Steffen Tietsche and Martin Leutbecher},
      year={2024},
      eprint={2412.15832},
      archivePrefix={arXiv},
      primaryClass={physics.ao-ph},
      url={https://arxiv.org/abs/2412.15832}, 
}

APA:

Lang, S., Alexe, M., Clare, M. C., Roberts, C., Adewoyin, R., Bouallègue, Z. B., ... & Leutbecher, M. (2024). AIFS-CRPS: Ensemble forecasting using a model trained with a loss function based on the Continuous Ranked Probability Score. arXiv preprint arXiv:2412.15832.

更多信息

在此查阅论文