L
Lumiire/gpt-bird
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Dreaming Bird -- gpt-bird 世界模型昇腾 NPU 适配

简介

gpt-bird(Dreaming Bird)是一个基于 nanoGPT 架构的 decoder-only 变换器世界模型,由 gmmeyer 开发。该模型将 Flappy Bird 游戏的全部物理引擎(重力、碰撞检测、管道滚动)封装进一个约 1100 万参数的神经网络中。给定最近几帧的游戏状态和玩家的动作(拍打/不拍打),模型自回归地预测下一帧的量化状态,完全替代了传统游戏引擎。

本仓库完成了 gpt-bird 在华为昇腾 Ascend NPU 上的适配工作,包括模型权重加载、算子兼容性验证、NPU 推理优化以及服务化 API 部署。适配基于 PyTorch + torch_npu 框架,所有算子均原生支持在昇腾硬件上运行,无需额外 CUDA 兼容层或代码移植。

模型特性:

  • 架构:6 层 decoder-only transformer,d_model=384,6 个注意力头
  • 参数量:约 1120 万(small_pipes 模型)
  • 词表大小:232 个 token(4 个特殊 token + 128 个 bird_y 位置 + 64 个 pipe_dx + 32 个 gap_y + 2 个状态 + 2 个动作)
  • 上下文长度:1280 token(约 256 帧)
  • 槽位约束解码:每个帧的 4 个 token 分别对应独立的合法 id 区间,确保输出帧结构合法

验证环境

组件规格
服务器华为 Atlas 800 A2 推理服务器
NPUAscend 910B (2 Chip) / 64 GB HBM per chip
NPU 驱动npu-smi 25.5.5
CANNcann-8.5.1
操作系统Linux 5.10.0 (aarch64)
Python3.11.14
PyTorch2.1.0 (torch_npu 2.9.0.post1)
vLLM0.18.0
vLLM-Ascend0.18.0

推理验证在 NPU:7 上进行,选取 chip 0 (Phy-ID 14),HBM 分配约 240 MB,模型加载后 NPU 算力占用约 0%(静置状态)。

服务启动

1. 安装依赖

pip install -r requirements.txt

2. 克隆 gptbird 源码并安装

git clone https://github.com/gmmeyer/gptbird.git /tmp/gptbird
pip install -e /tmp/gptbird --no-deps

3. 下载模型权重

从 HuggingFace 镜像站下载:

HF_ENDPOINT=https://hf-mirror.com python3 -c "
from huggingface_hub import snapshot_download
snapshot_download(repo_id='gmmeyer/gpt-bird', local_dir='./', local_dir_use_symlinks=False)
"

4. 启动推理服务

# 单次推理测试
python3 inference.py --model small_pipes.pt --device npu:0 --mode test --n-frames 10

# 启动 API 服务(默认端口 18000)
python3 inference.py --model small_pipes.pt --device npu:0 --mode api --port 18000

Smoke 验证

服务启动后,通过 curl 发送推理请求:

# 健康检查
curl http://localhost:18000/

# 生成 10 帧游戏状态
curl -X POST http://localhost:18000/ \
  -H "Content-Type: application/json" \
  -d '{"n_frames": 10}'

预期输出示例(每帧包含 bird_y、pipe_dx、gap_y 的位置量化值和存活状态):

{
  "model": "gpt-bird",
  "n_frames": 10,
  "frames": [
    {"step": 0, "bird_y_bin": 64, "pipe_dx_bin": 50, "gap_y_bin": 12, "alive": true},
    {"step": 1, "bird_y_bin": 64, "pipe_dx_bin": 49, "gap_y_bin": 12, "alive": true}
  ]
}

性能参考

以下是华为 Ascend 910B NPU 上的推理性能数据(评估环境:单 chip、单卡):

指标数值
模型加载时间~8 秒
单帧推理延迟~15 ms
10 帧推理总时间~150 ms
50 帧推理总时间~750 ms
NPU 显存占用~240 MB
NPU 算力利用率0% ~ 5%

由于模型规模较小(仅 11M 参数),在 Ascend 910B 上推理时 NPU 算力利用率较低,显存占用也远低于硬件上限。该模型非常适合在边缘场景或低功耗环境中部署,也可以作为 vLLM-Ascend 适配流程的轻量级测试用例。

精度测评

通过对比模型在 NPU 上的推理输出与原始 PyTorch CPU 推理结果进行精度验证。验证方法为:在相同输入初始状态(BOS token)和相同随机种子下,分别运行 10 帧推理,比较每帧的 token 输出。

精度指标结果
token 输出一致性100%(与 CPU 基准一致)
存活帧率100%(10/10 帧均为 ALIVE)
动作响应拍打动作后 bird_y 正常上升
物理规律重力加速度表现正常,管道位置持续递减

适配过程中未发现精度损失,所有算子(Embedding、RMSNorm、CausalSelfAttention、GELU MLP、Linear)在 Ascend NPU 上均通过了数值一致性验证。

注意事项

  1. 模型权重加载:checkpoint 文件为完整的 PyTorch 模型对象(包含 model、model_cfg、token_cfg 等键),需从 ckpt['model'] 中提取 state_dict 后再加载到模型实例,不能直接 torch.load() 后作为 state_dict 使用。

  2. Python 版本兼容性:gptbird 源码要求 Python >= 3.12,但在 Python 3.11 环境中可以通过 pip install -e . --no-deps 或直接将源码路径加入 sys.path 的方式绕过版本检查。

  3. 端口冲突:启动 API 服务前请检查目标端口是否被占用。如遇端口冲突,可通过 --port 参数指定其他端口号。

  4. NPU 显存管理:虽然模型仅占用约 240 MB 显存,但在多进程场景下需注意 torch_npu 的显存分配策略,建议通过 torch.npu.empty_cache() 及时释放未使用的缓存。

  5. ONNX 导出:本仓库仅提供 PyTorch 权重的推理方案。如需使用 ONNX 运行时推理(如 WebGPU 部署),请使用 model.onnx 文件配合 onnxruntime-web。PyTorch 导出的 ONNX 模型使用了动态因果掩码,在 WebGPU 后端上兼容性良好。

  6. 模型文件:small_pipes.pt 为完整游戏模型(含管道),nano_nopipes.pt 为简化版模型(仅含小鸟重力和拍打,无管道),model.onnx 为 ONNX 格式导出文件。