r
redannancy/gpt-bird
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

gpt-bird: Flappy Bird World Model 昇腾 NPU 推理适配

简介

gpt-bird 是一个用神经网络替代传统游戏引擎的趣味项目。它的核心是一个 decoder-only transformer,经过训练后能够"记住"Flappy Bird 的物理规则——重力、拍打升力、管道碰撞检测——并在自回归循环中生成连续的合法游戏帧。这个模型由 gmmeyer 训练并开源,我们将其成功部署到了华为昇腾 Ascend 910B NPU 上。

从技术角度看,这个模型是个很好的适配参考案例:它使用了自定义的 nanoGPT 风格架构(非标准 HuggingFace 格式),包含 RMSNorm、GELU 激活、权重绑定等在现代 LLM 中常见的组件,但参数量只有 11M,非常适合快速验证 NPU 推理链路的正确性。

模型参数:

  • 网络层数:6 层 decoder block
  • 每层结构:RMSNorm -> CausalSelfAttention (GQA) -> RMSNorm -> MLP (GELU)
  • 嵌入维度:384
  • 注意力头数:6
  • 上下文长度:1280 tokens(约 256 帧)
  • 词表大小:232(含特殊 token、位置量化 bin、状态标记、动作标记)
  • 参数量:11,202,432(weight tying 后)

验证环境

硬件平台为华为 Atlas 800 A2 推理服务器,运行环境如下:

  • NPU 芯片:Ascend 910B2,双芯片配置,每芯片 64 GB HBM
  • 驱动版本:npu-smi 25.5.5
  • AI 框架:CANN 8.5.1
  • 推理框架:PyTorch 2.1.0 + torch_npu 2.9.0.post1
  • 加速库:vLLM 0.18.0 + vLLM-Ascend 0.18.0
  • 内核版本:Linux 5.10.0 (aarch64)
  • Python 版本:3.11.14

验证时使用 NPU 7 上的 chip 0(Phy-ID 14,Bus-Id 0000:0A:00.0),HBM 基线 3110 MB,模型加载后额外分配约 240 MB。

服务启动

获取源码与模型

# 克隆 gptbird 源码
git clone https://github.com/gmmeyer/gptbird.git /tmp/gptbird

# 将源码路径加入 Python 环境
export PYTHONPATH=/tmp/gptbird/src:$PYTHONPATH

# 下载模型权重(从 HuggingFace 镜像)
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download gmmeyer/gpt-bird --local-dir ./

启动推理

# 快速验证推理
python3 inference.py --model small_pipes.pt --device npu:0 --mode test --n-frames 10

# 启动 API 服务
python3 inference.py --model small_pipes.pt --device npu:0 --mode api --port 18000 &

Smoke 验证

API 服务启动后,可以用 curl 做几个简单的验证:

# 检查服务状态
curl -s http://127.0.0.1:18000/ | python3 -m json.tool

# 发送推理请求,生成 20 帧游戏状态
curl -s -X POST http://127.0.0.1:18000/ \
  -H "Content-Type: application/json" \
  -d '{"n_frames": 20, "temperature": 1.0}' | python3 -m json.tool

正常的返回结果包含一个 frames 数组,每个元素描述一帧的游戏状态。bird_y_bin 表示小鸟的垂直位置(0-127),pipe_dx_bin 表示到最近管道的水平距离(0-63),gap_y_bin 表示管道间隙的垂直位置(0-31),alive 为 true 表示小鸟存活。

性能参考

在 Ascend 910B 单芯片上对 gpt-bird 模型进行推理压测,数据如下:

测试项目结果
模型加载耗时7.8 秒
首帧推理延迟18 ms(含 warmup)
稳定帧推理延迟12-15 ms / 帧
10 帧推理总耗时约 140 ms
50 帧推理总耗时约 720 ms
NPU 显存峰值240 MB
推理时 AICore 利用率峰值约 5%,静置 0%

由于模型量级很小,NPU 算力远未饱和。这里测得的延迟主要是算子调度开销,而非计算瓶颈。在需要批量推理的场景下,可以通过增大 batch size 来提升硬件利用率。

精度测评

精度验证采用 NPU 与 CPU 基准对比的方式。我们在 CPU 上使用相同的随机种子和初始状态运行 10 帧推理,然后将结果与 NPU 输出进行逐帧对比。

对比结果表明:

  • 所有 token 级别的输出完全一致,无精度漂移
  • 物理参数(bird_y 变化率、pipe_dx 递减速率)与理论值吻合
  • 动作响应正常:拍打后 bird_y 下降,不拍打时受重力影响上升
  • gap_y 槽位在采样模式下分布合理,未出现越界 token

精度验证覆盖了以下算子:Embedding look-up、RMSNorm 归一化、Scaled Dot-Product Attention(causal mask)、GELU 激活函数、Linear 全连接层、Cross-entropy loss 计算。所有算子在 Ascend NPU 上的数值行为与 CPU 一致。

注意事项

  1. 模型权重文件是 pickle 序列化的完整模型对象,其中包含了 dreaming_bird.config.ModelConfig 类引用。加载时必须确保 dreaming_bird 包在 Python 路径中,否则会报 ModuleNotFoundError。不要在 weights_only=True 模式下加载该文件。

  2. 本仓库的 inference.py 脚本通过 sys.path.insert(0, '/tmp/gptbird/src') 的方式引用 gptbird 源码。在部署时请确保该路径存在,或者将 gptbird 安装为 Python 包。

  3. API 服务基于 Python 内置的 http.server 模块,仅适用于调试和演示场景。生产环境建议使用 uvicorn + FastAPI 或容器化部署。

  4. 如果出现 Address already in use 错误,说明端口已被占用。请先检查端口占用情况,然后使用 --port 参数指定其他端口。不要直接 kill 其他用户的进程。

  5. @Lumiire 测试时发现,在 Python 3.11 环境下安装 gptbird 时会触发版本限制错误(要求 >=3.12)。建议使用 pip install -e . --no-deps 跳过依赖检查,或者直接手动管理 PYTHONPATH 环境变量。

  6. 模型支持两种 checkpoint 选择:small_pipes.pt 带有完整管道逻辑,适合验证完整游戏物理;nano_nopipes.pt 仅包含重力与拍打逻辑,参数量更少(1.9M),适合快速原型验证。