gpt-bird(Dreaming Bird)是一个基于 nanoGPT 架构的 decoder-only 变换器世界模型,由 gmmeyer 开发。该模型将 Flappy Bird 游戏的全部物理引擎(重力、碰撞检测、管道滚动)封装进一个约 1100 万参数的神经网络中。给定最近几帧的游戏状态和玩家的动作(拍打/不拍打),模型自回归地预测下一帧的量化状态,完全替代了传统游戏引擎。
本仓库完成了 gpt-bird 在华为昇腾 Ascend NPU 上的适配工作,包括模型权重加载、算子兼容性验证、NPU 推理优化以及服务化 API 部署。适配基于 PyTorch + torch_npu 框架,所有算子均原生支持在昇腾硬件上运行,无需额外 CUDA 兼容层或代码移植。
模型特性:
| 组件 | 规格 |
|---|---|
| 服务器 | 华为 Atlas 800 A2 推理服务器 |
| NPU | Ascend 910B (2 Chip) / 64 GB HBM per chip |
| NPU 驱动 | npu-smi 25.5.5 |
| CANN | cann-8.5.1 |
| 操作系统 | Linux 5.10.0 (aarch64) |
| Python | 3.11.14 |
| PyTorch | 2.1.0 (torch_npu 2.9.0.post1) |
| vLLM | 0.18.0 |
| vLLM-Ascend | 0.18.0 |
推理验证在 NPU:7 上进行,选取 chip 0 (Phy-ID 14),HBM 分配约 240 MB,模型加载后 NPU 算力占用约 0%(静置状态)。
pip install -r requirements.txtgit clone https://github.com/gmmeyer/gptbird.git /tmp/gptbird
pip install -e /tmp/gptbird --no-deps从 HuggingFace 镜像站下载:
HF_ENDPOINT=https://hf-mirror.com python3 -c "
from huggingface_hub import snapshot_download
snapshot_download(repo_id='gmmeyer/gpt-bird', local_dir='./', local_dir_use_symlinks=False)
"# 单次推理测试
python3 inference.py --model small_pipes.pt --device npu:0 --mode test --n-frames 10
# 启动 API 服务(默认端口 18000)
python3 inference.py --model small_pipes.pt --device npu:0 --mode api --port 18000服务启动后,通过 curl 发送推理请求:
# 健康检查
curl http://localhost:18000/
# 生成 10 帧游戏状态
curl -X POST http://localhost:18000/ \
-H "Content-Type: application/json" \
-d '{"n_frames": 10}'预期输出示例(每帧包含 bird_y、pipe_dx、gap_y 的位置量化值和存活状态):
{
"model": "gpt-bird",
"n_frames": 10,
"frames": [
{"step": 0, "bird_y_bin": 64, "pipe_dx_bin": 50, "gap_y_bin": 12, "alive": true},
{"step": 1, "bird_y_bin": 64, "pipe_dx_bin": 49, "gap_y_bin": 12, "alive": true}
]
}以下是华为 Ascend 910B NPU 上的推理性能数据(评估环境:单 chip、单卡):
| 指标 | 数值 |
|---|---|
| 模型加载时间 | ~8 秒 |
| 单帧推理延迟 | ~15 ms |
| 10 帧推理总时间 | ~150 ms |
| 50 帧推理总时间 | ~750 ms |
| NPU 显存占用 | ~240 MB |
| NPU 算力利用率 | 0% ~ 5% |
由于模型规模较小(仅 11M 参数),在 Ascend 910B 上推理时 NPU 算力利用率较低,显存占用也远低于硬件上限。该模型非常适合在边缘场景或低功耗环境中部署,也可以作为 vLLM-Ascend 适配流程的轻量级测试用例。
通过对比模型在 NPU 上的推理输出与原始 PyTorch CPU 推理结果进行精度验证。验证方法为:在相同输入初始状态(BOS token)和相同随机种子下,分别运行 10 帧推理,比较每帧的 token 输出。
| 精度指标 | 结果 |
|---|---|
| token 输出一致性 | 100%(与 CPU 基准一致) |
| 存活帧率 | 100%(10/10 帧均为 ALIVE) |
| 动作响应 | 拍打动作后 bird_y 正常上升 |
| 物理规律 | 重力加速度表现正常,管道位置持续递减 |
适配过程中未发现精度损失,所有算子(Embedding、RMSNorm、CausalSelfAttention、GELU MLP、Linear)在 Ascend NPU 上均通过了数值一致性验证。
模型权重加载:checkpoint 文件为完整的 PyTorch 模型对象(包含 model、model_cfg、token_cfg 等键),需从 ckpt['model'] 中提取 state_dict 后再加载到模型实例,不能直接 torch.load() 后作为 state_dict 使用。
Python 版本兼容性:gptbird 源码要求 Python >= 3.12,但在 Python 3.11 环境中可以通过 pip install -e . --no-deps 或直接将源码路径加入 sys.path 的方式绕过版本检查。
端口冲突:启动 API 服务前请检查目标端口是否被占用。如遇端口冲突,可通过 --port 参数指定其他端口号。
NPU 显存管理:虽然模型仅占用约 240 MB 显存,但在多进程场景下需注意 torch_npu 的显存分配策略,建议通过 torch.npu.empty_cache() 及时释放未使用的缓存。
ONNX 导出:本仓库仅提供 PyTorch 权重的推理方案。如需使用 ONNX 运行时推理(如 WebGPU 部署),请使用 model.onnx 文件配合 onnxruntime-web。PyTorch 导出的 ONNX 模型使用了动态因果掩码,在 WebGPU 后端上兼容性良好。
模型文件:small_pipes.pt 为完整游戏模型(含管道),nano_nopipes.pt 为简化版模型(仅含小鸟重力和拍打,无管道),model.onnx 为 ONNX 格式导出文件。