Ascend-SACT/GalaxeaVLA-G05
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

GalaxeaVLA G05 昇腾 NPU 910C 推理使用手册

适用范围:GalaxeaVLA G0.5(OpenGalaxea g05,lerobot feat/g05-port 策略载体)在 Ascend 910C / Atlas A3 上的推理适配。2 个 NPU 补丁;4 用例 6 断言 + 进程内验证 + 精度证据链 8/8 全 PASS,17 项堵点清零。


0. 模型信息

项目信息
模型名称GalaxeaVLA G0.5(lerobot/g05_base,2.86B / 945 键)
基础架构Qwen3.5 混合底座(GatedDeltaNet 线性注意力 + full_attention 24 层、M-RoPE interleaved)+ SigLIP 系视觉塔(patch16/merge2/temporal_patch2)+ 动作专家(adaLN + flow matching 16 步)+ 原生动作编解码(离散 token + 连续 flow 双路,action_tokenizer sidecar 170M)
策略载体lerobot 0.6.2(type=g05,五件套 src/lerobot/policies/g05/*.py 共 5297 行,仅存在于 feat/g05-port 分支)
精度bf16 精度岛 + fp32 岛(policy.to("npu"),依赖补丁一)
权重g05_base safetensors 11.4G + action_tokenizer sidecar 170M
输入3 相机 ×6 历史帧 = 18 图(256×256)+ 14 维状态 + 自然语言指令 → 233 token prefill
输出动作块 policy 空间 27 维(chunk 32 / 执行 16 步)+ CoT(subtask/BBox)
推理入口g05_server.py(常驻 HTTP :8100,POST /infer、POST /dequeue、GET /health)
源码仓库https://github.com/huggingface/lerobot
基线 commit4b3aa2b168ef0edf1ff7b9038ed12b2f775b6285(feat/g05-port 分支,按锁定 SHA 检出)
权重地址https://huggingface.co/lerobot/g05_base
适配补丁g05_ascend910c_infer.patch + scripts/apply_npu_patches.sh(随本仓库提供,覆盖 modeling_g05.py 1 个文件:[g05-npu-1] 3 处设备判断放宽 + [g05-npu-2] _patchify 8 维重写,幂等可重入)

1. 环境清单

组件版本说明
硬件Atlas A3*1卡
容器镜像quay.io/ascend/vllm-ascend:v0.23.0rc1-a3容器名 g05-npu
CANN9.0.1镜像内置
NPU 驱动25.5.0宿主机侧(npu-smi 25.5.0)
Python3.12.13lerobot 0.6.2 强制 ≥3.12;镜像自带双版本,必须 /usr/local/python3.12.13 绝对路径建 venv
torch2.10.0+cpupypi aarch64 即 cpu 版,venv 自装
torch-npu2.10.0.post2必须与 torch 同版本配对
transformers5.5.4lerobot g05 锁 ≥5.4,<5.6(Qwen3.5 混合架构必须 5.x 官方类)
lerobot0.6.2 feat/g05-port-e --no-deps 源码安装,装后按 caps 钉 13 项依赖
13 项依赖钉版datasets、av 15.x、pillow<13、setuptools<82、opencv<4.14、packaging<26、draccus 0.11.x、einops 0.8.x、requests 2.32+、gymnasium 1.1.x、termcolor<4、filelock<4、numpy<2.3按 lerobot pyproject caps 钉版,g05_env_setup.sh 第 4 段自动安装;每个上限均实测撞出(av16 删 av.option 等)
fla / causal-conv1d未装自动回退 torch 参考实现(无外来 CUDA 算子,NPU 反而稳),对应启动日志 3 行 WARNING,无害

2. 快速开始

# 0) 上传交付脚本(本仓 scripts/ → /root/g05_ws/,一把传齐;端口按实例调整)
scp -P 22026 scripts/* root@<POD_IP>:/root/g05_ws/

# 1) 一键准备(五段门,幂等可重入;venv/torch 栈/SHA 检出+双校验门/13 项钉版+双导入门/2 补丁)
bash /root/g05_ws/g05_env_setup.sh
# 预期:逐段 === [n/5] === → deps OK + DEEP_IMPORT_OK + PATCH_DONE → ENV_READY

# 2) 起服务(重入保护:先清旧进程与过期 pid;模型加载 7.6s,冷缓存首载 ~25s)
cd /root/g05_ws
pkill -f "venv_g05/bin/python g05_server.py" 2>/dev/null; rm -f g05_server.pid
nohup /root/g05_ws/venv_g05/bin/python g05_server.py > g05_server.log 2>&1 &
echo $! > g05_server.pid
sleep 15 && tail -6 g05_server.log   # 出现「服务就绪 :8100」即成功(冷缓存首载再等十几秒)

# 3) 回归 + 进程内验证
/root/g05_ws/venv_g05/bin/python g05_test.py      # 预期 G05_TEST_PASS 6/6
/root/g05_ws/venv_g05/bin/python g05_verify.py    # 预期 G05_NPU_VERIFY_PASS

预期输出(g05_test.py,时延为热态参考值;CoT 文本随随机图与指令变化,关键看 PASS 与汇总行):

[PASS] TC1 首块推理 latency=4.74s cot=['move left arm toward the red block on the TV scr…
[PASS] TC2 队列出队 latency=0.0s        # ×3,出队时延序列: [0.0, 0.0, 0.0]
[PASS] TC3 指令语义响应 latency=2.46s cot=['move left arm toward the cup']
[PASS] TC4 多任务连续稳定性

G05_TEST_PASS 6/6

判定标准:6 断言全 PASS;动作块 shape (1, 27) 全有限值;CoT 非空且随任务变化;出队 <0.5s。2026-11-06 复验(commit 4b3aa2b1,A3-syn-9 重装全流程一把过)实测:TC1 3.79s / TC2 ×3 0.0s / TC3 2.24s / TC4;g05_verify.py 首块 2.83s;curl /infer 2.29s;模型加载 24.7s 系冷缓存首载,属预期浮动。

2026-11-07 新实例三验(pod 本地盘重置后按 §2 全流程重装):五段门一把过,G05_TEST_PASS 6/6(TC1 2.08s / TC2 ×3 0.0s / TC3 1.99s / TC4)+ G05_NPU_VERIFY_PASS(首块 3.25s)。 2026-11-07 第四轮(A3-syn-6 全新 pod):G05_TEST_PASS 6/6(TC1 3.69s / TC2 ×3 0.0s / TC3 2.11s / TC4)+ G05_NPU_VERIFY_PASS(首块 2.78s)+ 精度证据链 G05_NPU_EVIDENCE_PASS 8/8(cos=0.999997 / max_abs=2.2e-03,p50=2.351s)。


3. 命令与参数详解

3.1 一键准备 g05_env_setup.sh(五段门)

段内容验证点
1/5/usr/local/python3.12.13 绝对路径建 venv(非 --system-site-packages,torch/transformers 均自装不碰系统栈)venv 可用
2/5torch==2.10.0 + torch_npu==2.10.0.post2 + transformers>=5.4,<5.6import 配对
3/5lerobot 按锁定 SHA 4b3aa2b1… 检出(init + fetch SHA + checkout FETCH_HEAD,重入自愈;勿 clone -b)+ -e --no-deps文件存在 + hash=4b3aa2b1… 双校验门
4/513 项依赖钉版deps OK + DEEP_IMPORT_OK 双门(深度导入过门才算环境就绪)
5/5apply_npu_patches.sh 2 补丁落位(幂等)PATCH_DONE → ENV_READY

任一段 FAIL 即停;修复后重跑,已完成段自动跳过。pip 报 asc-op / te / superkernel requires…、ms-service-profiler requires pandas、lerobot requires cmake 均为出厂系统包/构建期声明类无害提示(FAQ),忽略;环境是否就绪以 deps OK + DEEP_IMPORT_OK 双门为准。

3.2 推理服务 g05_server.py

项值说明
监听0.0.0.0:8100POST /infer、POST /dequeue、GET /health
CKPT/mnt/share_space/g05_base11.4G 全量加载一次
设备torch.npu.set_device(0)第一块可见芯片
上卡policy.to("npu")bf16 + fp32 精度岛 + sidecar 搬运(依赖补丁一)
预处理器官方 make_g05_pre_post_processors_from_pretrained(policy.config, CKPT) + preprocessor_overrides={"device_processor": {"device": "npu"}}官方 loader 防 KeyError: 'author_model_config';overrides 在实例化前改写 checkpoint 内写死的 cuda(不改仓库文件)
语义约定/infer 先 policy.reset()新观测=新 chunk,清队列防串块;同观测连续步走 /dequeue
返回三态dict / PolicyOutput / TensorSystem 2 下 select_action 返回 dict{"action","prediction"}
计时服务端内置 torch.npu.synchronize()时延数字含 NPU 同步,可直接对外

请求/响应(curl 纯 JSON 可直调,占位观测由服务端按 checkpoint 规格生成:3 相机 ×6 帧随机 uint8 + 14 维零状态):

curl -s -X POST http://127.0.0.1:8100/infer \
     -H 'Content-Type: application/json' \
     -d '{"task": "pick up the red block"}'
# 响应: {"action": [...27 维...], "cot_subtask": "move left arm toward the red block …", "latency_s": 2.29}
# 后续同观测连续步: curl -X POST http://127.0.0.1:8100/dequeue

3.3 回归脚本 g05_test.py / 进程内验证 g05_verify.py

用例覆盖目标断言
TC1 首块推理主链路:12 步预处理→prefill 233 token→flow 16 步去噪→动作块+CoT(1,27) 全有限 + CoT 非空
TC2 队列出队 ×3chunk 出队路径(1,27) 全有限 + latency<0.5s
TC3 指令语义响应指令编码泛化(1,27) 全有限 + CoT 与 TC1 不同
TC4 多任务连续稳定性连续多请求无累积漂移3 个不同任务全有限

g05_verify.py 为进程内轻量验证(加载→上卡→官方 loader 预处理→select_action),输出 G05_NPU_VERIFY_PASS;服务在跑可直接执行。


4. 代码复现

适用于新容器/新机器。按顺序执行,每步有验证点。

4.1 创建容器(宿主机)

mkdir -p /root/g05_ws
export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0rc1-a3

docker run \
    --name g05-npu \
    --shm-size=16g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -v /mnt/weight:/mnt/weight \
    -v /mnt/share_space:/mnt/share_space \
    -v /root/g05_ws:/root/g05_ws \
    -itd $IMAGE bash

docker exec -it g05-npu bash

davinci 设备号按实际机器调整(ls /dev/davinci*)。pod 直跑变体(无 docker):跳过本节,后续命令直接在 pod 内执行——本次适配实测环境即 A3 pod 直跑(A3-syn-9,davinci2 单芯)。

4.2 安装依赖(容器内)

无需手工逐项安装——g05_env_setup.sh 第 1/2/4 段自动完成(py3.12 venv、torch 与 torch_npu 同版本配对、transformers 5.x、13 项钉版)。核心口径:

# g05_env_setup.sh 内部等价于:
/usr/local/python3.12.13/bin/python3.12 -m venv /root/g05_ws/venv_g05
P=/root/g05_ws/venv_g05/bin/pip
$P install torch==2.10.0 torchvision && $P install torch_npu==2.10.0.post2
$P install "transformers>=5.4.0,<5.6.0"
# 验证 1:NPU 后端可用
/root/g05_ws/venv_g05/bin/python -c "import torch, torch_npu; print(torch.__version__, torch_npu.__version__)"
# 预期:2.10.0+cpu 2.10.0.post2

4.3 获取代码与权重(容器内)

# 交付脚本先上传(宿主机 → pod,端口按实例调整):
scp -P 22026 scripts/* root@<POD_IP>:/root/g05_ws/

# 权重(如已有可跳过;实测部署机器已在 /mnt/share_space/g05_base,g05_server.py 的 CKPT 即指向该路径):
pip install -U "huggingface_hub[cli]"
hf download lerobot/g05_base --local-dir ./g05_base

受限网络环境(HF 大文件 CDN 被拦截):在外网机下载后内网 scp 传入,中断重跑同命令自动断点续传。 g05 策略代码不在权重内:上游 feat/g05-port 分支已删除(#017),按锁定 SHA 检出——已固化进 g05_env_setup.sh 第 3 段(2026-11-06 复装实测一把过),内部等价于:

# 双校验门:文件存在 + hash=4b3aa2b1…
[ -f /root/g05_ws/lerobot/src/lerobot/policies/g05/modeling_g05.py ] || {
    rm -rf /root/g05_ws/lerobot
    mkdir -p /root/g05_ws/lerobot
    (cd /root/g05_ws/lerobot \
        && git init -q \
        && git remote add origin https://github.com/huggingface/lerobot.git \
        && git fetch --depth 1 origin 4b3aa2b168ef0edf1ff7b9038ed12b2f775b6285 \
        && git checkout -q FETCH_HEAD)
}
ls /root/g05_ws/lerobot/src/lerobot/policies/g05/modeling_g05.py
git -C /root/g05_ws/lerobot log -1 --format='%H'   # 必须 4b3aa2b168ef0edf1ff7b9038ed12b2f775b6285

4.4 应用补丁(容器内)

三种方式任选(推荐 a,与一键流程一致):

# a) g05_env_setup.sh 第 5 段自动落位(幂等;一键流程已含)
bash /root/g05_ws/g05_env_setup.sh

# b) 手动一键补丁:
bash /root/g05_ws/apply_npu_patches.sh /root/g05_ws/lerobot
# 预期:
# === [1/3] [g05-npu-1] 设备判断放宽 === OK: 3 处已放宽
# === [2/3] [g05-npu-2] _patchify 8 维重写 === OK: _patchify rewritten
# === [3/3] 校验 === syntax OK / 1 / 3 / PATCH_DONE

# c) 手动 git apply(前提:工作区干净且处于基线 SHA 4b3aa2b1;补丁置于 /root/g05_ws/)
cd /root/g05_ws/lerobot
git apply --check ../g05_ascend910c_infer.patch    # 无输出即校验通过
git apply ../g05_ascend910c_infer.patch

patch 文件由已打补丁的工作区生成:git -C /root/g05_ws/lerobot diff > g05_ascend910c_infer.patch;补丁落位后亦可从 adaption_code/ 取全量修改后文件对照(本仓库补丁于 2026-11-07 在锁定 SHA 工作区生成并复验,与 adaption_code 副本 sha256 一致)。若 git apply --check 报 patch does not apply:确认 HEAD 在基线 SHA 且 git status --short 为空。

补丁范围(apply_npu_patches.sh,覆盖 1 个文件 src/lerobot/policies/g05/modeling_g05.py):

  • [g05-npu-1] 3 处 device.type == "cuda" → in ("cuda", "npu")(bf16 精度岛 / sidecar 搬运 / autocast 使能;grep 校验=3)。cuda 独占分支在 NPU 上条件为假被静默跳过(无任何报错),是最危险形态——NPU 适配第一刀永远先查"cuda 独占判断";
  • [g05-npu-2] _patchify 9 维 unsqueeze(2).expand(T,…).reshape 拷贝链重写为 8 维 patchify + 通道块 gather(NPU aclnnInplaceCopy 硬上限 8 维,EZ1001/161002,视觉塔第一层即崩)。语义陷阱:原 9 维 reshape 把 (F,C,T,H,W) 逻辑序重解释为 (F,T,C,…)(T 是 stride-0 expand 维),逐位等价的结果是特征位 (c,t) 取第 (t*C+c)//T 通道的补丁——朴素"双份拼接"数值不同,勿手写。

_patchify sel-gather 核心:

patches = x.reshape(batch_frames * grid_h * grid_w, channels, patch_size * patch_size)
sel = [((s % temporal) * channels + s // temporal) // temporal for s in range(channels * temporal)]
return patches[:, sel, :].reshape(
    batch_frames * grid_h * grid_w, channels * temporal * patch_size * patch_size)

等价性由 scripts/test_patchify_equiv.py 锁死:与原 9 维实现 8 组 allclose(atol=0) 逐位对比(T∈{1,2}×patch∈{14,16}×merge∈{1,2};本 checkpoint temporal_patch_size=2,T>1 路径活跃),实测 EQUIV_PASS 8/8。

4.5 冒烟与用例(容器内)

见 §2 快速开始(g05_env_setup → 起服务 → g05_test.py / g05_verify.py)。预期启动日志(数字略有浮动):

WARNING:root:No accelerated backend detected. Using default cpu, this will be slow.
WARNING:lerobot.configs.policies:Device 'cuda' is not available. Switching to 'cpu'.
The fast path is not available because one of the required library is not installed. Falling back to torch implementation.
[server] 阶段1/3 推理栈导入 2.7s
[server] 阶段2/3 模型加载 2.86B 7.6s            # 冷缓存首载可至 ~25s,属预期
[server] 阶段3/3 上卡 1.3s
[server] 预处理器 12 步就绪 0.0s
[server] 服务就绪 :8100  POST /infer | POST /dequeue | GET /health

前 3 行 WARNING 为已知无害噪音:fla/causal-conv1d 快路径缺失自动回退 torch 实现;config 导入期默认 cuda 回落,实际由服务 to('npu') 上卡。

g05_verify.py 预期输出(同样先刷 3 行无害 WARNING 与 torch_npu internal format 提示,忽略):

Loading weights from local directory
首块 2.83s action=(1, 27)
CoT subtask: ['move left arm toward the red block on the TV screen']
出队 0.00s
出队 0.00s
G05_NPU_VERIFY_PASS

可选:进程内冒烟 g05_smoke.py(输出 SMOKE_PASS,含 backend device、参数量、12 步流水线、首块/出队计时)。

4.6 性能基准

实测(A3 单芯,2026-10-29 首测 / 2026-11-06、11-07 多轮复验):

指标数值说明
推理栈导入2.8s服务阶段 1/3
模型加载(11.4G safetensors)7.6s服务阶段 2/3;冷缓存首载 ~24.7s 属预期浮动
上卡 to('npu')1.5s服务阶段 3/3;bf16+fp32 精度岛 + sidecar 搬运(依赖补丁一)
预处理器 12 步就绪<0.1soverrides device→npu
首块推理(prefill 233 token + flow 16 步 + CoT)3.0~4.7s/次冒烟 3.01s / HTTP 3.84.7s / 复验 2.243.79s
队列出队~0schunk 32 / 执行 16 步设计
证据链规范计时(synchronize 包围,预热 3 + 计时 10)p50=2.23s(min 2.07 / max 2.26)≈0.45 chunks/s ≈ 7.3 actions/s(16 步/chunk)
精度证据链(2026-11-06,g05_evidence.py)G05_NPU_EVIDENCE_PASS 8/8cos=0.999993 / mae=6.8e-04 / max_abs=2.7e-03(阈值余量 ≥29 倍);CPU fp32 基准 115.9s vs NPU p50 2.228s ≈52 倍加速;详见适配报告 §6.3

关键语义:动作 chunk 为 32 步/执行 16 步——新观测必须 policy.reset() 清队列再推理,否则会从旧 chunk 出队(服务端已内置)。

精度证据链(建议步骤):先停服务(脚本独占加载 CPU+NPU 双份模型),跑完重跑 §2 步骤 2 恢复:

pkill -f "venv_g05/bin/python g05_server.py"; sleep 2
cd /root/g05_ws && ASCEND_RT_VISIBLE_DEVICES=0 venv_g05/bin/python g05_evidence.py
# 预期末行: G05_NPU_EVIDENCE_PASS 8/8(cos=0.999993 / mae=6.8e-04 / max_abs=2.7e-03,2026-11-06 实测)
# 耗时 ~6min(sha256 11.4G + CPU 基准单次 116s);产物 evidence_summary.json / npu_action.npy / cpu_action.npy

5. 常见问题(FAQ)

报错原因对策
Remote branch feat/g05-port not found in upstream origin上游分支已被删除/合并;连接本身正常,勿误判为网络问题按锁定 SHA 直拉:init + fetch 4b3aa2b1… + checkout FETCH_HEAD(g05_env_setup 第 3 段已固化,§4.3)
ValueError: Requested device 'cuda' but CUDA is not availablecheckpoint 内 policy_preprocessor.json device 步写死 cuda,实例化即校验崩溃preprocessor_overrides={"device_processor": {"device": "npu"}}(server 已内置)
aclnnInplaceCopy failed … larger than 8 dimensions (EZ1001)_patchify 9 维拷贝链超 NPU 上限打补丁二(§4.4),勿手写"双份拼接"(语义陷阱)
加载成功但精度岛/sidecar/autocast 未生效(无任何报错)cuda 独占分支在 NPU 上条件为假被静默跳过打补丁一并 grep 校验=3(§4.4);NPU 适配第一刀查 cuda 独占判断
KeyError: 'author_model_config'G05TokenizerStep.policy_config 设计上不序列化进 json用官方 make_g05_pre_post_processors_from_pretrained(policy.config, CKPT)(server 已内置)
换任务返回 0.0x 秒且 CoT=None旧动作队列还在出队(chunk 32/执行 16 步跨调用存活)新观测前 policy.reset();同观测出队走 /dequeue(server 已内置)
ModuleNotFoundError: draccus(顶层 import 正常、策略模块报错)lerobot 自身 requires 的 4 包被 --no-deps 跳过按 caps 补装 + DEEP_IMPORT_OK 门(g05_env_setup 第 4 段已固化)
module 'av' has no attribute 'option'av 16.x 删除该模块,超出 lerobot pyproject caps钉 av>=15,<16(13 项钉版内,g05_env_setup 第 4 段)
lerobot 0.6.2 requires cmake<4.2.0,>=3.29.0.1, which is not installedpip 依赖自检提示:lerobot pyproject 声明 cmake,仅源码构建期需要无害忽略——--no-deps 安装不触发构建、运行时不需要;环境是否就绪以 deps OK + DEEP_IMPORT_OK 双门为准(2026-11-07 实测双门全过)
OSError: [Errno 98] Address already in use旧服务进程未退净 / HBM 释放慢启动前 pkill -f "venv_g05/bin/python g05_server.py" + 清 pid + 等端口释放(§2 步骤 2 三保险)
启动/验证日志刷 3 行 WARNING(No accelerated backend / Device 'cuda' is not available / fast path not available)fla/causal-conv1d 未装自动回退 torch 实现;config 导入期默认 cuda 回落无害,实际由服务 to('npu') 上卡;internal format 与 double dtype 提示同为 torch_npu 固有噪音
pip 报 CANN 出厂包 requires… 刷屏(asc-op / te / superkernel / e / ms-service-profiler,如 e 0.4.0 requires decorator、te 0.4.0 requires ml-dtypes/psutil/scipy/tornado、ms-service-profiler requires pandas~=2.2)镜像出厂系统包固有提示(PYTHONPATH 泄入),与 venv 实际依赖无关忽略,绝不"顺手修复"镜像系统栈
终端长块粘贴丢行 / shell 停在已删除目录报 python Fatal Error运维终端 / 幽灵 cwd校验门当场暴露 + scp 绕行;cd 退出幽灵目录再执行
脚本运行零输出/立即返回(无 PASS 也无报错)把 markdown ```bash 围栏整块贴进终端,命令被围栏行吞掉/截断(堵点 #15,2026-11-07 实测撞出)围栏行不要贴进终端,逐条执行或 scp 上传后运行;wc -c 比对脚本字节数;重跑即恢复