适用范围:GalaxeaVLA G0.5(OpenGalaxea g05,lerobot
feat/g05-port策略载体)在 Ascend 910C / Atlas A3 上的推理适配。2 个 NPU 补丁;4 用例 6 断言 + 进程内验证 + 精度证据链 8/8 全 PASS,17 项堵点清零。
| 项目 | 信息 |
|---|---|
| 模型名称 | GalaxeaVLA G0.5(lerobot/g05_base,2.86B / 945 键) |
| 基础架构 | Qwen3.5 混合底座(GatedDeltaNet 线性注意力 + full_attention 24 层、M-RoPE interleaved)+ SigLIP 系视觉塔(patch16/merge2/temporal_patch2)+ 动作专家(adaLN + flow matching 16 步)+ 原生动作编解码(离散 token + 连续 flow 双路,action_tokenizer sidecar 170M) |
| 策略载体 | lerobot 0.6.2(type=g05,五件套 src/lerobot/policies/g05/*.py 共 5297 行,仅存在于 feat/g05-port 分支) |
| 精度 | bf16 精度岛 + fp32 岛(policy.to("npu"),依赖补丁一) |
| 权重 | g05_base safetensors 11.4G + action_tokenizer sidecar 170M |
| 输入 | 3 相机 ×6 历史帧 = 18 图(256×256)+ 14 维状态 + 自然语言指令 → 233 token prefill |
| 输出 | 动作块 policy 空间 27 维(chunk 32 / 执行 16 步)+ CoT(subtask/BBox) |
| 推理入口 | g05_server.py(常驻 HTTP :8100,POST /infer、POST /dequeue、GET /health) |
| 源码仓库 | https://github.com/huggingface/lerobot |
| 基线 commit | 4b3aa2b168ef0edf1ff7b9038ed12b2f775b6285(feat/g05-port 分支,按锁定 SHA 检出) |
| 权重地址 | https://huggingface.co/lerobot/g05_base |
| 适配补丁 | g05_ascend910c_infer.patch + scripts/apply_npu_patches.sh(随本仓库提供,覆盖 modeling_g05.py 1 个文件:[g05-npu-1] 3 处设备判断放宽 + [g05-npu-2] _patchify 8 维重写,幂等可重入) |
| 组件 | 版本 | 说明 |
|---|---|---|
| 硬件 | Atlas A3*1卡 | |
| 容器镜像 | quay.io/ascend/vllm-ascend:v0.23.0rc1-a3 | 容器名 g05-npu |
| CANN | 9.0.1 | 镜像内置 |
| NPU 驱动 | 25.5.0 | 宿主机侧(npu-smi 25.5.0) |
| Python | 3.12.13 | lerobot 0.6.2 强制 ≥3.12;镜像自带双版本,必须 /usr/local/python3.12.13 绝对路径建 venv |
| torch | 2.10.0+cpu | pypi aarch64 即 cpu 版,venv 自装 |
| torch-npu | 2.10.0.post2 | 必须与 torch 同版本配对 |
| transformers | 5.5.4 | lerobot g05 锁 ≥5.4,<5.6(Qwen3.5 混合架构必须 5.x 官方类) |
| lerobot | 0.6.2 feat/g05-port | -e --no-deps 源码安装,装后按 caps 钉 13 项依赖 |
| 13 项依赖钉版 | datasets、av 15.x、pillow<13、setuptools<82、opencv<4.14、packaging<26、draccus 0.11.x、einops 0.8.x、requests 2.32+、gymnasium 1.1.x、termcolor<4、filelock<4、numpy<2.3 | 按 lerobot pyproject caps 钉版,g05_env_setup.sh 第 4 段自动安装;每个上限均实测撞出(av16 删 av.option 等) |
| fla / causal-conv1d | 未装 | 自动回退 torch 参考实现(无外来 CUDA 算子,NPU 反而稳),对应启动日志 3 行 WARNING,无害 |
# 0) 上传交付脚本(本仓 scripts/ → /root/g05_ws/,一把传齐;端口按实例调整)
scp -P 22026 scripts/* root@<POD_IP>:/root/g05_ws/
# 1) 一键准备(五段门,幂等可重入;venv/torch 栈/SHA 检出+双校验门/13 项钉版+双导入门/2 补丁)
bash /root/g05_ws/g05_env_setup.sh
# 预期:逐段 === [n/5] === → deps OK + DEEP_IMPORT_OK + PATCH_DONE → ENV_READY
# 2) 起服务(重入保护:先清旧进程与过期 pid;模型加载 7.6s,冷缓存首载 ~25s)
cd /root/g05_ws
pkill -f "venv_g05/bin/python g05_server.py" 2>/dev/null; rm -f g05_server.pid
nohup /root/g05_ws/venv_g05/bin/python g05_server.py > g05_server.log 2>&1 &
echo $! > g05_server.pid
sleep 15 && tail -6 g05_server.log # 出现「服务就绪 :8100」即成功(冷缓存首载再等十几秒)
# 3) 回归 + 进程内验证
/root/g05_ws/venv_g05/bin/python g05_test.py # 预期 G05_TEST_PASS 6/6
/root/g05_ws/venv_g05/bin/python g05_verify.py # 预期 G05_NPU_VERIFY_PASS预期输出(g05_test.py,时延为热态参考值;CoT 文本随随机图与指令变化,关键看 PASS 与汇总行):
[PASS] TC1 首块推理 latency=4.74s cot=['move left arm toward the red block on the TV scr…
[PASS] TC2 队列出队 latency=0.0s # ×3,出队时延序列: [0.0, 0.0, 0.0]
[PASS] TC3 指令语义响应 latency=2.46s cot=['move left arm toward the cup']
[PASS] TC4 多任务连续稳定性
G05_TEST_PASS 6/6判定标准:6 断言全 PASS;动作块 shape (1, 27) 全有限值;CoT 非空且随任务变化;出队 <0.5s。2026-11-06 复验(commit 4b3aa2b1,A3-syn-9 重装全流程一把过)实测:TC1 3.79s / TC2 ×3 0.0s / TC3 2.24s / TC4;g05_verify.py 首块 2.83s;curl /infer 2.29s;模型加载 24.7s 系冷缓存首载,属预期浮动。
2026-11-07 新实例三验(pod 本地盘重置后按 §2 全流程重装):五段门一把过,G05_TEST_PASS 6/6(TC1 2.08s / TC2 ×3 0.0s / TC3 1.99s / TC4)+ G05_NPU_VERIFY_PASS(首块 3.25s)。
2026-11-07 第四轮(A3-syn-6 全新 pod):G05_TEST_PASS 6/6(TC1 3.69s / TC2 ×3 0.0s / TC3 2.11s / TC4)+ G05_NPU_VERIFY_PASS(首块 2.78s)+ 精度证据链 G05_NPU_EVIDENCE_PASS 8/8(cos=0.999997 / max_abs=2.2e-03,p50=2.351s)。
g05_env_setup.sh(五段门)| 段 | 内容 | 验证点 |
|---|---|---|
| 1/5 | /usr/local/python3.12.13 绝对路径建 venv(非 --system-site-packages,torch/transformers 均自装不碰系统栈) | venv 可用 |
| 2/5 | torch==2.10.0 + torch_npu==2.10.0.post2 + transformers>=5.4,<5.6 | import 配对 |
| 3/5 | lerobot 按锁定 SHA 4b3aa2b1… 检出(init + fetch SHA + checkout FETCH_HEAD,重入自愈;勿 clone -b)+ -e --no-deps | 文件存在 + hash=4b3aa2b1… 双校验门 |
| 4/5 | 13 项依赖钉版 | deps OK + DEEP_IMPORT_OK 双门(深度导入过门才算环境就绪) |
| 5/5 | apply_npu_patches.sh 2 补丁落位(幂等) | PATCH_DONE → ENV_READY |
任一段 FAIL 即停;修复后重跑,已完成段自动跳过。pip 报 asc-op / te / superkernel requires…、ms-service-profiler requires pandas、lerobot requires cmake 均为出厂系统包/构建期声明类无害提示(FAQ),忽略;环境是否就绪以 deps OK + DEEP_IMPORT_OK 双门为准。
g05_server.py| 项 | 值 | 说明 |
|---|---|---|
| 监听 | 0.0.0.0:8100 | POST /infer、POST /dequeue、GET /health |
CKPT | /mnt/share_space/g05_base | 11.4G 全量加载一次 |
| 设备 | torch.npu.set_device(0) | 第一块可见芯片 |
| 上卡 | policy.to("npu") | bf16 + fp32 精度岛 + sidecar 搬运(依赖补丁一) |
| 预处理器 | 官方 make_g05_pre_post_processors_from_pretrained(policy.config, CKPT) + preprocessor_overrides={"device_processor": {"device": "npu"}} | 官方 loader 防 KeyError: 'author_model_config';overrides 在实例化前改写 checkpoint 内写死的 cuda(不改仓库文件) |
| 语义约定 | /infer 先 policy.reset() | 新观测=新 chunk,清队列防串块;同观测连续步走 /dequeue |
| 返回三态 | dict / PolicyOutput / Tensor | System 2 下 select_action 返回 dict{"action","prediction"} |
| 计时 | 服务端内置 torch.npu.synchronize() | 时延数字含 NPU 同步,可直接对外 |
请求/响应(curl 纯 JSON 可直调,占位观测由服务端按 checkpoint 规格生成:3 相机 ×6 帧随机 uint8 + 14 维零状态):
curl -s -X POST http://127.0.0.1:8100/infer \
-H 'Content-Type: application/json' \
-d '{"task": "pick up the red block"}'
# 响应: {"action": [...27 维...], "cot_subtask": "move left arm toward the red block …", "latency_s": 2.29}
# 后续同观测连续步: curl -X POST http://127.0.0.1:8100/dequeueg05_test.py / 进程内验证 g05_verify.py| 用例 | 覆盖目标 | 断言 |
|---|---|---|
| TC1 首块推理 | 主链路:12 步预处理→prefill 233 token→flow 16 步去噪→动作块+CoT | (1,27) 全有限 + CoT 非空 |
| TC2 队列出队 ×3 | chunk 出队路径 | (1,27) 全有限 + latency<0.5s |
| TC3 指令语义响应 | 指令编码泛化 | (1,27) 全有限 + CoT 与 TC1 不同 |
| TC4 多任务连续稳定性 | 连续多请求无累积漂移 | 3 个不同任务全有限 |
g05_verify.py 为进程内轻量验证(加载→上卡→官方 loader 预处理→select_action),输出 G05_NPU_VERIFY_PASS;服务在跑可直接执行。
适用于新容器/新机器。按顺序执行,每步有验证点。
mkdir -p /root/g05_ws
export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0rc1-a3
docker run \
--name g05-npu \
--shm-size=16g \
--net=host \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-v /mnt/weight:/mnt/weight \
-v /mnt/share_space:/mnt/share_space \
-v /root/g05_ws:/root/g05_ws \
-itd $IMAGE bash
docker exec -it g05-npu bashdavinci 设备号按实际机器调整(
ls /dev/davinci*)。pod 直跑变体(无 docker):跳过本节,后续命令直接在 pod 内执行——本次适配实测环境即 A3 pod 直跑(A3-syn-9,davinci2 单芯)。
无需手工逐项安装——g05_env_setup.sh 第 1/2/4 段自动完成(py3.12 venv、torch 与 torch_npu 同版本配对、transformers 5.x、13 项钉版)。核心口径:
# g05_env_setup.sh 内部等价于:
/usr/local/python3.12.13/bin/python3.12 -m venv /root/g05_ws/venv_g05
P=/root/g05_ws/venv_g05/bin/pip
$P install torch==2.10.0 torchvision && $P install torch_npu==2.10.0.post2
$P install "transformers>=5.4.0,<5.6.0"
# 验证 1:NPU 后端可用
/root/g05_ws/venv_g05/bin/python -c "import torch, torch_npu; print(torch.__version__, torch_npu.__version__)"
# 预期:2.10.0+cpu 2.10.0.post2# 交付脚本先上传(宿主机 → pod,端口按实例调整):
scp -P 22026 scripts/* root@<POD_IP>:/root/g05_ws/
# 权重(如已有可跳过;实测部署机器已在 /mnt/share_space/g05_base,g05_server.py 的 CKPT 即指向该路径):
pip install -U "huggingface_hub[cli]"
hf download lerobot/g05_base --local-dir ./g05_base受限网络环境(HF 大文件 CDN 被拦截):在外网机下载后内网 scp 传入,中断重跑同命令自动断点续传。 g05 策略代码不在权重内:上游
feat/g05-port分支已删除(#017),按锁定 SHA 检出——已固化进g05_env_setup.sh第 3 段(2026-11-06 复装实测一把过),内部等价于:
# 双校验门:文件存在 + hash=4b3aa2b1…
[ -f /root/g05_ws/lerobot/src/lerobot/policies/g05/modeling_g05.py ] || {
rm -rf /root/g05_ws/lerobot
mkdir -p /root/g05_ws/lerobot
(cd /root/g05_ws/lerobot \
&& git init -q \
&& git remote add origin https://github.com/huggingface/lerobot.git \
&& git fetch --depth 1 origin 4b3aa2b168ef0edf1ff7b9038ed12b2f775b6285 \
&& git checkout -q FETCH_HEAD)
}
ls /root/g05_ws/lerobot/src/lerobot/policies/g05/modeling_g05.py
git -C /root/g05_ws/lerobot log -1 --format='%H' # 必须 4b3aa2b168ef0edf1ff7b9038ed12b2f775b6285三种方式任选(推荐 a,与一键流程一致):
# a) g05_env_setup.sh 第 5 段自动落位(幂等;一键流程已含)
bash /root/g05_ws/g05_env_setup.sh
# b) 手动一键补丁:
bash /root/g05_ws/apply_npu_patches.sh /root/g05_ws/lerobot
# 预期:
# === [1/3] [g05-npu-1] 设备判断放宽 === OK: 3 处已放宽
# === [2/3] [g05-npu-2] _patchify 8 维重写 === OK: _patchify rewritten
# === [3/3] 校验 === syntax OK / 1 / 3 / PATCH_DONE
# c) 手动 git apply(前提:工作区干净且处于基线 SHA 4b3aa2b1;补丁置于 /root/g05_ws/)
cd /root/g05_ws/lerobot
git apply --check ../g05_ascend910c_infer.patch # 无输出即校验通过
git apply ../g05_ascend910c_infer.patchpatch 文件由已打补丁的工作区生成:
git -C /root/g05_ws/lerobot diff > g05_ascend910c_infer.patch;补丁落位后亦可从adaption_code/取全量修改后文件对照(本仓库补丁于 2026-11-07 在锁定 SHA 工作区生成并复验,与 adaption_code 副本 sha256 一致)。若git apply --check报patch does not apply:确认 HEAD 在基线 SHA 且git status --short为空。
补丁范围(apply_npu_patches.sh,覆盖 1 个文件 src/lerobot/policies/g05/modeling_g05.py):
device.type == "cuda" → in ("cuda", "npu")(bf16 精度岛 / sidecar 搬运 / autocast 使能;grep 校验=3)。cuda 独占分支在 NPU 上条件为假被静默跳过(无任何报错),是最危险形态——NPU 适配第一刀永远先查"cuda 独占判断";_patchify 9 维 unsqueeze(2).expand(T,…).reshape 拷贝链重写为 8 维 patchify + 通道块 gather(NPU aclnnInplaceCopy 硬上限 8 维,EZ1001/161002,视觉塔第一层即崩)。语义陷阱:原 9 维 reshape 把 (F,C,T,H,W) 逻辑序重解释为 (F,T,C,…)(T 是 stride-0 expand 维),逐位等价的结果是特征位 (c,t) 取第 (t*C+c)//T 通道的补丁——朴素"双份拼接"数值不同,勿手写。_patchify sel-gather 核心:
patches = x.reshape(batch_frames * grid_h * grid_w, channels, patch_size * patch_size)
sel = [((s % temporal) * channels + s // temporal) // temporal for s in range(channels * temporal)]
return patches[:, sel, :].reshape(
batch_frames * grid_h * grid_w, channels * temporal * patch_size * patch_size)等价性由 scripts/test_patchify_equiv.py 锁死:与原 9 维实现 8 组 allclose(atol=0) 逐位对比(T∈{1,2}×patch∈{14,16}×merge∈{1,2};本 checkpoint temporal_patch_size=2,T>1 路径活跃),实测 EQUIV_PASS 8/8。
见 §2 快速开始(g05_env_setup → 起服务 → g05_test.py / g05_verify.py)。预期启动日志(数字略有浮动):
WARNING:root:No accelerated backend detected. Using default cpu, this will be slow.
WARNING:lerobot.configs.policies:Device 'cuda' is not available. Switching to 'cpu'.
The fast path is not available because one of the required library is not installed. Falling back to torch implementation.
[server] 阶段1/3 推理栈导入 2.7s
[server] 阶段2/3 模型加载 2.86B 7.6s # 冷缓存首载可至 ~25s,属预期
[server] 阶段3/3 上卡 1.3s
[server] 预处理器 12 步就绪 0.0s
[server] 服务就绪 :8100 POST /infer | POST /dequeue | GET /health前 3 行 WARNING 为已知无害噪音:fla/causal-conv1d 快路径缺失自动回退 torch 实现;config 导入期默认 cuda 回落,实际由服务
to('npu')上卡。
g05_verify.py 预期输出(同样先刷 3 行无害 WARNING 与 torch_npu internal format 提示,忽略):
Loading weights from local directory
首块 2.83s action=(1, 27)
CoT subtask: ['move left arm toward the red block on the TV screen']
出队 0.00s
出队 0.00s
G05_NPU_VERIFY_PASS可选:进程内冒烟 g05_smoke.py(输出 SMOKE_PASS,含 backend device、参数量、12 步流水线、首块/出队计时)。
实测(A3 单芯,2026-10-29 首测 / 2026-11-06、11-07 多轮复验):
| 指标 | 数值 | 说明 |
|---|---|---|
| 推理栈导入 | 2.8s | 服务阶段 1/3 |
| 模型加载(11.4G safetensors) | 7.6s | 服务阶段 2/3;冷缓存首载 ~24.7s 属预期浮动 |
| 上卡 to('npu') | 1.5s | 服务阶段 3/3;bf16+fp32 精度岛 + sidecar 搬运(依赖补丁一) |
| 预处理器 12 步就绪 | <0.1s | overrides device→npu |
| 首块推理(prefill 233 token + flow 16 步 + CoT) | 3.0~4.7s/次 | 冒烟 3.01s / HTTP 3.8 |
| 队列出队 | ~0s | chunk 32 / 执行 16 步设计 |
| 证据链规范计时(synchronize 包围,预热 3 + 计时 10) | p50=2.23s(min 2.07 / max 2.26) | ≈0.45 chunks/s ≈ 7.3 actions/s(16 步/chunk) |
精度证据链(2026-11-06,g05_evidence.py) | G05_NPU_EVIDENCE_PASS 8/8 | cos=0.999993 / mae=6.8e-04 / max_abs=2.7e-03(阈值余量 ≥29 倍);CPU fp32 基准 115.9s vs NPU p50 2.228s ≈52 倍加速;详见适配报告 §6.3 |
关键语义:动作 chunk 为 32 步/执行 16 步——新观测必须
policy.reset()清队列再推理,否则会从旧 chunk 出队(服务端已内置)。
精度证据链(建议步骤):先停服务(脚本独占加载 CPU+NPU 双份模型),跑完重跑 §2 步骤 2 恢复:
pkill -f "venv_g05/bin/python g05_server.py"; sleep 2
cd /root/g05_ws && ASCEND_RT_VISIBLE_DEVICES=0 venv_g05/bin/python g05_evidence.py
# 预期末行: G05_NPU_EVIDENCE_PASS 8/8(cos=0.999993 / mae=6.8e-04 / max_abs=2.7e-03,2026-11-06 实测)
# 耗时 ~6min(sha256 11.4G + CPU 基准单次 116s);产物 evidence_summary.json / npu_action.npy / cpu_action.npy| 报错 | 原因 | 对策 |
|---|---|---|
Remote branch feat/g05-port not found in upstream origin | 上游分支已被删除/合并;连接本身正常,勿误判为网络问题 | 按锁定 SHA 直拉:init + fetch 4b3aa2b1… + checkout FETCH_HEAD(g05_env_setup 第 3 段已固化,§4.3) |
ValueError: Requested device 'cuda' but CUDA is not available | checkpoint 内 policy_preprocessor.json device 步写死 cuda,实例化即校验崩溃 | preprocessor_overrides={"device_processor": {"device": "npu"}}(server 已内置) |
aclnnInplaceCopy failed … larger than 8 dimensions (EZ1001) | _patchify 9 维拷贝链超 NPU 上限 | 打补丁二(§4.4),勿手写"双份拼接"(语义陷阱) |
| 加载成功但精度岛/sidecar/autocast 未生效(无任何报错) | cuda 独占分支在 NPU 上条件为假被静默跳过 | 打补丁一并 grep 校验=3(§4.4);NPU 适配第一刀查 cuda 独占判断 |
KeyError: 'author_model_config' | G05TokenizerStep.policy_config 设计上不序列化进 json | 用官方 make_g05_pre_post_processors_from_pretrained(policy.config, CKPT)(server 已内置) |
| 换任务返回 0.0x 秒且 CoT=None | 旧动作队列还在出队(chunk 32/执行 16 步跨调用存活) | 新观测前 policy.reset();同观测出队走 /dequeue(server 已内置) |
ModuleNotFoundError: draccus(顶层 import 正常、策略模块报错) | lerobot 自身 requires 的 4 包被 --no-deps 跳过 | 按 caps 补装 + DEEP_IMPORT_OK 门(g05_env_setup 第 4 段已固化) |
module 'av' has no attribute 'option' | av 16.x 删除该模块,超出 lerobot pyproject caps | 钉 av>=15,<16(13 项钉版内,g05_env_setup 第 4 段) |
lerobot 0.6.2 requires cmake<4.2.0,>=3.29.0.1, which is not installed | pip 依赖自检提示:lerobot pyproject 声明 cmake,仅源码构建期需要 | 无害忽略——--no-deps 安装不触发构建、运行时不需要;环境是否就绪以 deps OK + DEEP_IMPORT_OK 双门为准(2026-11-07 实测双门全过) |
OSError: [Errno 98] Address already in use | 旧服务进程未退净 / HBM 释放慢 | 启动前 pkill -f "venv_g05/bin/python g05_server.py" + 清 pid + 等端口释放(§2 步骤 2 三保险) |
| 启动/验证日志刷 3 行 WARNING(No accelerated backend / Device 'cuda' is not available / fast path not available) | fla/causal-conv1d 未装自动回退 torch 实现;config 导入期默认 cuda 回落 | 无害,实际由服务 to('npu') 上卡;internal format 与 double dtype 提示同为 torch_npu 固有噪音 |
pip 报 CANN 出厂包 requires… 刷屏(asc-op / te / superkernel / e / ms-service-profiler,如 e 0.4.0 requires decorator、te 0.4.0 requires ml-dtypes/psutil/scipy/tornado、ms-service-profiler requires pandas~=2.2) | 镜像出厂系统包固有提示(PYTHONPATH 泄入),与 venv 实际依赖无关 | 忽略,绝不"顺手修复"镜像系统栈 |
| 终端长块粘贴丢行 / shell 停在已删除目录报 python Fatal Error | 运维终端 / 幽灵 cwd | 校验门当场暴露 + scp 绕行;cd 退出幽灵目录再执行 |
| 脚本运行零输出/立即返回(无 PASS 也无报错) | 把 markdown ```bash 围栏整块贴进终端,命令被围栏行吞掉/截断(堵点 #15,2026-11-07 实测撞出) | 围栏行不要贴进终端,逐条执行或 scp 上传后运行;wc -c 比对脚本字节数;重跑即恢复 |