anning-2026/ai_final_12_act_2
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

MidoriChou/ai_final_12_act_2 昇腾 NPU 部署文档

1. 模型简介

模型名称: MidoriChou/ai_final_12_act_2(ACT:Action Chunking with Transformers 模仿学习策略) 模型链接: https://huggingface.co/MidoriChou/ai_final_12_act_2 论文: arXiv:2304.13705 模型描述: ACT(Action Chunking with Transformers)是模仿学习方法,通过预测短动作块(action chunk)而非单步动作实现机器人控制。本策略由 LeRobot 训练并推送,输入机器人观测(state 9 维 + wrist/front 双摄像头 3×480×640 图像),输出动作块(未来多步动作)。 模型架构: ACT(视觉 backbone CNN + VAE encoder/decoder + Transformer encoder,动作块预测) 参数规模: ~197MB(model.safetensors 206,720,224 字节,51.6M params) 适配引擎: torch_npu(昇腾 NPU 推理引擎)

2. 环境依赖

依赖项版本说明
torch2.9.0
torch_npu2.9.0.post1
lerobot0.4.4官方策略库(ACTPolicy)
huggingface_hub>= 1.0需升级(transformers 5.x 兼容,is_offline_mode)
fastapi / uvicorn / pydantic-服务化推理(server.py)

注:本模型是 lerobot 格式权重(ACTPolicy.from_pretrained),权重与配置放 /tmp/ai_final_12_act_2/(model.safetensors + config.json + train_config.json + preprocessor/postprocessor + l2 归一化器)。

3. 推理步骤

# 单步策略前向(默认 npu:0,随机观测)
python inference.py --device npu:0

# 连续前向 5 步
python inference.py --steps 5 --device npu:0

推理流程:ACTPolicy.from_pretrained(local_dir) → policy.to('npu:0').eval() → policy.reset() → 构造观测 {"observation.state": (1,9), "observation.images.wrist": (1,3,480,640), "observation.images.front": (1,3,480,640)} → policy.select_action(obs) → 动作块。

4. 测试样例及输出结果

以下输出为在昇腾 Ascend 910(CANN 8.5.1 + torch_npu 2.9.0 + lerobot 0.4.4)上实测获得(随机观测,state 9 维 + 双摄像头 3×480×640)。

命令:

python inference.py --device npu:0

输出:

[INFO] 模型加载完成: ACTPolicy (51.6M params, device=npu:0) [INFO] 观测: state (1, 9), wrist (1, 3, 480, 640), front (1, 3, 480, 640) [结果] 动作块 shape: (1, 8) [结果] 首步动作前 8 维: ['1.3370', '-0.7649', '0.8678', '-0.8180', '-0.2900', '-0.2416', '-0.0673', '-0.5348'] [耗时] 1 次前向共 0.251s (250.6 ms/次)

结果说明: 随机观测输入,ACT 策略输出 8 维动作块,0.251s/次,验证了 ai_final_12_act_2 在昇腾 NPU 上的机器人策略推理链路通畅。

5. Agent 适配截图

Agent 适配流程 NPU 设备调用 模型适配结果

6. 服务化推理

python server.py --port 8000 --device npu:0

接口:

  • GET /health → {"status":"ok","model":"MidoriChou/ai_final_12_act_2","device":"npu:0","loaded":true}
  • POST /infer(JSON:{"state":[...9 维...], "image_wrist":"base64", "image_front":"base64"},缺省用随机观测)→ {"action":[...], "action_shape":[...], "elapsed_s":...}

实测(服务化):

  • POST /infer(随机观测)→ {"action":[1.2271,-0.8447,-0.5373,-1.0886,-1.3572,-0.0709,-0.6953,-0.2959],"action_shape":[1,8],"elapsed_s":0.268}

7. 注意事项

  • 模型权重位于 /tmp/ai_final_12_act_2/(model.safetensors 197MB + config + l2 归一化器),避免占用有限的 /opt 空间,不纳入本仓库
  • 观测形状——lerobot ACT 期望观测带 batch 维:observation.state (1, 9),observation.images.wrist/front (1, 3, 480, 640);缺 batch 维会报 torch.stack 维度不一致(AclNN_Parameter_Error)
  • lerobot 0.4.4 已知问题——groot_n1.py 的 GR00TN15Config dataclass 在 Python 3.11 下报 non-default argument 'backbone_cfg' follows default argument(PretrainedConfig 默认字段顺序问题),已 patch 补默认值(groot_n1.py.bak 备份);lerobot.common 模块不存在,PreTrainedPolicy 在 lerobot.policies.pretrained
  • huggingface_hub 版本——transformers 5.x 需要 huggingface_hub>=1.0(is_offline_mode),安装 lerobot 后需 pip install --upgrade huggingface_hub
  • 真实部署时观测来自机器人传感器(state + 摄像头),本部署演示随机观测前向验证链路