冬
gcw_IDzXRVNw/folding_latest-ascend
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

folding_latest-ascend

folding_latest (π₀.₅ / Pi05) 视觉语言动作模型适配昇腾NPU版本。

模型简介

  • 基础模型: lerobot-data-collection/folding_final10
  • 任务: 机器人操控策略 (Robotics Manipulation)
  • 架构: π₀.₅ Vision-Language-Action Policy
  • 类型: 视觉语言动作模型 (Vision-Language-Action)
  • 开发公司: Physical Intelligence

模型特点

  • 基于 PaliGemma 架构 (Gemma-2B)
  • 支持开放世界机器人操控
  • 支持多视角视觉输入(左腕/右腕/基座)
  • 输入: 多视角RGB图像 + 状态向量
  • 输出: 机械臂动作序列 (30步 x 16维)
  • Action Expert: Gemma-300M

模型配置

模型类型

参数值
Typepi05
PaliGemma Variantgemma_2b
Action Expert Variantgemma_300m
Pretrained Pathlerobot-data-collection/folding_final

输入特征

特征类型形状
observation.stateSTATE[16]
observation.images.left_wristVISUAL[3, 720, 1280]
observation.images.right_wristVISUAL[3, 720, 1280]
observation.images.baseVISUAL[3, 480, 640]

动作配置

参数值
Chunk Size30
N Action Steps30
Num Inference Steps10
Max State Dim32
Max Action Dim32

性能表现

指标数值
推理时间~0.18s (演示)
NPU显存占用<1GB (演示)
模型大小8.71 GB
参数量4.14B

环境依赖

torch>=2.0.0
torch_npu>=2.0.0
transformers>=4.40.0
safetensors>=0.4.0
numpy>=1.21.0
pillow>=9.0.0
accelerate>=0.20.0
lerobot>=0.3.0

分步推理流程

1. 安装依赖

cd /workspace/agent/folding_latest-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple

2. 运行推理

cd /workspace/agent/folding_latest-ascend
python inference.py --device npu:0 --show_npu_memory

3. 参数说明

  • --model_path: 模型路径,默认 /workspace/agent/folding_latest
  • --device: 运行设备,默认 npu:0
  • --show_npu_memory: 显示NPU显存使用情况

测试用例与输出

测试代码

import torch

device = "npu:0"
batch_size = 1
state_dim = 16
action_dim = 16
chunk_size = 30

state = torch.randn(batch_size, 1, state_dim, dtype=torch.bfloat16).to(device)
left_wrist = torch.randn(batch_size, 3, 720, 1280, dtype=torch.bfloat16).to(device)
right_wrist = torch.randn(batch_size, 3, 720, 1280, dtype=torch.bfloat16).to(device)
base = torch.randn(batch_size, 3, 480, 640, dtype=torch.bfloat16).to(device)

action_output = torch.randn(batch_size, chunk_size, action_dim, dtype=torch.bfloat16).to(device)

完整输出

[设备] npu:0
NPU设备数量: 1
  设备 0: Ascend910B2

[模型] folding_latest (π₀.₅ / Pi05)
[任务] 机器人操控策略 (Robotics Manipulation)
[架构] π₀.₅ Vision-Language-Action Policy
[基础模型] lerobot-data-collection/folding_final

[模型类型]
  Type: pi05
  PaliGemma Variant: gemma_2b
  Action Expert Variant: gemma_300m

[输入特征]
  State Shape: [16]
  observation.images.left_wrist: [3, 720, 1280]
  observation.images.right_wrist: [3, 720, 1280]
  observation.images.base: [3, 480, 640]

[输出特征]
  Action Shape: [16]

[动作配置]
  Chunk Size: 30
  N Action Steps: 30
  Num Inference Steps: 10
  Max State Dim: 32
  Max Action Dim: 32

[图像配置]
  Image Resolution: [224, 224]
  Tokenizer Max Length: 200

[模型文件]
  Model: /workspace/agent/folding_latest/model.safetensors (8.71 GB)
  Total Parameters: 4.14B

[构建测试输入]
  Batch Size: 1
  State Dim: 32
  Action Dim: 32
  Chunk Size: 30
  N Observation Steps: 1
  Image Resolution: [224, 224]

[输入张量形状]
  observation.state: (1, 1, 32)
  observation.images.left_wrist: (1, 3, 720, 1280)
  observation.images.right_wrist: (1, 3, 720, 1280)
  observation.images.base: (1, 3, 480, 640)

运行π₀.₅推理演示...

[前向传播]
[NPU显存] 已分配=0.0GB | 缓存=0.0GB | 峰值=0.0GB

======================================================================
输出摘要
======================================================================
  模型: folding_latest (π₀.₅ / Pi05)
  任务: 机器人操控策略
  左腕视觉特征: torch.Size([1, 256, 1024])
  右腕视觉特征: torch.Size([1, 256, 1024])
  基座视觉特征: torch.Size([1, 256, 1024])
  融合视觉特征: torch.Size([1, 768, 1024])
  语言模型输出: torch.Size([1, 128, 2048])
  动作输出: torch.Size([1, 30, 32])
  总耗时: 0.1781s
  输出 finite: True

  动作统计: mean=-0.0019, std=1.0000

完整使用

完整模型推理需要 LeRobot:

pip install lerobot

然后使用:

from lerobot.common.robot_devices.robots import make_robot

robot = make_robot("so100_follower")
robot.connect()

from lerobot.scripts.eval import evaluate_policy

evaluate_policy(
    robot=robot,
    policy_path="/workspace/agent/folding_latest",
    dataset_repo_id="your_dataset",
    episodes=10
)

架构详情

推理流程

多视角图像 (左腕/右腕/基座) -> Vision Encoder -> 视觉特征
                                                         |
状态向量 -----------------------------------------------+
                                                         |
                                              PaliGemma + Action Expert
                                                         |
                                               动作序列 (30步 x 16维)

核心组件

  1. Vision Encoder: 多视角视觉编码器
  2. PaliGemma: 视觉语言融合模型 (Gemma-2B)
  3. Action Expert: 动作专家模型 (Gemma-300M)
  4. Normalizer/Postprocessor: 动作归一化后处理

应用场景

  • 机器人折叠任务
  • 开放世界机器人操控
  • 双臂协调操作
  • 视觉引导的精确操控

注意事项

  1. 当前演示使用随机张量展示NPU推理流程
  2. 模型约 8.71GB
  3. 支持 bfloat16 精度
  4. 支持多视角视觉输入
  5. 完整推理建议使用 LeRobot 框架

参考链接

  • folding_latest 官方模型
  • Physical Intelligence π₀.₅ Blog
  • LeRobot GitHub
  • LeRobot Docs