HuggingFace镜像/Embodied-R1.5
模型介绍
文件和版本
分析

Embodied-R1.5：基于具身基础模型的物理智能进化

🌐 项目主页  |  💻 代码  |  🧰 EmbodiedEvalKit  |  🤗 模型与数据集  |  📄 论文

"知者行之始，行者知之成。" — 王阳明（1509年）

概述

Embodied-R1.5 是一个统一的具身基础模型（EFM），它基于Qwen3-VL-8B-Instruct构建，在单一架构中整合了全面的具身推理能力。在Embodied-R1的基础上，它实现了从指向专家到综合EFM的跨越，统一了三大核心能力：

  • 空间认知与推理 — 理解物理世界的语义和空间结构，包括静态几何关系和动态交互可能性。
  • 任务规划与修正 — 覆盖完整任务生命周期：长程分解、下一步规划、过程检测、错误定位及修正。
  • 具身指向与定位 — 将高层推理锚定到坐标和轨迹，包括指称表达 grounding、区域级定位、功能（可用性）grounding 及视觉轨迹生成。

通过在150亿token语料库上采用多任务平衡强化学习方案进行训练，该模型进一步驱动了规划器-定位器-修正器（PGC） 闭环框架，实现了单一模型同时作为规划器、定位器和修正器，自主完成长程现实世界任务。

输出规范

Embodied-R1.5 遵循 Qwen3-VL 对话格式，并在 </think>...superscript: 标签内输出结构化答案。支持的任务类型及其答案格式如下：

任务类型答案格式（位于 </think> 内）
multiple choiceA
numerical3.14
open-ended自由文本
math$$-\dfrac{3}{2}$$
spatial grounding{"boxes": [35, 227, 437, 932]}
point` ```json
[{"point_2d": [230, 138]}]
``` `
trace` ```json
[{"point_2d": [624, 469]}, ...]
``` `
trace_3d` ```json
[{"point_2d": [463, 599], "depth": 1.08}, ...]
``` `

坐标与单位规范：所有点（point_2d）和框均归一化至 [0, 1000] 范围，与原始图像分辨率无关。对于 trace_3d，depth 值的单位为米。

快速入门

from transformers import AutoModelForImageTextToText, AutoProcessor
from PIL import Image

model_id = "IffYuan/Embodied-R1.5"
model = AutoModelForImageTextToText.from_pretrained(
    model_id, torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_id)

image = Image.open("scene.jpg")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "You are a robot performing manipulation tasks. "
                                     "The task instruction is: move the blue cube on top of the yellow cube. "
                                     "Use 2D points to mark the target location."},
        ],
    }
]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = processor(text=[text], images=[image], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512)
print(processor.batch_decode(out, skip_special_tokens=True)[0])

模型会基于视觉观察进行推理，并在 </think> 标签内输出最终决策，例如 superscript:[{"point_2d": [750, 748]}]</RichMediaReference>。

使用 vLLM 进行推理（推荐）

为获得更高吞吐量，请使用 vLLM 部署模型：

vllm serve IffYuan/Embodied-R1.5 \
  --served-model-name "Embodied-R1.5" \
  --tensor-parallel-size 1 \
  --mm-encoder-tp-mode data \
  --gpu-memory-utilization 0.7 \
  --async-scheduling \
  --media-io-kwargs '{"video": {"num_frames": 32}, "image": {"max_num": 32}}' \
  --max_model_len 20000 \
  --limit-mm-per-prompt '{"image": 8, "video": 1}' \
  --host 0.0.0.0 --port 22002

评估

关于基准评估，请参见 EmbodiedEvalKit，这是一个涵盖 25 个以上具身智能基准的评估框架。

训练与数据

Embodied-R1.5 的训练分为两个阶段：首先是基于 LLaMA-Factory 的 SFT（监督微调），随后是基于 EasyR1 的 RFT（奖励微调）。完整的训练脚本可在 GitHub 仓库 中获取。数据集已在 Embodied-R1.5 HuggingFace 集合 中发布。

引用

如果您在研究中发现 Embodied-R1.5 有用，请引用：

@article{yuan2026embodiedr15,
  title={Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models},
  author={Yuan, Yifu and Huang, Yaoting and Yao, Xianze and Li, Yutong and Zhang, Shuoheng and Han, Linqi and Li, Pengyi and Sun, Jiangeng and Jia, Wenting and Zhao Zhang and Liu, Yuhao and Liao, Ruihao and Hu, Yucheng and Wu, Qiyu and Li, Yuxiao and Dong, Zibin and Ni, Fei and Zheng, Yan and Gu, Shuyang and Ma, Yi and Tang, Hongyao and Hu, Han and Hao, Jianye},
  journal={arXiv preprint},
  year={2026}
}

@article{yuan2025embodied,
  title={Embodied-R1: Reinforced Embodied Reasoning for General Robotic Manipulation},
  author={Yuan, Yifu and Cui, Haiqin and Huang, Yaoting and Chen, Yibin and Ni, Fei and Dong, Zibin and Li, Pengyi and Zheng, Yan and Hao, Jianye},
  journal={ICLR 2026},
  year={2025}
}

许可协议

本项目基于 Apache 2.0 许可协议发布。