RxBrain

具备联合语言-视觉推理与想象能力的具身认知基础模型

腾讯Robotics X × 福田实验室 × 腾讯混元团队

🔥 更新

[2026-07] 🎉 我们发布了Hy-Embodied-RxBrain-1.0——技术报告、官方推理代码及模型权重。

📖 简介

RxBrain（Hy-Embodied-RxBrain-1.0）是一个统一的具身认知多模态基础模型——该单一模型将语言推理与视觉想象相结合，具备三大核心能力：

🤖 具身理解与推理——针对图像和多帧视频的问答及思维链推理。
- 🔮 世界状态预测——想象某一动作在物理世界中产生的近期未来帧。
- 🧩 联合子目标规划——将任务分解为多个步骤，为每个步骤生成下一步动作（语言） 以及该动作应达成的目标图像（视觉）。

这些能力通过交错生成实现统一：在单个自回归序列中，RxBrain交替生成推理文本和流匹配的想象帧——通过学习到的<Image>令牌决定何时进行想象——因此，具身规划能够逐步将要做什么与世界应呈现的样子相结合。

⭐️ 核心特性

🧠 统一混合Transformer（MoT）：一个约62亿参数的主干网络，配备特定模态路径（文本/视觉/生成），使理解与图像合成共享一个自回归模型，而非独立的网络塔。
- 🎨 流匹配图像头：通过流匹配头解码生成想象帧，输出至冻结的FLUX VAE潜在空间，支持文本到图像生成、多帧世界模型推演及目标图像规划。
- 🔗 交错推理+想象：文本推理与生成帧在同一序列中输出，将符号化计划与视觉目标耦合。

📋 待办事项

开源RxBrain-Bench，一个面向具身认知的综合基准测试集。
开源视觉问答（VQA）、多帧生成及交错生成的微调代码。
发布技术报告、推理代码和模型权重。

🛠️ 依赖项与安装

前提条件

🖥️ 操作系统：Linux（推荐）
🐍 Python：3.10及以上版本
⚡ CUDA：12.x，NVIDIA GPU（flash-attn 必需）
🔥 PyTorch：2.10

安装步骤

安装本模型所需的特定Transformers版本（其提供unified_mot所基于的hunyuan_vl_mot主干网络）：

pip install git+https://github.com/huggingface/transformers@9293856c419762ebf98fbe2bd9440f9ce7069f1a

注意： 目前标准的 transformers 发行版本尚未包含 hunyuan_vl_mot；因此需要使用此固定提交版本。我们后续将把这些改进合并到 Transformers 主分支中。

克隆推理代码并安装其余依赖项：

git clone https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0.git
cd Hy-Embodied-RxBrain-1.0
pip install -r requirements.txt

模型下载

组件	参数规模	来源
Hy-Embodied-RxBrain-1.0	~6.2 B	🤗 tencent/Hy-Embodied-RxBrain-1.0
FLUX VAE (`ae.safetensors`)	83.8 M	从 FLUX 发布版本获取

将权重下载到本地目录——加载器直接读取 checkpoint 文件，因此 --ckpt 必须是本地路径，不能是 Hub 仓库 ID：

pip install -U "huggingface_hub[cli]"
hf download tencent/Hy-Embodied-RxBrain-1.0 --local-dir ./Hy-Embodied-RxBrain-1.0

VQA（理解）路径仅需要主权重。图像生成（T2I/世界模型推演/交错规划）还需要外部FLUX VAE ae.safetensors。

🚀 使用Transformers快速开始

加载Transformers处理器以及本仓库中提供的UnifiedMoT类，然后运行理解（VQA）任务。请从仓库根目录运行，以便model包可导入，并将MODEL_PATH指向您的本地下载文件（参见模型下载）。

import torch
from transformers.models.hunyuan_vl_mot import HunYuanVLMoTProcessor
from model import UnifiedMoTForConditionalGeneration, maybe_init_generation_path
from vqa_inference import answer

MODEL_PATH = "./Hy-Embodied-RxBrain-1.0"  # local checkpoint directory, not the Hub id
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
dtype = torch.bfloat16

# Load processor & model
processor = HunYuanVLMoTProcessor.from_pretrained(MODEL_PATH, trust_remote_code=True)
model = UnifiedMoTForConditionalGeneration.from_pretrained(MODEL_PATH, dtype=dtype)
maybe_init_generation_path(model, model_load_path=MODEL_PATH)  # wires up the generation path
model.to(device).eval()

# Ask a question about an image
text = answer(
    model, processor,
    image_paths=["demo_cases/bridgev2_move_toy/input/obs_1.jpg"],
    question="What objects are on the stovetop, and where is the green toy?",
    device=device, dtype=dtype, max_new_tokens=256,
)
print(text)

注意： RxBrain 使用自定义的交错式文本/图像解码循环，而非标准的 model.generate API。answer(...) 辅助函数（位于 vqa_inference.py 中）为理解场景封装了该循环；图像生成和规划功能则分别有其下方的独立入口点。

以下任务同样提供即开即用的脚本：

① 视觉问答（VQA） — 图像 + 问题 → 答案文本

纯自回归文本理解 — 无需 VAE / 流匹配。

python vqa_inference.py \
    --ckpt ./Hy-Embodied-RxBrain-1.0 \
    --images demo_cases/bridgev2_move_toy/input/obs_1.jpg \
    --question "What objects are on the stovetop, and where is the green toy?" \
    --max_new_tokens 256

② 文本到图像（T2I）

python text2image_inference.py \
    --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \
    --prompt "a watercolor painting of a cat" \
    --height 256 --width 256 --num_steps 25 --out out.png

# with classifier-free guidance
python text2image_inference.py \
    --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \
    --prompt "a watercolor painting of a cat" \
    --cfg_scale 5.0 --num_steps 50 --out out.png

③ 多帧世界模型推演 — 基于观测结果预测未来帧

python multiframe_inference.py \
    --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \
    --frames /path/to/obs.jpg --task "imagine the next frames" \
    --num_frames 4 --num_steps 50 --out_dir multiframe_out

④ 交错式具身规划 — 文本规划 + 目标图像，逐步执行

对捆绑场景运行交错式规划。详情请参见 demo_cases/README.md。

CASE=umi_fold_sock
python interleave_inference.py \
    --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \
    --frames  demo_cases/$CASE/input/*.jpg \
    --task    "$(cat demo_cases/$CASE/prompt.txt)" \
    --max_frames 5 --num_steps 50 --out_dir out_$CASE

📊 评估

RxBrain 在具身理解、空间推理以及想象/生成基准上进行了评估。有关详细指标和方法，请参阅我们的技术报告。