AReaL-SEA-235B-A22B — 交互式工具使用智能体

AReaL-SEA-235B-A22B 是一款多轮交互式工具使用智能体，基于 Qwen3-235B-A22B-Thinking-2507 通过监督微调（SFT）与带可验证奖励的强化学习进行优化。

• 论文：从自演化合成数据到可验证奖励强化学习：训练后多轮交互式工具使用智能体
• 训练框架：AReaL — 大规模异步强化学习系统
• 基准测试：τ²-bench

亮点

• 在 τ²-bench 所有三个领域的平均 pass^1 达 81.3%，超越 GPT-5（80.0%）和 Qwen3-Max-Thinking（80.7%）。
• 完全基于自演化合成数据训练，无需人工标注。
• 端到端训练后优化（SFT → RL）由 AReaL 驱动，采用全异步 GRPO 算法，结合轨迹级组相对优势与动态过滤。

性能

τ²-bench 混合训练结果（基于所有三个领域的合并数据训练）：

与前沿模型对比

训练

方法

1. 合成数据生成：采用分层自演化多智能体框架生成多轮工具使用对话，附带可执行的实例级验证函数，覆盖航空、零售和电信三个领域。
2. 监督微调（SFT）：首先使用合成对话对基础模型进行微调。
3. 强化学习（GRPO）：SFT checkpoint 通过 GRPO 进一步训练，结合轨迹级组相对优势、动态过滤和基于验证器的结果奖励。经过微调的用户模型确保稳定的交互过程。

基础设施

所有强化学习训练均使用**AReaL** 框架在80张H200 GPU（10个节点）上进行。AReaL的全异步流水线将轨迹生成与策略训练解耦，最大限度地提高了大规模多轮智能体强化学习的GPU利用率。

超参数

训练数据

本仓库包含以下合成训练数据：

数据格式

rl_merge.jsonl中的每个样本包含：

• id：唯一任务标识符（例如 airline_1、telecom_1）
• user_scenario：用户角色、指令、已知信息和行为指导
• evaluation_criteria：基于事实的动作序列和基于断言的验证函数
• db_path：对应环境数据库的路径

使用方法

该模型可作为任何与Qwen3-235B-A22B兼容的推理设置的即插即用替代品。关于τ²-bench评估：

# Follow the τ²-bench evaluation protocol
# Use GPT-4.1 as user simulator for fair comparison
# Report pass^k metrics (all k attempts must succeed)

若要与 AReaL 训练框架集成，请参考 Tau2 客户服务示例。

引用

@article{gao2025sea,
  title={From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents},
  author={Gao, Jiaxuan and Chen, Jiaao and He, Chuyi and Wang, Wei-Chen and Xu, Shusheng and Wang, Hanrui and Jin, Di and Wu, Yi},
  journal={arXiv preprint arXiv:2601.22607},
  year={2025}
}

@article{fu2025areal,
  title={AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning},
  author={Fu, Wei and Gao, Jiaxuan and Shen, Xujie and Zhu, Chen and Mei, Zhiyu and He, Chuyi and Xu, Shusheng and Wei, Guo and Mei, Jun and Wang, Jiashu and Yang, Tongkai and Yuan, Binhang and Wu, Yi},
  journal={arXiv preprint arXiv:2505.24298},
  year={2025}
}