UltraX：基于自适应程序化编辑的大规模预训练数据精炼

📚 简介

UltraX 是一个面向大规模预训练数据的函数调用式精炼框架，可为每条样本自适应生成并执行编辑函数，实现高效的逐例精炼。与基于规则或端到端 LLM 改写方法不同，UltraX 训练一个轻量精炼模型来预测结构化编辑操作——包括插入、删除和修改——然后在原始文本上确定性执行。

本数据集合集包含 五个经 UltraX 精炼的英文预训练语料，每个约 20B tokens：

数据集	源语料	说明
UltraX-FineWeb	FineWeb	大规模 Common Crawl 网页语料
UltraX-RedPajama-V2	RedPajama-v2	多源网页语料
UltraX-AICC	AICC	HTML 解析的高保真网页语料
UltraX-Ultra-FineWeb	Ultra-FineWeb	质量过滤的 FineWeb 语料
UltraX-FineWeb-ProX-Doc	FineWeb-ProX-Doc	ProX 文档级精炼语料

📢 最新动态

[2026.07.17] UltraX 登上 Hugging Face Datasets Trending 榜首！⭐️⭐️⭐️
[2026.07.13] UltraX 代码库、精炼模型和精炼数据集现已在 GitHub 与 Hugging Face 上发布。🚀🚀🚀
[2026.07.10] UltraX 技术报告已发布于 arXiv。🔥🔥🔥

💡 亮点

函数调用式精炼： UltraX 不进行端到端文本改写，而是预测结构化编辑操作（keep_all、remove_all、remove_lines、replace_str、add_line），实现细粒度实例级编辑与确定性执行。
LAM + DCR 流水线： 行级对齐与映射（LAM）在行级别对齐原始文本与精炼文本，动态上下文替换（DCR）将字符级编辑转化为具有唯一上下文锚定的可靠 replace_str 操作。
鲁棒的大规模执行： 滑动窗口推理 + 重叠感知操作聚合、歧义过滤、同行操作合并和重复模式检测，确保大规模执行的可靠性。
最优性能： 在 1B 模型从零预训练实验中，UltraX 在所有五个语料上均取得最高平均性能，多个数据集性能提升超过 2%，并展现出更高的数据效率。

🔬 流程概览

📈 评估结果

我们使用 1B 参数的 MiniCPM 模型在每个语料的 20B tokens 上从零预训练，并使用 LightEval 在 10 个基准上进行零样本评估（ARC-C、ARC-E、CSQA、HellaSwag、MMLU、OBQA、PIQA、SIQA、WinoGrande、SciQ）。

主要结论：

UltraX 在所有五个语料上均取得最高平均性能，在 50 个任务-语料组合中赢得 34 个最佳结果。
相较于 Raw 和 ProX-C，UltraX 分别取得约 2.00% 和 1.53% 的平均相对提升。
在 FineWeb 上，UltraX 使用 16B tokens（45.49）即超过 Raw 和 ProX-C 使用 20B tokens 的最终性能（45.08 / 45.05），展现出更高的数据效率。

FineWeb 在不同训练 token 预算下的平均下游性能。

📊 数据格式

每个 parquet 文件包含 5 列：

列名	类型	说明
`uid`	string	唯一标识符（`raw_content` 的 MD5 哈希）
`raw_content`	string	精炼前的原始文本
`cleaned_content`	string	经 UltraX 精炼后的文本
`processed_functions`	string	应用的编辑操作
`source`	string	源语料名称

🚀 快速开始

你可以直接从 Hugging Face 加载数据集：

from datasets import load_dataset

# 加载 UltraX-FineWeb
ds = load_dataset("openbmb/UltraX", "UltraX-FineWeb", split="train")

# 加载 UltraX-RedPajama-V2
ds = load_dataset("openbmb/UltraX", "UltraX-RedPajama-V2", split="train")

# 加载 UltraX-AICC
ds = load_dataset("openbmb/UltraX", "UltraX-AICC", split="train")

# 加载 UltraX-Ultra-FineWeb
ds = load_dataset("openbmb/UltraX", "UltraX-Ultra-FineWeb", split="train")

# 加载 UltraX-FineWeb-ProX-Doc
ds = load_dataset("openbmb/UltraX", "UltraX-FineWeb-ProX-Doc", split="train")

🔧 函数空间

UltraX 精炼模型预测以下函数空间中的操作：

函数	说明
`keep_all()`	文档无需修改
`remove_all()`	整篇文档无价值（如错误页面、登录墙）
`remove_lines(start, end)`	删除从 start 到 end 的连续行（含首尾）
`replace_str(line, old, new)`	在指定行内替换子字符串
`add_line(base, sub_idx, content)`	在指定位置附近插入新行

❤️ 致谢

UltraX 数据集基于 FineWeb、RedPajama-v2、AICC、Ultra-FineWeb 和 FineWeb-ProX-Doc 构建。
精炼模型使用 ms-swift 进行训练。
UltraX 的设计借鉴了 ProX 和 RefineX 的研究成果。

感谢以上优秀的开源工作！🙌

📖 引用

如果我们的工作对您有帮助，请考虑引用：

@misc{ultrax2026,
  title={UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing},
  author={Xinlong Zhao and Dongsheng Liu and Hengyu Zhao and Zixuan Fu and Zheng Wang and Jie Cai and Jie Zhou and Qiang Ma and Xuanhe Zhou and Xu Han and Yudong Wang and Zhiyuan Liu},
  year={2026},
  eprint={2607.08646},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
}

📜 许可证

本项目基于 Apache 2.0 协议发布。由于 UltraX 数据集基于多个源语料构建，用户应自行检查各源数据集的许可证以确保合规使用。

禁止不加处理的二次发布： 未经原作者（或本机构）书面明确授权，任何其他机构、组织或第三方平台不得以任何形式对本项目成果进行直接转载、复制、托管、镜像克隆或商业化包装再发布。