引言

为您介绍🦣 MAmmoTH2，这是一款通过创新指令微调来提升大型语言模型（LLMs）推理能力的变革性工具。我们从预训练网络语料库中高效挖掘了1000万条指令-响应对，由此开发的MAmmoTH2模型显著提升了在推理基准测试中的性能。例如，MAmmoTH2-7B（Mistral）在MATH数据集上的表现从11%飙升至36.7%，在GSM8K数据集上从36%提升至68.4%，而这一切都无需在任何特定领域数据上进行训练。在公共指令微调数据集上进一步训练后，我们得到了MAmmoTH2-Plus，它在推理和聊天机器人基准测试中树立了新的标准。我们的研究提出了一种经济高效的方法来获取大规模、高质量的指令数据，为增强LLM的推理能力提供了全新视角。

使用方法

python3 examples/inference.py --model_name_or_path=./

局限性

我们已尽最大努力构建数学通用模型。但我们承认，模型的性能可能会因数学问题的复杂性和具体情况而有所不同。此外，并非所有数学领域都能被全面覆盖。

引用

如果您使用本项目的模型、数据或代码，请引用原始论文：

@article{yue2024mammoth2,
  title={MAmmoTH2: Scaling Instructions from the Web},
  author={Yue, Xiang and Zheng, Tuney and Zhang, Ge and Chen, Wenhu},
  journal={arXiv preprint arXiv:2405.03548},
  year={2024}
}