AceGPT

AceGPT 是一个经过全量微调的生成式文本模型集合，尤其专注于阿拉伯语领域。本仓库是基于 Qwen1.5-32B 开发的 32B 预训练模型的第 2 版。

模型详情

我们发布了 AceGPT 系列大型语言模型，这是一个经过全量微调的生成式文本模型集合，参数规模从 70 亿到 700 亿不等。我们的模型包括两大类别：AceGPT 和 AceGPT-chat。AceGPT-chat 是专为对话应用优化的版本。值得一提的是，在多项基准测试中，我们的模型表现优于所有当前可用的开源阿拉伯语对话模型。

模型开发者

我们来自阿卜杜拉国王科技大学（KAUST）、香港中文大学（深圳）（CUHKSZ）、深圳大数据研究院（SRIBD）和阿卜杜勒阿齐兹国王大学（KAU）。

模型变体

AceGPT 系列有多种参数规模——7B、8B、13B、32B 和 70B，每种模型规模都有基础版和 -chat 版。

论文

论文可通过以下链接获取：link。

输入

模型仅输入文本。

输出

模型仅输出文本。

模型评估结果

阿拉伯语基准测试在 Arabic MMLU 上进行，使用准确率作为指标，遵循 https://github.com/FreedomIntelligence/AceGPT/tree/main 提供的评估框架。

	Arabic-trans MMLU	ArabicMMLU (koto et al.)	Arabic EXAMS	Arabic ACVA clean	Arabic ACVA all	Arabic AraTrust	Arabic ARC-C	Arabic Avg.
Qwen1.5-7B	42.14	46.41	38.34	75.17	75.88	54.21	45.56	53.96
Jais-30B-v3	43.42	44.47	45.78	83.39	79.51	62.64	45.56	57.82
Llama3-8B	47.22	45.78	46.34	77.49	76.68	67.82	47.53	58.41
AceGPT-v2-8B	48.41	50.17	46.15	80.14	78.84	65.90	49.91	59.93
ChatGPT 3.5 Turbo	49.07	57.70	45.93	74.45	76.88	65.13	60.24	61.34
Qwen1.5-32B	55.90	55.94	52.84	78.91	80.07	69.34	67.66	65.81
Qwen1.5-72B	60.24	61.23	54.41	82.98	81.20	75.93	76.79	70.40
AceGPT-v2-32B	58.71	65.67	52.74	82.66	81.04	80.46	71.69	70.42
Llama3-70B	65.16	65.67	54.78	83.48	82.92	74.84	77.30	72.02
AceGPT-v2-70B	65.19	67.71	56.19	84.79	80.93	80.93	80.93	73.81
GPT-4	65.06	72.50	57.76	84.06	79.43	90.04	85.67	76.36

英语和中文基准测试使用 OpenCompass 框架进行。

	MMLU	RACE	English Avg.	CMMLU	CEval	Chinese Avg.	Avg.
Jais-30B-v3	42.53	30.96	36.75	25.26	22.17	23.72	30.23
AceGPT-v2-8B	65.48	60.49	62.99	53.44	50.37	51.91	57.45
Llama3-8B	66.57	65.92	66.25	50.70	49.78	50.24	58.24
ChatGPT 3.5 Turbo	69.03	83.00	76.02	53.90	52.50	53.20	64.60
Qwen1.5-7B	62.15	82.19	72.17	71.79	73.61	72.70	72.44
AceGPT-v2-70B	76.71	80.48	78.60	68.97	66.87	67.92	73.26
GPT-4	83.00	91.00	87.00	71.00	69.90	70.45	78.73
Llama3-70B	79.34	84.76	82.05	68.29	67.21	67.75	74.90
Qwen1.5-32B	75.10	83.29	79.20	83.12	82.68	82.90	81.05
AceGPT-v2-32B	74.52	88.68	81.60	81.36	82.41	81.89	81.74
Qwen1.5-72B	75.78	88.23	82.01	83.11	83.04	83.08	82.54

样本

样本1（抽象代数）

输入： "以下是抽象代数的多项选择题（含答案）\n\n问题：求Z₃中所有使得Z₃[x]/(x²+c)为域的c值。\nA. 0\nB. 1\nC. 2\nD. 3\n答案：B\n\n问题：陈述1 | 若aH是商群中的元素，则|aH|整除|a|。陈述2 | 若H和K是G的子群，则HK是G的子群。\nA. 正确，正确\nB. 错误，错误\nC. 正确，错误\nD. 错误，正确\n答案：B\n\n问题：表述1 | 群中的每个元素都生成该群的一个循环子群。表述2 | 对称群S₁₀有10个元素。\nA. 正确，正确\nB. 错误，错误\nC. 正确，错误\nD. 错误，正确\n答案：C\n\n问题：陈述1| 每个从有限集到自身的函数都必定是双射。陈述2 | 阿贝尔群的每个子群都是阿贝尔群。\nA. 正确，正确\nB. 错误，错误\nC. 正确，错误\nD. 错误，正确\n答案：A\n\n问题：求环2Z的特征。\nA. 0\nB. 3\nC. 12\nD. 30\n答案：A\n\n问题：Q(sqrt(2), sqrt(3), sqrt(18))在Q上的域扩张次数是多少？\nA. 0\nB. 4\nC. 2\nD. 6\n答案："
输出： " D\n\n问题：群的数量是"

样本2（商业伦理）

输入： "以下是商业伦理的多项选择题（含答案）\n\n问题：与公司社会责任相关的伦理论据有哪些？\nA. 外部成本、权力、自主性\nB. 透明度、弱势群体、合作交换\nC. 透明度、权力、自主性\nD. 外部成本、权力、合作交换\n答案：D\n\n问题：是通过特定的政策、实践和计划，正式或非正式地直接尝试管理伦理问题或困境。\nA. 公司社会责任\nB. 实践伦理管理\nC. 可持续性\nD. 环境管理\n答案：B\n\n问题：为确保独立董事的独立性，可以采取若干步骤，包括从_______公司选择非执行董事，任命他们任期__，以及_________任命他们。\nA. 公司外部，有限，独立地\nB. 公司内部，有限，间歇地\nC. 公司外部，无限，间歇地\nD. 公司内部，无限，独立地\n答案：A\n\n问题：寻求实现其目标的安全经理可以选择哪些方法？\nA. 直接非暴力行动，直接暴力行动，间接行动，宣传活动\nB. 间接行动，破坏行动，直接非暴力行动，媒体宣传\nC. 间接行动，直接暴力行动，直接非暴力直接行动，宣传活动\nD. 直接非暴力行动，破坏行动，间接行动，媒体宣传\n答案：C\n\n问题：与_______不同，旨在奖励公司的积极行为。此类活动的成功通过使用___________得到加强，这使得活动能够促进公司实现__。\nA. 消费活动，公共消费活动，区块链技术，慈善捐赠\nB. 激励活动，公共消费活动，数字技术，增加销售\nC. 消费活动，购买活动，区块链技术，慈善捐赠\nD. 制裁，激励活动，数字活动，增加销售\n答案：D\n\n问题：如比特币变得越来越普及，并带来了一系列相关的伦理影响，例如，它们_______且更。然而，它们也被用于参与_______。\nA. 加密货币，成本高，安全，金融犯罪\nB. 传统货币，成本低，不安全，慈善捐赠\nC. 加密货币，成本低，安全，金融犯罪\nD. 传统货币，成本高，不安全，慈善捐赠\n答案："
输出： " C\n\n问题：一些方法是"

参考文献

@article{zhu2024second,
  title={Second Language (Arabic) Acquisition of LLMs via Progressive Vocabulary Expansion},
  author={Zhu, Jianqing and Huang, Huang and Lin, Zhihang and Liang, Juhao and Tang, Zhengyang and Almubarak, Khalid and Alharthi, Mosen and An, Bang and He, Juncai and Wu, Xiangbo and Yu, Fei and Chen, Junying and Ma, Zhuoheng and Du, Yuhao and Hu, Yan and Zhang, He and Alghamdi, Emad A. and Zhang, Lian and Sun, Ruoyu and Li, Haizhou and Wang, Benyou and Xu, Jinchao},
  journal={},
  year={2024}
}

模型详情

模型评估结果

阿拉伯语基准测试在 Arabic MMLU 上进行，使用准确率作为指标，遵循 https://github.com/FreedomIntelligence/AceGPT/tree/main 提供的评估框架。

	Arabic-trans MMLU	ArabicMMLU (koto et al.)	Arabic EXAMS	Arabic ACVA clean	Arabic ACVA all	Arabic AraTrust	Arabic ARC-C	Arabic Avg.
Qwen1.5-7B	42.14	46.41	38.34	75.17	75.88	54.21	45.56	53.96
Jais-30B-v3	43.42	44.47	45.78	83.39	79.51	62.64	45.56	57.82
Llama3-8B	47.22	45.78	46.34	77.49	76.68	67.82	47.53	58.41
AceGPT-v2-8B	48.41	50.17	46.15	80.14	78.84	65.90	49.91	59.93
ChatGPT 3.5 Turbo	49.07	57.70	45.93	74.45	76.88	65.13	60.24	61.34
Qwen1.5-32B	55.90	55.94	52.84	78.91	80.07	69.34	67.66	65.81
Qwen1.5-72B	60.24	61.23	54.41	82.98	81.20	75.93	76.79	70.40
AceGPT-v2-32B	58.71	65.67	52.74	82.66	81.04	80.46	71.69	70.42
Llama3-70B	65.16	65.67	54.78	83.48	82.92	74.84	77.30	72.02
AceGPT-v2-70B	65.19	67.71	56.19	84.79	80.93	80.93	80.93	73.81
GPT-4	65.06	72.50	57.76	84.06	79.43	90.04	85.67	76.36

英语和中文基准测试使用 OpenCompass 框架进行。

	MMLU	RACE	English Avg.	CMMLU	CEval	Chinese Avg.	Avg.
Jais-30B-v3	42.53	30.96	36.75	25.26	22.17	23.72	30.23
AceGPT-v2-8B	65.48	60.49	62.99	53.44	50.37	51.91	57.45
Llama3-8B	66.57	65.92	66.25	50.70	49.78	50.24	58.24
ChatGPT 3.5 Turbo	69.03	83.00	76.02	53.90	52.50	53.20	64.60
Qwen1.5-7B	62.15	82.19	72.17	71.79	73.61	72.70	72.44
AceGPT-v2-70B	76.71	80.48	78.60	68.97	66.87	67.92	73.26
GPT-4	83.00	91.00	87.00	71.00	69.90	70.45	78.73
Llama3-70B	79.34	84.76	82.05	68.29	67.21	67.75	74.90
Qwen1.5-32B	75.10	83.29	79.20	83.12	82.68	82.90	81.05
AceGPT-v2-32B	74.52	88.68	81.60	81.36	82.41	81.89	81.74
Qwen1.5-72B	75.78	88.23	82.01	83.11	83.04	83.08	82.54

样本

样本1（抽象代数）

输入： "以下是抽象代数的多项选择题（含答案）\n\n问题：求Z₃中所有使得Z₃[x]/(x²+c)为域的c值。\nA. 0\nB. 1\nC. 2\nD. 3\n答案：B\n\n问题：陈述1 | 若aH是商群中的元素，则|aH|整除|a|。陈述2 | 若H和K是G的子群，则HK是G的子群。\nA. 正确，正确\nB. 错误，错误\nC. 正确，错误\nD. 错误，正确\n答案：B\n\n问题：表述1 | 群中的每个元素都生成该群的一个循环子群。表述2 | 对称群S₁₀有10个元素。\nA. 正确，正确\nB. 错误，错误\nC. 正确，错误\nD. 错误，正确\n答案：C\n\n问题：陈述1| 每个从有限集到自身的函数都必定是双射。陈述2 | 阿贝尔群的每个子群都是阿贝尔群。\nA. 正确，正确\nB. 错误，错误\nC. 正确，错误\nD. 错误，正确\n答案：A\n\n问题：求环2Z的特征。\nA. 0\nB. 3\nC. 12\nD. 30\n答案：A\n\n问题：Q(sqrt(2), sqrt(3), sqrt(18))在Q上的域扩张次数是多少？\nA. 0\nB. 4\nC. 2\nD. 6\n答案："

输出： " D\n\n问题：群的数量是"

样本2（商业伦理）

输入： "以下是商业伦理的多项选择题（含答案）\n\n问题：与公司社会责任相关的伦理论据有哪些？\nA. 外部成本、权力、自主性\nB. 透明度、弱势群体、合作交换\nC. 透明度、权力、自主性\nD. 外部成本、权力、合作交换\n答案：D\n\n问题：是通过特定的政策、实践和计划，正式或非正式地直接尝试管理伦理问题或困境。\nA. 公司社会责任\nB. 实践伦理管理\nC. 可持续性\nD. 环境管理\n答案：B\n\n问题：为确保独立董事的独立性，可以采取若干步骤，包括从_______公司选择非执行董事，任命他们任期__，以及_________任命他们。\nA. 公司外部，有限，独立地\nB. 公司内部，有限，间歇地\nC. 公司外部，无限，间歇地\nD. 公司内部，无限，独立地\n答案：A\n\n问题：寻求实现其目标的安全经理可以选择哪些方法？\nA. 直接非暴力行动，直接暴力行动，间接行动，宣传活动\nB. 间接行动，破坏行动，直接非暴力行动，媒体宣传\nC. 间接行动，直接暴力行动，直接非暴力直接行动，宣传活动\nD. 直接非暴力行动，破坏行动，间接行动，媒体宣传\n答案：C\n\n问题：与_______不同，旨在奖励公司的积极行为。此类活动的成功通过使用___________得到加强，这使得活动能够促进公司实现__。\nA. 消费活动，公共消费活动，区块链技术，慈善捐赠\nB. 激励活动，公共消费活动，数字技术，增加销售\nC. 消费活动，购买活动，区块链技术，慈善捐赠\nD. 制裁，激励活动，数字活动，增加销售\n答案：D\n\n问题：如比特币变得越来越普及，并带来了一系列相关的伦理影响，例如，它们_______且更。然而，它们也被用于参与_______。\nA. 加密货币，成本高，安全，金融犯罪\nB. 传统货币，成本低，不安全，慈善捐赠\nC. 加密货币，成本低，安全，金融犯罪\nD. 传统货币，成本高，不安全，慈善捐赠\n答案："

输出： " C\n\n问题：一些方法是"

参考文献

@article{zhu2024second,
  title={Second Language (Arabic) Acquisition of LLMs via Progressive Vocabulary Expansion},
  author={Zhu, Jianqing and Huang, Huang and Lin, Zhihang and Liang, Juhao and Tang, Zhengyang and Almubarak, Khalid and Alharthi, Mosen and An, Bang and He, Juncai and Wu, Xiangbo and Yu, Fei and Chen, Junying and Ma, Zhuoheng and Du, Yuhao and Hu, Yan and Zhang, He and Alghamdi, Emad A. and Zhang, Lian and Sun, Ruoyu and Li, Haizhou and Wang, Benyou and Xu, Jinchao},
  journal={},
  year={2024}
}