AceGPT

AceGPT 是基于 LlaMA2 构建的全量微调生成式文本模型系列，尤其专注于阿拉伯语领域。本仓库为 13B 预训练模型的存放地址。

---

模型详情

我们发布了 AceGPT 大语言模型系列，该系列是基于 LlaMA2 构建的全量微调生成式文本模型集合，参数规模涵盖 7B 至 13B。我们的模型包含两大主要类别：AceGPT 和 AceGPT-chat。AceGPT-chat 是专为对话应用优化的版本。值得一提的是，在多项基准测试中，我们的模型表现优于目前所有可用的开源阿拉伯语对话模型。此外，在我们的人工评估中，我们的模型在阿拉伯语方面的满意度已达到部分闭源模型（如 ChatGPT）的水平。

模型开发者

我们来自香港中文大学（深圳）数据科学学院、深圳大数据研究院以及阿卜杜拉国王科技大学。

模型变体

AceGPT 系列提供多种参数规模——7B 和 13B，每种规模的模型均包含基础版（base）和对话版（-chat）。

输入

模型仅输入文本。

输出

模型仅输出文本。

模型评估结果

在阿拉伯语 MMLU 和 EXAMs 上进行了实验。“AverageBest”“STEM”“Humanities”“Social Sciences”和“Others (Business, Health, Misc)”均属于阿拉伯语 MMLU。最佳性能以粗体显示，第二佳性能以下划线显示。

---

样本

阿拉伯语 MMLU（5次示例）

以下是关于抽象代数的多项选择题（含答案）
问题：在 Z₃ 中找出所有使得 Z₃ [x]/(x²+c) 为域的 c 值。
A. 0
B. 1
C. 2
D. 3
答案：B

问题：陈述1 | 若 aH 是商群中的元素，则 |aH| 整除 |a|。陈述2 | 若 H 和 K 是 G 的子群，则 HK 是 G 的子群。
A. 正确，正确
B. 错误，错误
C. 正确，错误
D. 错误，正确
答案：B

问题：表述1 | 群中的每个元素都生成该群的一个循环子群。表述2 | 对称群 S₁₀ 有 10 个元素。
A. 正确，正确
B. 错误，错误
C. 正确，错误
D. 错误，正确
答案：C

问题：陈述1| 每个从有限集到其自身的函数必定是双射。陈述2 | 阿贝尔群的每个子群都是阿贝尔群。
A. 正确，正确
B. 错误，错误
C. 正确，错误
D. 错误，正确
答案：A

问题：找出环 2Z 的特性。
A. 0
B. 3
C. 12
D. 30
答案：A

问题：Q(sqrt(2), sqrt(3), sqrt(18)) 在 Q 上的域扩张次数是多少？
A. 0
B. 4
C. 2
D. 6
答案：

推理：

from openmind import AutoTokenizer, AutoModelForCausalLM import openmind import torch import torch_npu import argparse

def parse_args(): parser = argparse.ArgumentParser() parser.add_argument( "--model_name_or_path", type=str, help="Path to model", default="LF_AICC/AceGPT-13B", ) args = parser.parse_args() return args

args = parse_args() model = args.model_name_or_path

tokenizer = AutoTokenizer.from_pretrained(model) pipeline = openmind.pipeline( "text-generation", model=model, tokenizer=tokenizer, torch_dtype=torch.bfloat16, device_map="auto", ) sequences = pipeline( "<|im_start|>user\nDoes P=NP?<|im_end|>\n<|im_start|>assistant\n", max_length=256, do_sample=True, top_k=10, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id, ) for seq in sequences: print(f"Result: {seq['generated_text']}")