Aya Expanse 8B 模型卡片

Aya Expanse 8B 是一个具有高度先进多语言能力模型的开源权重研究版本。它专注于将性能卓越的 Command 系列预训练模型与 Cohere For AI 一年的专项研究成果相结合，包括数据套利、多语言偏好训练、安全调优和模型合并。其成果是一个功能强大的多语言大型语言模型。

许可证：CC-BY-NC
模型：Aya Expanse 8B
模型大小：80 亿参数

支持语言

我们涵盖 23 种语言：阿拉伯语、中文（简体和繁体）、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语。

试用：Aya Expanse 实际应用

使用 Cohere 在线平台或我们的 Hugging Face Space 进行交互式探索。

如何使用 Aya Expanse

安装 openmind 库并按以下方式加载 Aya Expanse 8B：

from openmind import pipeline, AutoTokenizer, AutoModelForCausalLM
import torch
import torch_npu
import argparse

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Jinan_AICC/aya-expanse-8b",
        default=None,
    )
    args = parser.parse_args()
    return args

args = parse_args()
model_id = args.model_name_or_path
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to("npu:0")

# Format the message with the chat template
messages = [{"role": "user", "content": "Anneme onu ne kadar sevdiğimi anlatan bir mektup yaz"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to("npu:0")
## <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Anneme onu ne kadar sevdiğimi anlatan bir mektup yaz<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
    )

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

模型详情

输入：模型仅输入文本。

输出：模型仅生成文本。

模型架构：Aya Expanse 8B 是一种自回归语言模型，采用优化的 transformer 架构。训练后处理包括有监督微调、偏好训练和模型融合。

支持语言：该模型特别针对多语言进行了优化，支持以下语言：阿拉伯语、中文（简体和繁体）、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语

上下文长度：8K

评估

我们使用 Dolly 和 m-ArenaHard 数据集（基于 Arena-Hard-Auto 数据集并翻译成 Aya Expanse 8B 支持的 23 种语言），将 Aya Expanse 8B 与 Gemma 2 9B、Llama 3.1 8B、Ministral 8B 和 Qwen 2.5 7B 进行了对比评估。胜率由 gpt-4o-2024-08-06 作为评判者确定。为确保基准测试的保守性，我们报告了 gpt-4o-2024-08-06 的结果，尽管 gpt-4o-mini 的评分显示出更强的性能。