MediaTek Research Breeze-7B-Instruct-v0_1 模型卡片

MediaTek Research Breeze-7B（以下简称 Breeze-7B）是一个基于 [Mistral-7B] 构建的语言模型系列，专门面向繁体中文使用场景。

[Breeze-7B-Base] 是 Breeze-7B 系列的基础模型。如果您拥有大量微调数据，需要针对特定用例进行模型调整，那么它会是合适的选择。

Breeze-7B-Instruct 衍生自基础模型 Breeze-7B-Base，因此该模型可直接用于处理常见任务。

[Breeze-7B-Instruct-64k] 是 Breeze-7B-Instruct 的一个略微修改版本，其上下文长度扩展至 64k tokens，大致相当于 88k 个繁体中文字符。

更新（2024年3月7日）：Breeze-7B 当前发布版本为 v1.0。详见 Breeze-7B-Instruct-v1_0。

当前发布的 Breeze-7B 版本为 v0.1。

实用性方面：

• Breeze-7B-Base 在原始词汇表基础上新增了 30,000 个繁体中文 tokens。在其他条件相同的情况下，凭借扩展后的词汇表，Breeze-7B 处理繁体中文的推理速度是 Mistral-7B 和 Llama 7B 的两倍。[参见 推理性能。]
• Breeze-7B-Instruct 可直接用于常见任务，如问答、RAG、多轮对话和文本摘要。
• 特别是 Breeze-7B-Instruct-64k，能够处理文档级而非章节级的任务。

性能方面：

• 与台湾-LLM-7B/13B-chat、QWen(1.5)-7B-Chat、Yi-6B-Chat 等同等规模的开源同期模型相比，Breeze-7B-Instruct 在繁体中文和英文基准测试中均展现出令人印象深刻的性能。[参见 对话模型性能。]

特性

• Breeze-7B-Base-v0_1
  • 词汇表大小从 32k 扩展至 62k，以更好地支持繁体中文
  • 8k-token 上下文长度
• Breeze-7B-Instruct-v0_1
  • 词汇表大小从 32k 扩展至 62k，以更好地支持繁体中文
  • 8k-token 上下文长度
  • 多轮对话（未针对有害内容进行特殊处理）
• Breeze-7B-Instruct-64k-v0_1
  • 词汇表大小从 32k 扩展至 62k，以更好地支持繁体中文
  • 64k-token 上下文长度
  • 多轮对话（未针对有害内容进行特殊处理）

模型详情

• Breeze-7B-Base-v0_1
  • 微调自：[mistralai/Mistral-7B-v0.1]
  • 模型类型：因果解码器仅 transformer 语言模型
  • 语言：英语和繁体中文（zh-tw）
• Breeze-7B-Instruct-v0_1
  • 微调自：[MediaTek-Research/Breeze-7B-Base-v0_1]
  • 模型类型：因果解码器仅 transformer 语言模型
  • 语言：英语和繁体中文（zh-tw）
• Breeze-7B-Instruct-64k-v0_1
  • 微调自：MediaTek-Research/Breeze-7B-Instruct-v0_1
  • 模型类型：因果解码器仅 transformer 语言模型
  • 语言：英语和繁体中文（zh-tw）

基础模型性能

此处将 Breeze-7B-Base-v0_1 与其他参数规模相近、且在中文领域公认表现优异的开源基础语言模型进行对比。 TMMLU+、DRCD 和 Table 数据来源于 [MediaTek-Research/TCEval-v2]。 [MediaTek-Research/TCEval-v2] 衍生自 [TCEval-v1] 和 [ikala/tmmluplus]。MMLU 数据来源于 [hails/mmlu_no_train]。 我们使用基于 [EleutherAI/lm-evaluation-harness] 修改的代码来评估 TMMLU+、DRCD、Table 和 MMLU。所有选择题均采用对数似然法进行选择。

指令微调模型性能

在此，我们将Breeze-7B-Instruct-v1_0与其他参数规模相近、在中文领域表现广受认可的开源指令微调语言模型进行对比。 TMMLU+、DRCD、Table和MT-Bench-tw的数据来源于[MediaTek-Research/TCEval-v2]。 [MediaTek-Research/TCEval-v2]衍生自[TCEval-v1]和[ikala/tmmluplus]。MMLU的数据来源于[hails/mmlu_no_train]。MT-Bench的数据来源于[lmsys/mt_bench_human_judgments]。 我们使用基于[EleutherAI/lm-evaluation-harness]修改的代码对TMMLU+、DRCD、Table和MMLU进行评估。所有选择题均采用对数似然法进行选择。

推理性能

在本测试中，我们使用[网络文章]的前700个字符作为输入，要求模型重新撰写同一篇文章。 所有推理均在Atlas 800T A2上运行（使用vllm，张量并行大小为2）。

使用方法

import argparse
from openmind import AutoModel, AutoTokenizer
from openmind import is_torch_npu_available

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument("--model_name_or_path",type=str,help="Path to model",default=None,)
    args = parser.parse_args()
    return args


if __name__ == '__main__':
    if is_torch_npu_available():
        device = "npu:0"
    else:
        device = "cpu"
    args = parse_args()
    model_path = args.model_name_or_path

    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True, add_eos_token=True)

    model = AutoModel.from_pretrained(model_path, trust_remote_code=True).to(device)

    inputs = tokenizer.encode("def print_hello_world():\tprint('Hello World!')", return_tensors="pt").to(device)
    embedding = model(inputs)[0]
    print(f'Dimension of the embedding: {embedding[0].size()}')
    print(embedding)