Mistral-7B-v0.1 模型卡片

Mistral-7B-v0.1 大型语言模型（LLM）是一个拥有 70 亿参数的预训练生成式文本模型。 在我们测试的所有基准上，Mistral-7B-v0.1 的性能均优于 Llama 2 13B。

修改说明

在原始 README 中增加了 CANN 版本依赖说明，并修改了示例代码。

模型架构

Mistral-7B-v0.1 是一个开放思维模型，其架构选择如下：

• 分组查询注意力（Grouped-Query Attention）
• 滑动窗口注意力（Sliding-Window Attention）
• 字节回退 BPE 分词器（Byte-fallback BPE tokenizer）

故障排除

• 如果您遇到以下错误：

KeyError: 'mistral'

• 或者：

NotImplementedError: Cannot copy out of meta tensor; no data!

确保您使用的是 Openmind 的稳定版本，0.0.1 或更新版本。

注意事项

Mistral 7B 是一个预训练基础模型，因此不具备任何内容审核机制。

Mistral AI 团队

Albert Jiang、Alexandre Sablayrolles、Arthur Mensch、Chris Bamford、Devendra Singh Chaplot、Diego de las Casas、Florian Bressand、Gianna Lengyel、Guillaume Lample、Lélio Renard Lavaud、Lucile Saulnier、Marie-Anne Lachaux、Pierre Stock、Teven Le Scao、Thibaut Lavril、Thomas Wang、Timothée Lacroix、William El Sayed。