Codestral-22B-v0.1-IMat-GGUF

mistralai/Codestral-22B-v0.1（legraphista/Codestral-22B-v0.1-hf-FIM-fix）的Llama.cpp imatrix量化版本

更新：

• 2024年5月31日：修复了模型缺失的FIM令牌

原始模型：mistralai/Codestral-22B-v0.1
量化后的HF模型：legraphista/Codestral-22B-v0.1-hf-FIM-fix
原始数据类型：BF16（bfloat16）
量化工具：llama.cpp b3046
IMatrix数据集：此处

• 文件
  • IMatrix
  • 常见量化版本
  • 所有量化版本
• 使用huggingface-cli下载
• 推理
  • 简单聊天模板
  • 带系统提示的聊天模板
  • FIM / 中间填充
  • Llama.cpp
• 常见问题
  • 为什么IMatrix没有应用于所有地方？
  • 如何合并拆分的GGUF文件？

文件

IMatrix

状态：✅ 可用
链接：此处

常见量化版本

所有量化版本

使用huggingface-cli下载

如果您尚未安装huggingface-cli：

pip install -U "huggingface_hub[cli]"

下载您需要的特定文件：

huggingface-cli download legraphista/Codestral-22B-v0.1-hf-IMat-GGUF --include "Codestral-22B-v0.1-hf.Q8_0.gguf" --local-dir ./

如果模型文件较大，它会被分割成多个文件。要将所有文件下载到本地文件夹，请运行：

huggingface-cli download legraphista/Codestral-22B-v0.1-hf-IMat-GGUF --include "Codestral-22B-v0.1-hf.Q8_0/*" --local-dir ./
# see FAQ for merging GGUF's

推理

简单对话模板

<s>[INST] {user_prompt} [/INST] {assistant_response} </s><s>[INST] {new_user_prompt} [/INST]

带系统提示词的聊天模板

<s>[INST] <<SYS>>
{system_prompt}
<</SYS>>

{user_prompt} [/INST] {assistant_response} </s><s>[INST] {new_user_prompt} [/INST]

Llama.cpp

llama.cpp/main -m Codestral-22B-v0.1-hf.Q8_0.gguf --color -i -p "prompt here (according to the chat template)"

常见问题

为何未在所有地方应用IMatrix？

根据这项调查，似乎只有较低的量化版本能从imatrix输入中获益（根据hellaswag结果）。

如何合并分割的GGUF文件？

1. 确保您已安装gguf-split
   • 要获取gguf-split，请访问 https://github.com/ggerganov/llama.cpp/releases
   • 从最新版本中下载适合您系统的压缩包
   • 解压该压缩包，您应该能找到gguf-split
2. 找到您的GGUF分块文件夹（例如：Codestral-22B-v0.1-hf.Q8_0）
3. 运行 gguf-split --merge Codestral-22B-v0.1-hf.Q8_0/Codestral-22B-v0.1-hf.Q8_0-00001-of-XXXXX.gguf Codestral-22B-v0.1-hf.Q8_0.gguf
   • 确保将gguf-split指向分割文件的第一个分块。

有建议吗？请联系我 @legraphista！