关于
https://huggingface.co/MING-ZCH/MetaphorStar-7B 的静态量化版本
如需便捷概览和下载列表，请访问我们的此模型页面。
加权/矩阵量化版本可在 https://huggingface.co/mradermacher/MetaphorStar-7B-i1-GGUF 获取
使用方法
如果您不确定如何使用 GGUF 文件，请参考 TheBloke 的 README 文档 了解更多详情，包括如何拼接多部分文件。
提供的量化版本
（按大小排序，不一定代表质量排序。IQ 量化版本通常优于同等大小的非 IQ 量化版本）
| 链接 | 类型 | 大小/GB | 说明 |
|---|---|---|---|
| GGUF | mmproj-Q8_0 | 1.0 | 多模态补充文件 |
| GGUF | mmproj-f16 | 1.5 | 多模态补充文件 |
| GGUF | Q2_K | 3.1 | |
| GGUF | Q3_K_S | 3.6 | |
| GGUF | Q3_K_M | 3.9 | 较低质量 |
| GGUF | Q3_K_L | 4.2 | |
| GGUF | IQ4_XS | 4.4 | |
| GGUF | Q4_K_S | 4.6 | 速度快，推荐使用 |
| GGUF | Q4_K_M | 4.8 | 速度快，推荐使用 |
| GGUF | Q5_K_S | 5.4 | |
| GGUF | Q5_K_M | 5.5 | |
| GGUF | Q6_K | 6.4 | 非常好的质量 |
| GGUF | Q8_0 | 8.2 | 速度快，最佳质量 |
| GGUF | f16 | 15.3 | 16 位每权重，性能过剩 |
以下是 ikawrakow 制作的对比部分低质量量化类型的便捷图表（数值越低越好）：
以下是 Artefact2 对此问题的看法： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9
常见问题 / 模型请求
有关您可能有的问题，以及/或者如果您希望对其他模型进行量化处理，请参见 https://huggingface.co/mradermacher/model_requests 获取部分解答。
致谢
感谢我的公司 nethype GmbH 允许我使用其服务器，并为我的工作站提供升级，使我能够在业余时间完成这项工作。