[!TIP] 量化请求已开放。
对于给您带来的体验中断，我深表歉意。
如果您愿意并且有能力...
您可以通过这里支持我的各项工作（Ko-fi）。
我最终希望能为这些请求建立一个完善的基础设施。
在此期间，我会努力利用手头现有的资源来应对。

欢迎来到我的 GGUF-IQ-Imatrix 模型量化请求卡片！

请阅读所有内容。

本卡片仅用于请求符合以下要求的模型的 GGUF-IQ-Imatrix 量化版本。

请求 GGUF-Imatrix 模型量化的要求：

对于模型：

最大模型参数大小为 ~~110 亿~~ 120 亿。需要说明的是，参数大小超过 80 亿的模型可能比小模型需要更长的处理和上传时间。
目前由于硬件/时间限制，我无法接受更大模型的请求。
优先考虑创意/角色扮演领域中基于 Mistral 和 LLama-3 的模型。
如果您需要更大模型的量化版本，可以尝试在 mradermacher's 处请求。他的工作非常出色。

重要事项：

按照下一部分所述填写请求模板。

如何请求模型量化：

打开一个 新讨论，标题为 "Request: Model-Author/Model-Name"，例如 "Request: Nitral-AI/Infinitely-Laydiculous-7B"，无需引号。
在您的新讨论帖中包含以下模板，您可以直接复制粘贴，并通过替换 {{占位符}} 来填写所需信息（示例请求见此）：

**[Required] Model name:** <br>
{{replace-this}}

**[Required] Model link:** <br>
{{replace-this}}

**[Required] Brief description:** <br>
{{replace-this}}

**[Required] An image/direct image link to represent the model (square shaped):** <br>
{{replace-this}}

**[Optional] Additonal quants (if you want any):** <br>

<!-- Keep in mind that anything bellow I/Q3 isn't recommended,   -->
<!-- since for these smaller models the results will likely be   -->
<!-- highly incoherent rendering them unusable for your needs.   -->


Default list of quants for reference:

        "IQ3_M", "IQ3_XXS",
        "Q4_K_M", "Q4_K_S", "IQ4_XS",
        "Q5_K_M", "Q5_K_S",
        "Q6_K",
        "Q8_0"

欢迎来到我的 GGUF-IQ-Imatrix 模型量化请求卡片！

请阅读所有内容。

本卡片仅用于请求符合以下要求的模型的 GGUF-IQ-Imatrix 量化版本。

请求 GGUF-Imatrix 模型量化的要求：

对于模型：

最大模型参数大小为 ~~110 亿~~ 120 亿。需要说明的是，参数大小超过 80 亿的模型可能比小模型需要更长的处理和上传时间。
目前由于硬件/时间限制，我无法接受更大模型的请求。
优先考虑创意/角色扮演领域中基于 Mistral 和 LLama-3 的模型。
如果您需要更大模型的量化版本，可以尝试在 mradermacher's 处请求。他的工作非常出色。

重要事项：

按照下一部分所述填写请求模板。

如何请求模型量化：

打开一个 新讨论，标题为 "Request: Model-Author/Model-Name"，例如 "Request: Nitral-AI/Infinitely-Laydiculous-7B"，无需引号。

在您的新讨论帖中包含以下模板，您可以直接复制粘贴，并通过替换 {{占位符}} 来填写所需信息（示例请求见此）：

**[Required] Model name:** <br>
{{replace-this}}

**[Required] Model link:** <br>
{{replace-this}}

**[Required] Brief description:** <br>
{{replace-this}}

**[Required] An image/direct image link to represent the model (square shaped):** <br>
{{replace-this}}

**[Optional] Additonal quants (if you want any):** <br>

<!-- Keep in mind that anything bellow I/Q3 isn't recommended,   -->
<!-- since for these smaller models the results will likely be   -->
<!-- highly incoherent rendering them unusable for your needs.   -->


Default list of quants for reference:

        "IQ3_M", "IQ3_XXS",
        "Q4_K_M", "Q4_K_S", "IQ4_XS",
        "Q5_K_M", "Q5_K_S",
        "Q6_K",
        "Q8_0"