本仓库托管 Nitral-AI/Infinitely-Laydiculous-9B 的 GGUF-IQ-Imatrix 量化版本。

特别感谢 @Nitral-AI 合并了此模型。

指令格式、上下文长度、采样器：

• 扩展 Alpaca（推荐）格式，更多信息请查看主 基础模型卡片。

• 该模型预期可处理的 --contextsize 为 8192。

• SillyTavern - TextGen/采样器。

“Imatrix”是什么意思？

它代表重要性矩阵（Importance Matrix），是一种用于提升量化模型质量的技术。 Imatrix 基于校准数据计算得出，有助于在量化过程中确定不同模型激活的重要性。 其核心思想是在量化过程中保留最重要的信息，这有助于减少模型性能的损失，尤其是在校准数据具有多样性的情况下。 [1] [2]

在生成 imatrix 数据时，使用了 kalomaze 的 groups_merged.txt 并添加了角色扮演对话，您可以在 此处 找到该文件。这样做只是为了增加数据的多样性。

步骤：

Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)

使用当时最新版本的llama.cpp。

量化版本：

    quantization_options = [
        "Q4_K_M", "Q4_K_S", "IQ4_XS", "Q5_K_M", "Q5_K_S",
        "Q6_K", "Q8_0", "IQ3_M", "IQ3_S", "IQ3_XXS"
    ]

如果您需要此处未提供的内容或其他模型，欢迎提出请求。

原始模型信息：

本模型采用 passthrough 合并方法进行合并。

合并的模型

合并中包含以下模型：

• Endevor/InfinityRP-v1-7B
• l3utterfly/mistral-7b-v0.1-layla-v4

配置

生成此模型时使用了以下 YAML 配置：

slices:
  - sources:
      - model: Endevor/InfinityRP-v1-7B
        layer_range: [0, 20]
  - sources:
      - model: l3utterfly/mistral-7b-v0.1-layla-v4
        layer_range: [12, 32]
merge_method: passthrough
dtype: float16