[!TIP] 支持：
最近我的上传速度变得糟糕且不稳定。
实际上，我可能需要搬家才能换个更好的网络服务商。
如果您愿意且有能力的话……
您可以通过这里支持我的各项工作（Ko-fi）。
对于给您的体验带来的不便，我深表歉意。

Kunocchini-7b-128k-test 的 GGUF-Imatrix 量化版本

更新：请下载现已提供的 v2 文件。新增了 IQ4_NL 和 IQ4_XS 量化版本。

“Imatrix” 是什么意思？

它代表重要性矩阵（Importance Matrix），是一种用于提升量化模型质量的技术。

Imatrix 基于校准数据计算得出，有助于在量化过程中确定不同模型激活的重要性。其核心思想是在量化过程中保留最重要的信息，从而有助于减少模型性能的损失。

使用 Imatrix 的一个好处是，它可以带来更好的模型性能，尤其是在校准数据具有多样性的情况下。

更多信息：[1] [2]

一段时间以来，这一直是我个人最喜欢且日常使用的角色扮演模型，因此我决定使用完整的 F16-Imatrix 数据为其制作新的量化版本。

SillyTavern 预设文件位于 此处。

如果您希望添加任何特定的量化版本，欢迎提出。

所有功劳归于 创作者。

Base⇢ GGUF(F16)⇢ GGUF(Quants)

今天合并的新 IQ3_S 表现优于旧的 Q3_K_S，因此我添加了前者来替代后者。仅在 koboldcpp-1.59.1 或更高版本中支持。

使用 llama.cpp-b2254。

对于 --imatrix 数据，使用了 imatrix-Kunocchini-7b-128k-test-F16.dat。

原始模型信息：

感谢@Epiculous 提供的出色模型/在LLM后端方面给予的帮助以及总体支持。

我还要感谢@kalomaze 为ST添加的出色采样器功能。

@SanjiWatsuki 非常感谢你的帮助和提供的模型！

ST用户可以在相应标记的文件夹中找到TextGenPreset。

合并中包含以下模型：

• SanjiWatsuki/Kunoichi-DPO-v2-7B
• Epiculous/Fett-uccine-Long-Noodle-7B-120k-Context

配置

生成此模型时使用了以下YAML配置：

slices:
  - sources:
      - model: SanjiWatsuki/Kunoichi-DPO-v2-7B
        layer_range: [0, 32]
      - model: Epiculous/Fett-uccine-Long-Noodle-7B-120k-Context
        layer_range: [0, 32]
merge_method: slerp
base_model: SanjiWatsuki/Kunoichi-DPO-v2-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16