[!CAUTION]

#broken

请改用 0.72 版本。

由于作者已发现该模型存在重大问题，此模型现已弃用**，标记为 #broken，仅为存档目的保留。**

我为 Nitral-AI/Poppy_Porpoise-1.0-L3-8B 制作的 GGUF-IQ-Imatrix 量化版本。

“Poppy 难道不是最可爱的海豚吗？”

[!IMPORTANT] 量化过程：
供日后参考，这些量化是在 #6920 的修复合并后完成的。
由于原始模型已是 FP16 格式，因此 imatrix 数据是从 FP16-GGUF 生成的，转换过程亦是如此。
如发现任何问题，请在讨论区告知我。

[!NOTE] 一般使用：
请使用最新版本的 KoboldCpp。
记住，现在即使是非 RTX 显卡，也可以在 KoboldCpp 上使用 --flashattention 以减少 VRAM 占用。
对于 8GB VRAM 的 GPU，我推荐 Q4_K_M-imat 量化版本，可支持高达 12288 的上下文长度。
对于 12GB VRAM 的 GPU，Q5_K_M-imat 量化版本能提供出色的尺寸/质量平衡。

参考资源：
您可以分别在此处和此处了解不同量化版本的对比及其类型。

预设：
一些兼容的 SillyTavern 预设可在此处（New Poppy-1.0 Presets）或此处（Virt's Roleplay Presets）找到。

[!TIP] 个人支持：
对于可能给您带来的使用不便，我深表歉意。
目前我正在努力更换更好的互联网服务提供商。
如果您愿意并且有能力的话……
您可以在此处（Ko-fi）提供一点支持。

作者支持：
您可以在作者主页支持原作者。

原始模型文本信息：

“Poppy Porpoise”是一款基于 Llama 3 8B 模型的尖端 AI 角色扮演助手，专注于打造令人难忘的叙事体验。凭借其先进的语言能力，Poppy 能将用户巧妙地沉浸在互动性强、引人入胜的冒险中，并根据用户的个人偏好量身定制每一段冒险。

仓库文件夹中的预设：

• https://huggingface.co/Nitral-AI/Poppy_Porpoise-1.0-L3-8B/tree/main/Porpoise_1.0-Presets

若要使用视觉功能：

• 您必须使用最新版本的 Koboldcpp。

要使用此模型的多模态功能并启用视觉，您需要加载指定的mmproj文件，该文件可在此处获取：Llava-MMProj 文件。

• 您可以通过界面中的相应部分加载mmproj文件：

Open LLM 排行榜评估结果

详细结果可在此处查看 here