[!TIP] 我最近的上传速度变得糟糕且不稳定。
实际上，我可能需要搬家才能换个更好的网络提供商。
如果您愿意并且有能力，可以通过 这里支持我的各种项目（Ko-fi）。
对于给您的体验带来的不便，我深表歉意。

#llama-3 #experimental #work-in-progress

为 @jeiku 的 ResplendentAI/SOVL_Llama3_8B 制作的 GGUF-IQ-Imatrix 量化版本。
请多支持他们！

[!IMPORTANT]
已更新！ 这些量化版本是结合 llama.cpp/pull/6920 中的修复进行重新制作的。
请使用 KoboldCpp 1.64 版本或更高版本。

[!NOTE] 嗯……！
事实证明，这并非幻觉，这个模型确实很酷，所以给它一个机会吧！
对于 8GB VRAM 的 GPU，我推荐 Q4_K_M-imat 量化版本，它支持高达 12288 的上下文长度。

[!WARNING] 请使用提供的预设。
兼容的 SillyTavern 预设可在 这里（简单版） 或 这里（Virt 的角色扮演版） 获取。 请使用最新版本的 KoboldCpp。