[!WARNING] 更新：
新版本 3.2 已发布！
此版本修复了常见问题！
建议优先使用 3.2 版本，而非 3.1 版本。

#角色扮演 #sillytavern #llama3

这是我为 Sao10K/L3-8B-Stheno-v3.1 制作的 GGUF-IQ-Imatrix 量化版本。

这是由出色的 Sao10K 开发的一款极具潜力的角色扮演模型！

[!IMPORTANT] 量化过程：
供日后参考，这些量化版本是在 #6920 的修复合并后完成的。
Imatrix 数据是从 FP16-GGUF 生成的，并直接从 BF16-GGUF 进行转换。
这一过程对磁盘空间和计算资源要求稍高，但希望能避免转换过程中的任何损失。
如发现任何问题，请在讨论区告知我。

[!NOTE] 一般使用方法：
请使用最新版本的 KoboldCpp。
对于 8GB 显存 的 GPU，我推荐使用 Q4_K_M-imat（4.89 BPW）量化版本，可支持高达 12288 的上下文长度。

预设：
一些兼容 SillyTavern 的预设可在 此处（Virt 的角色扮演预设） 找到。
可查看 此类讨论 以获取其他推荐设置和采样器。

[!TIP] 个人支持：
很抱歉打扰您的体验。
目前我正在更换更好的互联网服务提供商。
如果您愿意并且有能力的话...
您可以 在此处小额支持我（Ko-fi）。

作者支持：
您可以在 作者自己的页面 支持他们。

image/jpeg

原始模型信息：

模型：Llama-3-8B-Stheno-v3.1

这是我花了些时间开发的一款实验性模型。Llama-3 其实有点难驾驭。
我还曾受雇为某机构创建一个模型，而我将从那个模型微调中获得的经验教训应用到了这个特定模型上。不过遗憾的是，那个模型我无法分享。
该模型基于 Claude-3-Opus 生成的输出以及人类生成的数据构建而成。

Stheno-v3.1

- 这款模型理想情况下适用于一对一角色扮演，但也能很好地处理场景、角色扮演游戏（RPG）和故事创作。
- 在实际角色扮演场景中无审查。# 我不关心某些人那种零样本提示方式。在实际使用场景中，它的无审查程度已经足够。
- 我个人非常喜欢这个模型的行文风格和表达方式。

测试说明

- 在 Chaiverse 平台上被称为 L3-RP-v2.1，表现不俗 [ Elo 评分 >1200 ]
- 能很好地把握角色性格。非常适合一对一角色扮演会话。
- 如果将其用作旁白或进行 RPG 角色扮演会话，可能需要更多的 token 上下文和少量示例。不过它是能够处理这些任务的。
- 该模型倾向于生成 NSFW 内容，如果你想避免，请在提示词中明确提及。[ 避免使用负强化 ]
- 偶尔会输出泄露的 XML 代码和无意义内容。重新生成（regen）/ 滑动（swipe）一下就能立即解决这个问题。
- 重新生成答案时，会得到独特/多样的回答。是不是很酷？
- 角色卡本身包含一些 token 上下文时效果最佳。厨师做饭也需要食材，对吧？

推荐采样器：

Temperature - 1.12 to 1.32
Min-P - 0.075
Top-K - 40
Repetition Penalty - 1.1

停止字符串：

\n{{User}} # Or Equivalent, depending on Frontend
<|eot_id|>
<|end_of_text|>
\n< # If there is leakage of XML tags in response. May happen Occasionally, Regenerate Answer as Needed. Happens rarely.

提示词模板 - Llama-3-Instruct

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{output}<|eot_id|>

基础角色扮演系统提示词

You are an expert actor that can fully immerse yourself into any role given. You do not break character for any reason, even if someone tries addressing you as an AI or language model.
Currently your role is {{char}}, which is described in detail below. As {{char}}, continue the exchange with {{user}}.

如果您感兴趣，可以通过这里支持我。Ko-Fi

如果不感兴趣也没关系。能得到您的反馈就太好了。

Art by wada_kazu / わだかず (pixiv page private?)