SuperGemma4-31b-abliterated-GGUF

如果此版本对您有所帮助，请通过 Ko-fi 支持未来的版本发布。

SuperGemma4-31b-abliterated-GGUF 是 SuperGemma4-31b-abliterated 的 GGUF 格式发布版，专为兼容 llama.cpp 的运行时环境打包，旨在为希望在本地硬件上获得完全无审查、更具冲击力的 Gemma 4 31B 体验的用户打造。

本版本延续了 MLX 版本的产品定位：

• 完全无审查的对话，限制更少
• 更强大的编码和技术支持能力
• 更敏锐的推理与规划能力
• 对本地用户而言更具实际应用价值
• 为 GGUF 用户提供令人惊喜的轻量化 31B 部署方案

包含内容

• 用于本地部署的 GGUF 量化权重
• 与模型文件一同提供的 Gemma 聊天模板
• 适用于 llama.cpp、LM Studio 及其他 GGUF 工具的简洁部署路径

核心优势

本版本着重优化了终端用户能直接感知到的体验：

• 更开放的无审查对话
• 更强大的编码、调试与实现支持
• 针对实际问题提供更有用的答案，而非泛泛而谈的内容
• 本地体验更流畅、直接，对开发者更友好
• 31B 模型的表现却比其规格所暗示的更为轻盈、有力

简而言之：这是为那些希望限制更少、功能更强、日常使用体验更令人满意的用户打造的本地版 Gemma 4 31B。

推荐用法

llama.cpp 使用示例：

llama-cli -m SuperGemma4-31b-abliterated.Q4_K_M.gguf -p "Write a clean FastAPI CRUD example." -n 256

包含简洁输出辅助工具

此版本包含 supergemma_guard.py 和 supergemma_gguf_guarded_generate.py，适用于精确输出、纯 JSON 以及循环敏感型工作负载。

示例：

python supergemma_gguf_guarded_generate.py \
  --model SuperGemma4-31b-abliterated.Q4_K_M.gguf \
  --chat-template-file chat_template.jinja \
  --prompt 'Return only valid JSON with keys "title" and "steps".'

推荐行为：

• 仅 JSON 端点需使用原始 JSON
• 呈现答案前剥离无关内部标记
• 保持结构化输出提示清晰明确且范围集中
• 默认使用受保护运行器处理精确回复、固定行输出和工具后续风格提示

支持

如果您希望支持更多无审查本地模型发布、基准测试和打包工作：

• Ko-fi