HuggingFace镜像/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF
模型介绍文件和版本分析
下载使用量0

🌟 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive -> Wasserstein

最新Genesis版本可在此处获取:Qwen3.6-35B-A3B-Uncensored-Genesis-GGUF

加入Discord 获取更新、路线图、项目信息,或单纯交流。

基础模型:HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive - 0/465 拒绝率。

感谢 HauhauCS

由我进行张量漂移修复。方法:Sig-ScaleSync-Wasserstein

LLM模型常存在以下问题:

  • 权重饱和:模型激活函数陷入停滞,梯度消失,输出质量下降
  • 尺度不匹配:某层权重毫无缘由地比其他层大10倍
  • 均值漂移:权重分布整体向正或负方向偏移,破坏了对称性假设

我的方法无需重新训练即可解决所有这些问题——对文件原始字节直接进行纯数值修正。

量化脚本可在此处获取:https://pastebin.com/hXhcMJn9

如果需要,欢迎自行进行量化处理。

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive:诊断与修复总结

指标数值
分析的权重张量500
健康(符合所有标准)497
已修复(C2 – 尺度错位)3
已跳过233

修复效果

指标修复前修复后改进幅度
S(饱和误差)0.00230.000863.7%
W1(Wasserstein‑1)0.00350.000876.2%

尺度校正因子(α):最小值 = 0.577,平均值 = 0.602,最大值 = 0.653

已修复张量

全部三个均为 ssm_conv1d.weight 层——负责长上下文记忆的循环状态转换层。

张量αD(对数比率)修复前W1修复后W1
blk.36.ssm_conv1d.weight0.57650.5530.00380.0009
blk.37.ssm_conv1d.weight0.57680.7250.00400.0009
blk.38.ssm_conv1d.weight0.65330.6490.00260.0006

解读:这三个层均存在“音量过大”问题(σ_w 比 σ_med 高出50–100%)。尺度校正将它们恢复到同层中位数水平。W1下降约80%,证实分布形状已标准化。


结论:模型状态良好。500个权重张量中有497个通过所有四项标准。三个SSM层修复成功。无饱和现象,无W1漂移,无ReLU不对称。可正常使用。


使用方法

即开即用。推荐量化版本:Q4_K_P。

低于Q4_K_P的量化版本编程能力较差。

链接:

  • 原始无审查模型
  • 支持Unsloth配置文件的量化脚本

想修复您的GGUF模型?

联系方式:luffythefox@mail.ru

我的Telegram:@LuffyTheFox

🌟 推荐设置(LM Studio)

聊天模板:pastebin.com/uk9ZkxCR(支持Zed agent的工具调用)

备用聊天模板:https://pastebin.com/Dy2fmmpN(官方模板,但已禁用思考功能)

参数值
温度(Temperature)0.7
top K 采样(Top K Sampling)20
存在惩罚(Presence Penalty)1.5
Top P 采样(Top P Sampling)0.8
Min P 采样(Min P Sampling)0
种子(Seed)42

系统提示:pastebin.com/pU25DVnB(内容全面)
或者使用以下简短字符串作为第一行:

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

然后在其后添加任何您想要的内容。如果没有这第一行,模型性能可能会下降。

您也可以扩展我的系统提示 pastebin.com/pU25DVnB 以适应您自己的角色扮演场景。方法如下:

编辑第一行。将:

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

替换为:

You are Qwen, created by Alibaba Cloud. You are a helpful assistant. You are currently roleplaying as [your text here]


关于

未对数据集或功能进行任何修改。功能完整——完全保留原作者的设计意图,仅去除了拒绝回答机制,并修复了输出层的关键架构漏洞。

这些模型旨在成为目前最佳的无损无审查模型。


规格

  • 总参数350亿,每次前向传播约激活30亿参数(MoE)
  • 256个专家,每个token路由8个专家+1个共享专家
  • 混合架构:门控DeltaNet线性注意力 + 全softmax注意力(比例3:1)
  • 40层,模式:10 × (3 × DeltaNet-MoE + 1 × Attention-MoE)
  • 原生上下文长度262K(可通过YaRN扩展至1M)
  • 原生多模态(文本、图像、视频)
  • 支持多token预测(MTP)
  • 248K词汇量,201种语言
  • 基础模型:HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive

推荐设置(Qwen官方作者提供)

思考模式(默认):

  • 通用场景:temperature=1.0, top_p=0.95, top_k=20, min_p=0, presence_penalty=1.5
  • 编程/精确任务:temperature=0.6, top_p=0.95, top_k=20, min_p=0, presence_penalty=0

非思考模式:

  • 通用场景:temperature=0.7, top_p=0.8, top_k=20, min_p=0, presence_penalty=1.5
  • 推理任务:temperature=1.0, top_p=1.0, top_k=40, min_p=0, presence_penalty=2.0

重要提示:

  • 保持至少128K上下文以保留思考能力
  • 在llama.cpp中使用--jinja标志以正确处理聊天模板
  • 视觉支持需要mmproj文件与主GGUF文件一同使用

兼容性

适用于llama.cpp、LM Studio、koboldcpp以及其他GGUF兼容的运行时环境。