主页：访问主讨论页面

---

更新通知：

默认始终使用版本2（V2）。
V2采用了更优的量化方法，去除了双重量化的第二阶段。
相比前一版本，V2体积增加了约0.5GB，这是因为现在块64范数以全精度float32存储，显著提高了精确度。同时，由于没有第二阶段压缩，V2在运行时解压缩的计算开销减少，使得推理过程略快。
V2唯一的不足是其较大的体积，增加了0.5GB。

---

主要模型配置：

• 基础模型：bnb-nf4（V1采用nf4格式的块64范数，V2则为float32）
• T5XXL模型：fp8e4m3fn格式
• CLIP-L模型：fp16格式
• VAE模型：bf16格式

以上配置确保了高效与精准的模型运行性能。