Qwen3.8-27B · GSQ-RCO GGUFs
非均匀 GGUF 量化，由 GSQ 和 RCO 生成，并附带用于多模态使用的视觉投影器。
概述
本仓库提供 Qwen3.8-27B 的四个规格 GGUF 量化版本，并附带用于多模态使用的视觉投影器（mmproj）。与将所有权重张量统一使用同一量化类型的均匀量化不同，这里的每个模型都会为每个张量单独分配一种量化类型。这一分配由基于梯度的搜索得到，在总体积预算约束下，按每个张量的敏感度分配精度。生成文件为标准 GGUF，可在 llama.cpp、Ollama 和 LM Studio 中无需修改直接运行。
方法摘要。 对于给定量化类型，GSQ 为每个张量提供精确的低比特标量量化；RCO 在体积预算约束下为每个张量分配量化类型。两者结合可在指定体积下生成非均匀 GGUF。
| 方法 | 说明 |
|---|---|
| GSQ（Gumbel-Softmax Quantization，论文，代码） | 一种后训练标量量化方法，通过 Gumbel-Softmax 松弛联合学习逐坐标的网格分配和逐组的缩放系数。在 2 到 3 比特下，GSQ 可大幅缩小标量量化与向量量化之间的差距，同时仍可采用 GGUF 等标准标量格式部署。 |
| RCO（Riemannian Constrained Optimization，论文，代码） | 在总体积预算约束下，为 N 个张量中的每个分配 K 种量化类型之一。预算约束被重构为 logit 空间中的光滑黎曼流形，从而可直接针对任务损失进行基于梯度的优化，同时精确满足预算，且无需针对约束专门调节超参数。 |
两种方法均由奥地利科技研究院的 Deep Algorithms and Systems Lab (DASLab) 开发。
可用文件
文件遵循 <model>-GSQ-RCO-<type>.gguf 命名约定，其中后缀用于标识量化类别；下表列出每个文件真实的整文件平均比特宽度。mmproj 文件以 BF16 精度保存视觉编码器和投影器；一份即可用于所有量化版本。
| 文件 | bpw | 大小 | 备注 |
|---|---|---|---|
Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf | 2.50 | 8.4 GB | 最小；零样本表现高于 BF16 基线 |
Qwen3.8-27B-GSQ-RCO-IQ2_S.gguf | 2.75 | 9.3 GB | 在 AIME25 上与基础模型持平 |
Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf | 3.00 | 10.1 GB | 综合表现出色的工作点 |
Qwen3.8-27B-GSQ-RCO-IQ3_S.gguf | 3.50 | 11.8 GB | 推荐；任务无损 |
mmproj-Qwen3.8-27B-BF16.gguf | 16 | 0.9 GB | 视觉编码器 + 投影器，供多模态使用 |
每个量化版本还附带一个可选的 -mtp 构建（约大 0.35 GB），其中包含模型的 Multi-Token Prediction 头，用于在 llama.cpp 中进行投机解码。其余权重完全相同，因此质量不变。
IQ3_S 模型是任务无损工作点：它在 AIME25（100.00）和 LiveCodeBench v6（85.71）上与基础模型完全一致，在 GPQA-Diamond 上差距不超过 0.51 分，而体积仅略多于 BF16 版本的五分之一。
结果
所有模型均以 BF16 基座模型及同一基座模型的 Unsloth Dynamic（UD）量化作为基准进行评测。我们报告 wikitext2、C4 和 FineWeb-Edu 上的困惑度，五个零样本任务（arc_easy、arc_challenge、hellaswag、winogrande、piqa）的平均分，恢复率（相对于 BF16 的零样本平均），以及三项推理与生成基准测试：AIME25、GPQA-Diamond 和 LiveCodeBench v6。所列尺寸为实际评测文件的大小。
| 量化变体 | bpw | GB | wiki↓ | c4↓ | fw↓ | 零样本平均↑ | 恢复率 | AIME25↑ | GPQA-D↑ | LCB v6↑ |
|---|---|---|---|---|---|---|---|---|---|---|
| BF16 | 16.00 | 53.8 | 7.05 | 11.45 | 8.14 | 74.34 | 100.0% | 100.00 | 89.90 | 85.71 |
| GSQ-RCO IQ2_XS | 2.50 | 8.4 | 7.69 | 12.98 | 9.19 | 74.54 | 100.3% | 96.67 | 84.85 | 76.57 |
| GSQ-RCO IQ2_S | 2.75 | 9.3 | 7.39 | 12.40 | 8.80 | 75.70 | 101.8% | 100.00 | 86.36 | 82.29 |
| GSQ-RCO IQ3_XXS | 3.00 | 10.1 | 7.20 | 12.13 | 8.59 | 74.81 | 100.6% | 100.00 | 88.89 | 84.57 |
| GSQ-RCO IQ3_S | 3.50 | 11.8 | 7.07 | 11.76 | 8.34 | 74.47 | 100.2% | 100.00 | 89.39 | 85.71 |
| UD-IQ2_S | 2.49 | 8.4 | 8.02 | 12.78 | 9.08 | 73.80 | 99.3% | 86.67 | 76.26 | 72.00 |
| UD-Q2_K_XL | 2.88 | 9.8 | 7.54 | 12.25 | 8.69 | 74.37 | 100.0% | 100.00 | 86.87 | 82.28 |
| UD-IQ3_S | 3.52 | 12.0 | 7.16 | 11.75 | 8.34 | 75.49 | 101.5% | 96.67 | 89.90 | 84.00 |
在 3.50 bpw 下，IQ3_S 实现任务无损：它在 AIME25（100.00）和 LiveCodeBench v6（85.71）上完全复现基座模型，在 GPQA-Diamond 上仅落后 0.51 分，在 11.8 GB 时取得 91.70 的任务平均分，而基座模型为 91.87（99.8%），文件体积缩减 4.6 倍。相较于 UD-IQ3_S，它在 AIME25 上领先 3.33 分，在 LiveCodeBench 上领先 1.71 分，且文件小 0.2 GB，但 UD 在 GPQA-Diamond 上仍高出 0.51 分。在 3.00 bpw 下，该模型在 10.1 GB 时已在 AIME25 上追平基座模型；在相同文件体积（8.4 GB）下，IQ2_XS 在 AIME25 上领先 UD-IQ2_S 10.00 分，在 GPQA-Diamond 上领先 8.59 分，在 LiveCodeBench v6 上领先 4.57 分。
使用方法
llama.cpp
# download (requires: pip install -U "huggingface_hub[cli]")
hf download ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf --local-dir .
llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf -p "Explain mixed-precision quantization." -ngl 99视觉（多模态）
hf download ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF mmproj-Qwen3.8-27B-BF16.gguf --local-dir .
llama-mtmd-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf \
--mmproj mmproj-Qwen3.8-27B-BF16.gguf \
--image photo.jpg -p "Describe this image."投影器直接由基础检查点转换而来，并针对这些量化版本进行了验证。
Ollama
ollama run hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF # pick the file matching your memory budgetLM Studio
搜索仓库名称，然后从文件列表中选择一个 GSQ-RCO-* 构建版本。
量化流程
- 逐张量数据库。 每个权重张量都会使用 GSQ 按每一种候选 GGUF 量化类型进行量化，从而形成一个可搜索的量化张量变体数据库。
- RCO 搜索。 受预算约束的黎曼搜索为每个张量分配一种量化类型，使整个文件的平均位宽达到目标值。
- 组装。 所选的逐张量变体将被拼接为单个标准 GGUF 文件。
参考实现：GSQ 见 IST-DASLab/GSQ，RCO 见 IST-DASLab/RCO。
可复现性文件
每个发布的 GGUF 都附带了用于审查其构建过程所需的文件：
| 文件 | 内容 |
|---|---|
tensor-allocation/<model>.rco-allocation.txt | 该文件中为每个张量分配的量化类型，并包含量化类型直方图和目标位宽。这是 RCO 搜索结果，因此可在不打开模型的情况下检查分配方案。 |
imatrix-qwen3.8-27b.gguf | 量化过程中使用的重要性矩阵（1000 个 4096 个 token 的数据块）。 |
-mtp 构建版本拥有各自的分配转储文件；其中列出的逐张量分配与基础模型相同，并额外包含 MTP 头部的 15 个张量。
引用
如果你使用这些模型或方法，请引用两篇论文：
@article{gsq2026,
title = {GSQ: Highly-Accurate Low-Precision Scalar Quantization for LLMs via Gumbel-Softmax Sampling},
author = {Dadgarnia, Alireza and Tabesh, Soroush and Nikdan, Mahdi and Helcig, Michael and Kurtic, Eldar and Kleinegger, Maximilian and Alistarh, Dan},
journal= {arXiv preprint arXiv:2604.18556},
year = {2026}
}
@article{rco2026,
title = {Model Compression with Exact Budget Constraints via Riemannian Manifolds},
author = {Helcig, Michael and Alistarh, Dan},
journal= {arXiv preprint arXiv:2605.00649},
year = {2026}
}致谢
我们感谢 Verda 以及 Institute of Science and Technology Austria 的科学计算团队，提供用于构建这些模型的算力资源。
许可证
这些量化权重沿用基础模型（Qwen3.8-27B）的许可证。GSQ-RCO 工具集由 Deep Algorithms and Systems Lab 依据其仓库许可证发布。