Hy-MT1.5-1.8B-1.25bit-GGUF:可在普通手机上实现高质量离线翻译，支持33种语言及1056个翻译方向。采用Sherry 1.25-bit量化技术，仅440MB大小，结合定制STQ内核，确保设备高效运行且数据本地化。【此简介由AI生成】

tencent_hunyuan/Hy-MT1.5-1.8B-1.25bit-GGUF

AngelSlim

致力于打造更直观、全面且高效的大语言模型压缩工具包。

model_scores
Hy-MT1.5-1.8B 翻译质量得分。来源：HY-MT1.5 技术报告

📣 最新动态

[26/05/08] 我们已发布用于 1.25 位模型的 STQ1_0 内核，并向 llama.cpp 提交了 PR PR #22836！如果您对 STQ_0 有任何疑问或建议，欢迎在 PR 下留言！🔥🔥🔥
[26/04/29] 我们发布了 Hy-MT1.5-1.8B-2bit (574MB) 和 Hy-MT1.5-1.8B-1.25bit (440MB)，这是支持 33 种语言的端侧翻译模型，提供权重和 GGUF 格式。我们还制作了安卓演示应用供您试用。诚邀您体验！🔥🔥🔥
[26/02/09] 我们发布了 HY-1.8B-2Bit，这是一款 2 位端侧大语言模型。
[26/01/13] 我们发布了 v0.3 版本。支持全尺寸 LLMs/VLMs/Audio 模型的 Eagle3 训练与部署。同时发布了硬件高效的 1.25 位量化算法 Sherry [论文] | [代码]

更多详细信息，请参阅 [AngelSlim] 和 [HY-MT]

🌟 Hy-MT1.5-1.8B-1.25bit-GGUF 核心特性

世界级翻译质量 Hy-MT1.5-1.8B-1.25bit 基于 Hy-MT1.5-1.8B 基础模型构建，该模型是腾讯混元团队通过整合面向机器翻译（MT）的预训练、有监督微调、策略蒸馏和强化学习的整体多阶段训练流程开发的专业翻译模型。基础模型原生支持33种语言、5种方言/少数民族语言以及1056个翻译方向。尽管仅拥有18亿参数，它在综合性能上全面超越了规模大得多的开源模型（如 Tower-Plus-72B、Qwen3-32B）和主流商业翻译API（如 Microsoft Translator、豆包翻译）。完整详情请参考 HY-MT1.5-1.8B 和 HY-MT1.5 技术报告。
Sherry：极致1.25位量化 本模型采用了 Sherry（已被 ACL 2026 接收）——一种硬件高效的三元量化框架。Sherry 引入了3:4细粒度稀疏性策略：每4个模型权重中，最重要的3个以1位（{-1, +1}）存储，剩余1个则置零。这将4个权重打包到仅5位中，实现了具有2的幂次对齐的有效1.25位宽度，将原始3.3GB的FP16模型压缩至仅440MB，同时精度损失极小。

Sherry
Sherry 细粒度稀疏性：每4个权重中，最重要的3个以1位存储，剩余1个置零。

多数手机均可本地部署 配合我们专为移动CPU设计的定制STQ内核，1.25位模型实现了完美的SIMD指令集对齐。这意味着即使是内存有限的普通手机也能流畅运行高质量的离线翻译。无需互联网连接，您的数据也绝不会离开设备。

📈 翻译基准测试

不同模型规模在Flores-200中外互译基准上的性能对比：

flores_model_size
不同模型规模在Flores-200中外互译基准上的性能表现。

⚡ 速度演示

FP16（8倍速）与1.25位速度对比。

fp16_vs_1.25bit
演示设备：骁龙888，8GB内存。

📱 演示

我们提供即用型Android演示APK，支持离线翻译。该应用具有后台取词模式，可在手机上的任何应用中运行——浏览邮件、网页或聊天消息时，无需切换应用即可获得即时翻译。无需网络，不收集数据，一次下载永久使用。

下载演示：

https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/resolve/main/Hy-MT-demo.apk

翻译演示

app_demo
演示设备：骁龙865，8GB内存。

后台取词模式

demo2
演示设备：骁龙7+ Gen 2，16GB内存。

💻 部署

❕❕ 此gguf依赖于我们的STQ内核，该内核在PR #22836中发布。

克隆llama.cpp

git clone https://github.com/ggml-org/llama.cpp.git

进入 llama.cpp 文件夹

cd llama.cpp

获取并检出 PR 分支

git fetch origin pull/22836/head:pr-22836-stq_0
git checkout pr-22836-stq_0

构建 llama.cpp

cmake -B build
cmake --build build --config Release

下载 GGUF 模型

pip install huggingface_hub
huggingface-cli download AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF \
    --local-dir model_zoo/Hy-MT1.5-1.8B-1.25bit-GGUF

运行补全示例

提示词格式可在 HY-MT1.5-1.8B 查看。

./build/bin/llama-completion \
  --model model_zoo/Hy-MT1.5-1.8B-1.25bit-GGUF/Hy-MT1.5-1.8B-1.25bit.gguf \
  -p "Translate the following segment into Chinese, without additional explanation：Hello" \
  --jinja \
  -ngl 0 \
  -n 64 -st

运行 llama.cpp 基准测试

./build/bin/llama-bench -m model_zoo/Hy-MT1.5-1.8B-1.25bit-GGUF/Hy-MT1.5-1.8B-1.25bit.gguf -ngl 0

📥 下载链接

1.25-bit 模型权重：https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit
1.25-bit 模型 GGUF：https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF
2-bit 模型权重：https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-2bit
2-bit 模型 GGUF：https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-2bit-GGUF
演示 APK：https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/resolve/main/Hy-MT-demo.apk

📄 技术报告

HY-MT1.5 技术报告：https://arxiv.org/abs/2512.24092
Sherry 论文（ACL 2026）：https://arxiv.org/abs/2601.07892
AngelSlim 技术报告：https://arxiv.org/abs/2602.21233

📝 许可证

本项目的代码根据 AngelSlim 许可证开源。

🔗 引用

@misc{huang2026sherry,
      title={Sherry: Hardware-Efficient 1.25-Bit Ternary Quantization via Fine-grained Sparsification}, 
      author={Hong Huang and Decheng Wu and Qiangqiang Hu and Guanghua Yu and Jinhai Yang and Jianchen Zhu and Xue Liu and Dapeng Wu},
      year={2026},
      eprint={2601.07892},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2601.07892}, 
}

@article{angelslim2026,
  title={AngelSlim: A more accessible, comprehensive, and efficient toolkit for large model compression},
  author={Hunyuan AI Infra Team},
  journal={arXiv preprint arXiv:2602.21233},
  year={2026}
}

@misc{zheng2025hymt,
      title={HY-MT1.5 Technical Report}, 
      author={Mao Zheng and Zheng Li and Tao Chen and Mingyang Song and Di Wang},
      year={2025},
      eprint={2512.24092},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2512.24092}, 
}

💬 技术讨论

AngelSlim 正在持续迭代，新功能即将发布。如果您有任何问题或建议，请在 GitHub Issues 上提交 issue，或加入我们的微信讨论群。