HuggingFace镜像
/
Mixtral-8x7B-Instruct-v0.1-offloading-demo
like
0
添加到合集
文本生成
Transformers
Safetensors
5 languages
MIT
NPU
mixtral
text-generation-inference
模型介绍
文件和版本
分析
下载
Notebook 快速开发
原文
注意力量化：HQQ 4位，组大小64，压缩零值，使用组大小256压缩缩放
专家量化：HQQ 2位，组大小16，压缩零值，使用组大小128压缩缩放