HuggingFace镜像/granite-4.0-h-tiny-w4a16-llmcompressor
模型介绍
文件和版本
分析

granite-4.0-h-tiny-w4a16-llmcompressor

模型概述

  • 模型架构: GraniteMoeHybridForCausalLM
    • 输入: 文本
    • 输出: 文本
  • 源模型: granite-4.0-h-tiny
  • 支持硬件: AMD EPYC(CPU 推理)
  • 推荐操作系统: Linux
  • 推理引擎: vLLM v0.29.0
  • 量化框架: LLM Compressor v0.13.0
  • 量化方法: 4 比特仅权重量化(W4A16)
  • 兼容技术栈:
    • ZenDNN v6.1.0
    • ZenTorch v2.13.0.0
    • PyTorch v2.13.0.0
    • LLM Compressor v0.13.0
    • vLLM v0.29.0
  • 发布工具: LLM Compressor v0.13.0

这是由 AMD 使用 LLM Compressor(compressed-tensors)创建的 granite-4.0-h-tiny 量化版本,面向经 ZenDNN 优化的 CPU 推理。

量化

该模型基于 granite-4.0-h-tiny,使用 LLM Compressor 的 GPTQ 算法完成量化,将磁盘上的模型权重从 12.9 GiB 降低到 3.6 GiB(约减少 72%)。

  • 方法: 4 比特仅权重量化(W4A16)
  • 配置: compressed-tensors, num_bits=4, type=int, symmetric=true, group_size=128, actorder=static
  • 权重: INT4(4 比特整数,对称,按组),以 pack-quantized 格式存储
  • 激活值: BF16(未量化)
  • 分组大小: 128
  • 校准数据: 来自 HuggingFaceH4/ultrachat_200k 的 128 个样本,序列长度 2048

granite-4.0-h-tiny 是一个 Mamba-MoE 混合模型:在 40 层中,4 层为全注意力块,其余 36 层为 Mamba(线性注意力)块,并且每一层都包含一个 64 专家 MoE 块(top-6 路由)和一个共享 MLP。

  • 已量化: 每一层的全部 64 个路由专家(block_sparse_moe.experts.*.{gate,up,down}_proj)、共享 MLP(shared_mlp.{input,output}_linear)、Mamba 投影(mamba.{in,out}_proj),以及 4 个全注意力层中的 self_attn.{q,k,v,o}_proj。
  • 保持 BF16: MoE 路由器(block_sparse_moe.router)、Mamba 状态空间中非 Linear 层的部分(conv1d、A_log、D、dt_bias 以及带门控的 mamba.norm)、lm_head、embed_tokens 和层归一化。

两个细节使这一方案可行。模型在 load_context() 中加载,这对应 LLM Compressor v0.13 的 MoE 线性化路径:它将融合后的专家张量暴露为独立的 Linear 子模块,使 GPTQ 能够按专家构建 Hessian,无需手动替换模块。路由器被跳过,因为它是一个很小的 Linear,其 logits 决定专家分配,4 比特舍入误差可能改变 top-k 选择,进而改变实际运行的专家。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from datasets import load_dataset

from llmcompressor import oneshot
from llmcompressor.modifiers.quantization.gptq import GPTQModifier
from llmcompressor.utils import load_context

model_id = "ibm-granite/granite-4.0-h-tiny"
output_dir = "./granite-4.0-h-tiny-w4a16-llmcompressor"
CALIB_SIZE = 128
MAX_SEQ_LENGTH = 2048

# Step 1: Load the BF16 model inside load_context(), which linearizes the MoE
# experts so GPTQ can target them as ordinary Linear modules.
with load_context(AutoModelForCausalLM):
    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        torch_dtype=torch.bfloat16,
        device_map="cpu",
        trust_remote_code=True,
    )
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)

# Step 2: Build the GPTQ calibration set.
ds = load_dataset("HuggingFaceH4/ultrachat_200k", split=f"train_sft[:{CALIB_SIZE}]")
ds = ds.map(
    lambda ex: {"text": "\n".join(m["content"] for m in ex["messages"] if m.get("content"))},
    remove_columns=ds.column_names,
)
if not getattr(tokenizer, "pad_token", None):
    tokenizer.pad_token = tokenizer.eos_token
calib_ds = ds.map(
    lambda ex: tokenizer(
        ex["text"], truncation=True, max_length=MAX_SEQ_LENGTH, add_special_tokens=False
    ),
    remove_columns=["text"],
)

# Step 3: Define the W4A16 GPTQ recipe. Experts, shared MLP, Mamba projections
# and attention are all quantized; only lm_head and the MoE router are skipped.
recipe = GPTQModifier(
    scheme="W4A16",
    targets=["Linear"],
    ignore=["lm_head", "re:.*block_sparse_moe.router"],
)

# Step 4: One-shot quantize with calibration data and save in
# compressed-tensors format.
oneshot(
    model=model,
    dataset=calib_ds,
    recipe=recipe,
    max_seq_length=MAX_SEQ_LENGTH,
    tokenizer=tokenizer,
    output_dir=output_dir,
    trust_remote_code_model=True,
)

# Smoke test
inputs = tokenizer("What are we having for dinner?", return_tensors="pt")
with torch.no_grad():
    output = model.generate(**inputs, max_new_tokens=30)
print(tokenizer.decode(output[0], skip_special_tokens=True))

快速入门

结合 vLLM 使用

from vllm import LLM, SamplingParams

model = LLM(
    model="amd/granite-4.0-h-tiny-w4a16-llmcompressor",
    dtype="bfloat16",
    trust_remote_code=True,
)

sampling_params = SamplingParams(temperature=0.7, max_tokens=256)
outputs = model.generate(["Hello, how are you?"], sampling_params)
print(outputs[0].outputs[0].text)

要求

torch==2.13.0.0
zentorch==2.13.0.0
vllm==0.29.0
llmcompressor==0.13.0

OpenMP 配置

为获得最佳性能,请使用 libomp.so(LLVM OpenMP)或 libiomp5.so(Intel OpenMP)设置 LD_PRELOAD:

# Using LLVM OpenMP (llvmopenmp)
export LD_PRELOAD=$(find /path/to/env -name "libomp.so" | head -1)

# Or using Intel OpenMP (libiomp)
export LD_PRELOAD=$(find /path/to/env -name "libiomp5.so" | head -1)

注意: 在启动 vLLM 或任何推理脚本之前,设置 LD_PRELOAD。

评估

该模型在标准基准测试上,使用 lm-evaluation-harness 与 vLLM 引擎,相较于 BF16(未量化)基线进行了评估。

基准测试BF16 基线W4A16(本模型)恢复率
GSM8K (5-shot)0.82030.797697.23%

评估命令

lm_eval \
    --model vllm \
    --model_args pretrained=amd/granite-4.0-h-tiny-w4a16-llmcompressor,dtype=bfloat16 \
    --tasks gsm8k \
    --batch_size auto \
    --trust_remote_code \
    --num_fewshot 5 \
    --apply_chat_template \
    --log_samples \
    --gen_kwargs "max_gen_toks=2048" \
    --output_path .

局限性

  • 版本锁定: 该模型兼容 ZenDNN v6.1.0 / ZenTorch v2.13.0.0 / PyTorch v2.13.0.0。在其他版本上可能无法正常加载。
  • 仅支持 CPU: 该模型通过 ZenDNN 针对 AMD EPYC CPU 推理进行了优化,不适用于 GPU 推理。
  • 混合架构: Mamba 状态空间内部模块(conv1d、A_log、D、dt_bias、门控归一化)不是线性层,并保留为 BF16,因此 INT4 节省适用于投影层、专家模块和注意力层,而非完整的循环路径。
  • 精度取舍: 在 7B 参数、4 比特权重下,量化会使 GSM8K 准确率下降约 2.3 个百分点(准确率恢复率为 97.23%)。如果精度比模型体积更重要,该模型的 W8A8 变体可恢复更高的精度。

许可证

本模型在来源模型相同许可证下分发。详情请参阅 LICENSE 文件。

衍生修改版权所有 (c) 2026 Advanced Micro Devices, Inc. 保留所有权利。