这是由 AMD 使用 LLM Compressor(compressed-tensors)创建的 granite-4.0-h-tiny 量化版本,面向经 ZenDNN 优化的 CPU 推理。
该模型基于 granite-4.0-h-tiny,使用 LLM Compressor 的 GPTQ 算法完成量化,将磁盘上的模型权重从 12.9 GiB 降低到 3.6 GiB(约减少 72%)。
compressed-tensors, num_bits=4, type=int, symmetric=true, group_size=128, actorder=staticpack-quantized 格式存储HuggingFaceH4/ultrachat_200k 的 128 个样本,序列长度 2048granite-4.0-h-tiny 是一个 Mamba-MoE 混合模型:在 40 层中,4 层为全注意力块,其余 36 层为 Mamba(线性注意力)块,并且每一层都包含一个 64 专家 MoE 块(top-6 路由)和一个共享 MLP。
block_sparse_moe.experts.*.{gate,up,down}_proj)、共享 MLP(shared_mlp.{input,output}_linear)、Mamba 投影(mamba.{in,out}_proj),以及 4 个全注意力层中的 self_attn.{q,k,v,o}_proj。block_sparse_moe.router)、Mamba 状态空间中非 Linear 层的部分(conv1d、A_log、D、dt_bias 以及带门控的 mamba.norm)、lm_head、embed_tokens 和层归一化。两个细节使这一方案可行。模型在 load_context() 中加载,这对应 LLM Compressor v0.13 的 MoE 线性化路径:它将融合后的专家张量暴露为独立的 Linear 子模块,使 GPTQ 能够按专家构建 Hessian,无需手动替换模块。路由器被跳过,因为它是一个很小的 Linear,其 logits 决定专家分配,4 比特舍入误差可能改变 top-k 选择,进而改变实际运行的专家。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from datasets import load_dataset
from llmcompressor import oneshot
from llmcompressor.modifiers.quantization.gptq import GPTQModifier
from llmcompressor.utils import load_context
model_id = "ibm-granite/granite-4.0-h-tiny"
output_dir = "./granite-4.0-h-tiny-w4a16-llmcompressor"
CALIB_SIZE = 128
MAX_SEQ_LENGTH = 2048
# Step 1: Load the BF16 model inside load_context(), which linearizes the MoE
# experts so GPTQ can target them as ordinary Linear modules.
with load_context(AutoModelForCausalLM):
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="cpu",
trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
# Step 2: Build the GPTQ calibration set.
ds = load_dataset("HuggingFaceH4/ultrachat_200k", split=f"train_sft[:{CALIB_SIZE}]")
ds = ds.map(
lambda ex: {"text": "\n".join(m["content"] for m in ex["messages"] if m.get("content"))},
remove_columns=ds.column_names,
)
if not getattr(tokenizer, "pad_token", None):
tokenizer.pad_token = tokenizer.eos_token
calib_ds = ds.map(
lambda ex: tokenizer(
ex["text"], truncation=True, max_length=MAX_SEQ_LENGTH, add_special_tokens=False
),
remove_columns=["text"],
)
# Step 3: Define the W4A16 GPTQ recipe. Experts, shared MLP, Mamba projections
# and attention are all quantized; only lm_head and the MoE router are skipped.
recipe = GPTQModifier(
scheme="W4A16",
targets=["Linear"],
ignore=["lm_head", "re:.*block_sparse_moe.router"],
)
# Step 4: One-shot quantize with calibration data and save in
# compressed-tensors format.
oneshot(
model=model,
dataset=calib_ds,
recipe=recipe,
max_seq_length=MAX_SEQ_LENGTH,
tokenizer=tokenizer,
output_dir=output_dir,
trust_remote_code_model=True,
)
# Smoke test
inputs = tokenizer("What are we having for dinner?", return_tensors="pt")
with torch.no_grad():
output = model.generate(**inputs, max_new_tokens=30)
print(tokenizer.decode(output[0], skip_special_tokens=True))from vllm import LLM, SamplingParams
model = LLM(
model="amd/granite-4.0-h-tiny-w4a16-llmcompressor",
dtype="bfloat16",
trust_remote_code=True,
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)
outputs = model.generate(["Hello, how are you?"], sampling_params)
print(outputs[0].outputs[0].text)torch==2.13.0.0
zentorch==2.13.0.0
vllm==0.29.0
llmcompressor==0.13.0为获得最佳性能,请使用 libomp.so(LLVM OpenMP)或 libiomp5.so(Intel OpenMP)设置 LD_PRELOAD:
# Using LLVM OpenMP (llvmopenmp)
export LD_PRELOAD=$(find /path/to/env -name "libomp.so" | head -1)
# Or using Intel OpenMP (libiomp)
export LD_PRELOAD=$(find /path/to/env -name "libiomp5.so" | head -1)注意: 在启动 vLLM 或任何推理脚本之前,设置
LD_PRELOAD。
该模型在标准基准测试上,使用 lm-evaluation-harness 与 vLLM 引擎,相较于 BF16(未量化)基线进行了评估。
| 基准测试 | BF16 基线 | W4A16(本模型) | 恢复率 |
|---|---|---|---|
| GSM8K (5-shot) | 0.8203 | 0.7976 | 97.23% |
lm_eval \
--model vllm \
--model_args pretrained=amd/granite-4.0-h-tiny-w4a16-llmcompressor,dtype=bfloat16 \
--tasks gsm8k \
--batch_size auto \
--trust_remote_code \
--num_fewshot 5 \
--apply_chat_template \
--log_samples \
--gen_kwargs "max_gen_toks=2048" \
--output_path .conv1d、A_log、D、dt_bias、门控归一化)不是线性层,并保留为 BF16,因此 INT4 节省适用于投影层、专家模块和注意力层,而非完整的循环路径。本模型在来源模型相同许可证下分发。详情请参阅 LICENSE 文件。
衍生修改版权所有 (c) 2026 Advanced Micro Devices, Inc. 保留所有权利。