模型描述： 该模型是一个基于 DistilBERT 在 SST-2 上进行微调后，使用 [optimum-intel] 进行动态量化的模型。
这需要安装 Optimum：
pip install optimum[neural-compressor]
要加载量化模型并使用 Transformers pipelines 进行推理，您可以按以下步骤操作：
from transformers import AutoTokenizer, pipeline
from optimum.intel import INCModelForSequenceClassification
model_id = "echarlaix/distilbert-base-uncased-finetuned-sst-2-english-int8-dynamic"
model = INCModelForSequenceClassification.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
cls_pipe = pipeline("text-classification", model=model, tokenizer=tokenizer)
text = "He's a dreadful magician."
outputs = cls_pipe(text)