GLM-4-9B-0414-gs-A8W8:可用于大语言模型的部署与性能评测，支持将权重加载到MindSpore Transformers网络仓并通过vllm-MindSpore Plugin部署，提供AISBench评测工具在gsm8k和ceval任务上的精度对比数据。【此简介由AI生成】

数据集精度

将权重加载到MindSpore Transformers网络仓，并使用vllm-MindSpore Plugin进行部署，基于AISBench评测工具的gsm8k_gen_0_shot_cot_str任务和ceval_gen_0_shot_str任务，评测结果如下：

模型	gsm8k	ceval	ceval-weighted
GLM-4-9B-0414 bf16	79.23	65.16	65.23
GLM-4-9B-0414 a8w8	79.83	64.27	64.41