将权重加载到MindSpore Transformers网络仓，并使用vllm-MindSpore Plugin进行部署，基于AISBench评测工具 gsm8k_gen_0_shot_cot_str 任务和 ceval_gen_0_shot_str 任务，评测结果如下：
| 模型 | gsm8k | ceval-average | ceval-weighted |
|---|---|---|---|
| GLM-4-32B-0414 bf16 | 84.08 | 75.02 | 75.19 |
| GLM-4-32B-0414 a8w8 | 83.17 | 75.29 | 75.26 |