将权重加载到MindSpore Transformers网络仓，并使用vLLM-MindSpore Plugin进行部署，基于AISBench评测工具 gsm8k_gen_0_shot_cot_chat_prompt 任务和 ceval_gen_0_shot_cot_chat_prompt 任务，输入长度4K，输出长度32K，评测结果如下：
| 模型 | gsm8k | ceval-average | ceval-weighted |
|---|---|---|---|
| Qwen3-32B bf16 | 96.21 | 89.57 | 88.86 |
| Qwen3-32B a8w8 | 95.98 | 89.41 | 88.78 |