Moonhalf383/qwen3.5-0.8b-reports
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Qwen3.5-0.8B 昇腾(Ascend)验证与优化报告

本仓库存放 Qwen/Qwen3.5-0.8B 在昇腾 NPU (vLLM-Ascend) 上运行验证与性能优化的结果报告。

文件说明

文件说明
Qwen3.5-0.8B-validation_report.json昇腾 NPU 部署验证报告(环境预检 / 服务启动 / 功能验证)
qwen3.5-0.8b-optimization-result-20260905.md性能优化结果对比报告(并发 200,吞吐 +57.0%,平均时延 -24.0%)

关键结论

  • 模型可在昇腾 Ascend910 上通过 vLLM-Ascend 0.18.0 正常运行(多模态混合线性注意力架构)
  • 优化方案(图编译 + Prefix Caching + --max-num-batched-tokens 8192)在并发 200 下:
    • 输出吞吐: 720.79 → 1131.69 tok/s (+57.0%)
    • 平均时延: 22.1s → 16.8s (-24.0%)
    • P99 时延: 28.0s → 20.1s (-28.4%)

生成时间: 2026-09-05