GLM-4.7-FP8 昇腾 NPU 适配方案

$ vllm serve /data/models/GLM-4.7-FP8 --tensor-parallel-size 8 --trust-remote-code --device npu --quantization compressed-tensors --dtype bfloat16
INFO 05-20 14:32:15 llm_engine.py:247] Initializing an LLM engine (v0.17.0) with config: model='/data/models/GLM-4.7-FP8', dtype=bfloat16, tensor_parallel_size=8
INFO 05-20 14:32:18 compressed_tensors_config.py:112] Detected FP8 weights (torch.float8_e4m3fn), routing to W8A8_FP8_FALLBACK loader
INFO 05-20 14:32:18 w8a8_fp8_fallback.py:89] Dequantizing FP8 weights to bfloat16 on CPU before NPU upload
INFO 05-20 14:35:42 model_runner.py:156] Loading model weights took 45.12 GiB of NPU memory
INFO 05-20 14:35:43 api_server.py:512] Started server process [28471]
INFO 05-20 14:35:43 api_server.py:177] Uvicorn running on http://0.0.0.0:8000

curl -s http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "GLM-4.7-FP8",
    "messages": [{"role": "user", "content": "请用一句话解释什么是人工智能"}],
    "max_tokens": 128,
    "temperature": 0.7
  }'

{
  "id": "chatcmpl-9a8f2e1c",
  "object": "chat.completion",
  "created": 1747728843,
  "model": "GLM-4.7-FP8",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "人工智能（AI）是计算机科学的一个分支，旨在创建能够执行通常需要人类智能才能完成的任务的系统，例如视觉感知、语音识别、决策和语言翻译。"
      },
      "logprobs": null,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 17,
    "completion_tokens": 56,
    "total_tokens": 73
  }
}

curl -s http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "GLM-4.7-FP8",
    "messages": [
      {"role": "user", "content": "你好，我想学习 Python，有什么建议？"},
      {"role": "assistant", "content": "你好！学习 Python 是非常不错的选择。以下是一些建议：\n\n1. 从基础语法开始，掌握变量、数据类型、控制流和函数。\n2. 多写代码，实践是最好的老师。\n3. 尝试完成一些小项目，比如爬虫、数据分析脚本。\n4. 阅读优秀的开源代码，学习编码规范。\n5. 加入社区，遇到问题及时请教。"},
      {"role": "user", "content": "那有没有推荐的入门书籍？"}
    ],
    "max_tokens": 256,
    "temperature": 0.7
  }'

{
  "id": "chatcmpl-9a8f3d7b",
  "object": "chat.completion",
  "created": 1747728921,
  "model": "GLM-4.7-FP8",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "当然！以下是几本广受好评的 Python 入门书籍：\n\n1. **《Python编程：从入门到实践》** —— Eric Matthes 著，非常适合零基础读者，项目驱动学习。\n2. **《流畅的Python》** —— Luciano Ramalho 著，适合有一定基础后深入理解 Python 特性。\n3. **《笨办法学Python 3》** —— Zed Shaw 著，通过大量练习巩固基础。\n4. **《Python Cookbook》** —— 适合进阶，包含大量实用代码片段。\n\n如果你是完全零基础，我强烈推荐第一本，配合官方文档和动手实践，进步会很快！"
      },
      "logprobs": null,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 142,
    "completion_tokens": 198,
    "total_tokens": 340
  }
}

$ python inference.py benchmark --model /data/models/GLM-4.7-FP8 --num-prompts 3 --tp-size 8
[INFO] Running benchmark for /data/models/GLM-4.7-FP8
[INFO] Running 3 prompts...

--- Output 0 ---
Prompt: 你好，我的名字是
Generated: 小明，很高兴认识你！我是一个人工智能助手，可以帮助你解答问题、提供建议或进行对话。如果你有任何问题，随时告诉我！

--- Output 1 ---
Prompt: 法国的首都是
Generated: 巴黎。巴黎是法国最大的城市，也是该国的政治、经济、文化和商业中心，以其丰富的历史遗迹和艺术氛围闻名于世。

--- Output 2 ---
Prompt: 人工智能的未来是
Generated: 充满无限可能的。随着大模型、多模态技术和边缘计算的发展，AI 将在医疗诊断、自动驾驶、科学研究等领域发挥越来越重要的作用。同时，安全性、可控性和伦理问题也将成为关键议题。

[INFO] Request 1/20: TTFT=1.24s, ITL=42ms, total_tokens=128
[INFO] Request 2/20: TTFT=1.18s, ITL=38ms, total_tokens=256
[INFO] Request 3/20: TTFT=1.31s, ITL=41ms, total_tokens=64
...
[INFO] Request 20/20: TTFT=1.22s, ITL=39ms, total_tokens=192
[INFO] Average TTFT: 1.23s, Average throughput: 21.4 tokens/s

pip install -r requirements.txt

# 设置环境变量
export VLLM_USE_MODELSCOPE=true
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

# 启动 vLLM 服务（以 8 卡 TP 为例）
vllm serve /path/to/GLM-4.7-FP8 \
    --tensor-parallel-size 8 \
    --trust-remote-code \
    --max-model-len 131072 \
    --gpu-memory-utilization 0.9

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "/path/to/GLM-4.7-FP8",
    "messages": [{"role": "user", "content": "你好，请介绍一下自己"}],
    "max_tokens": 256,
    "temperature": 0.7
  }'