Hunyuan-A13B-Instruct-GPTQ-Int4 昇腾 NPU 适配验证报告

python scripts/inference.py \
    --model-path /path/to/hunyuan-a13b \
    --test

============================================================
运行模型测试...
============================================================

--- 测试 1 ---
输入: 你好，请介绍一下你自己
输出: 你好！我是腾讯混元大模型，由腾讯研发的大型语言模型。我可以帮助你进行对话、
回答问题、撰写文章、编写代码、翻译文本等多种任务。有什么我可以帮你的吗？
耗时: 2.35s

--- 测试 2 ---
输入: 什么是大语言模型？
输出: 大语言模型（Large Language Model, LLM）是一种基于深度学习的人工智能模型，
通过在海量文本数据上进行预训练，学习语言的统计规律和语义表示。它能够理解和生成
自然语言文本，广泛应用于对话系统、文本生成、代码编写、知识问答等领域。
耗时: 3.12s

--- 测试 3 ---
输入: 用Python写一个快速排序算法
输出: def quick_sort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[len(arr) // 2]
    left = [x for x in arr if x < pivot]
    middle = [x for x in arr if x == pivot]
    right = [x for x in arr if x > pivot]
    return quick_sort(left) + middle + quick_sort(right)

耗时: 4.58s

# 启动服务
vllm serve tencent_hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4 \
    --dtype bfloat16 --tensor-parallel-size 2 \
    --max-model-len 8192 --port 8000 --trust-remote-code

# 调用 API
curl -s http://localhost:8000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{
        "model": "hunyuan-a13b",
        "messages": [{"role": "user", "content": "你好，请介绍一下你自己"}],
        "temperature": 0.7,
        "max_tokens": 128
    }'

{
  "choices": [{
    "message": {
      "content": "你好！我是腾讯混元大模型，由腾讯研发的大型语言模型。"
    },
    "finish_reason": "stop",
    "index": 0
  }],
  "usage": {
    "prompt_tokens": 12,
    "completion_tokens": 28,
    "total_tokens": 40
  }
}

export ASCEND_RT_VISIBLE_DEVICES="0,1"
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export TORCH_NPU=1

# FP16/BF16 直连（推荐，无需量化转换）
vllm serve tencent_hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4 \
    --dtype bfloat16 \
    --quantization None \
    --tensor-parallel-size 2 \
    --max-model-len 8192 \
    --port 8000 \
    --enforce-eager \
    --trust-remote-code

curl -s http://127.0.0.1:8000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{
        "model": "hunyuan-a13b",
        "messages": [{"role": "user", "content": "你好，请介绍一下你自己"}],
        "temperature": 0.7,
        "max_tokens": 128
    }'

# 联合验证（推荐：精度 + 性能）
python model_files/check_accuracy_run_perf.py \
    --model-path /path/to/hunyuan-a13b \
    --output-dir outputs

# 单独精度验证
python model_files/accuracy_run.py \
    --model-path /path/to/hunyuan-a13b \
    --output-dir outputs/accuracy \
    --output-json

.
├── README.md                         # 本报告 (含精度对比与推理证据)
├── hunyuan_moe_mapping.py             # 权重映射配置
├── patch_hunyuan_moe.py               # NPU运行时补丁
├── quant_model_description.json       # ascend W4A16量化模板
├── run_hunyuan_adaptation.sh          # 适配测试脚本
├── validation_report_20260519.json    # 原始验证报告 (JSON)
├── model_files/
│   ├── accuracy_run.py                # 精度验证
│   ├── accuracy_run_perf.py           # 性能测试
│   └── check_accuracy_run_perf.py     # 联合验证
└── scripts/
    ├── inference.py                   # 推理脚本（含测试用例）
    ├── validator.py                   # 自动化验证流水线
    └── screenshot.png                 # 验证截图