golfxiao/anti_fraud on Ascend NPU

1. 简介

本文档记录 golfxiao/anti_fraud (Qwen2-1.5B-Instruct) 在 Ascend NPU 环境的快速部署与验证结果。该模型为反欺诈分析专用模型，基于 Qwen2 架构，参数量 1.5B。

相关获取地址：

• 权重下载地址（ModelScope）：https://modelscope.cn/models/golfxiao/anti_fraud
• 推理框架：vLLM 0.18.0 + Ascend

2. 验证环境

• NPU：2 逻辑卡 (Chip 0, Chip 1)
• 模型路径：/opt/atomgit/golfxiao/anti_fraud/model/golfxiao/anti_fraud
• 服务端口：8000

3. 服务启动

已验证通过的启动命令：

vllm serve /path/to/golfxiao/anti_fraud \
  --dtype bfloat16 \
  --port 8000 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.9 \
  --trust-remote-code

4. Smoke 验证

基础检查：

# 检查模型列表
curl -sf http://127.0.0.1:8000/v1/models

# 发送推理请求
curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "/path/to/golfxiao/anti_fraud",
    "messages": [{"role": "user", "content": "请分析交易是否存在欺诈风险"}],
    "temperature": 0,
    "max_tokens": 64
  }'

验证结果：

• /v1/models 返回 200
• /v1/chat/completions 返回 200
• 模型可正常生成反欺诈分析结果

5. 性能参考

测试条件：单请求，max_tokens=64，连续10轮。

6. 精度评测

使用 3 个反欺诈相关测试用例进行精度验证。

7. 注意事项

• 使用 ModelScope SDK 下载模型：pip install modelscope
• 模型为 bfloat16 精度，启动时需指定 --dtype bfloat16
• 建议设置 --max-model-len 4096 以控制显存占用
• 本模型为 1.5B 参数规模，单卡 Ascend910 可流畅运行