Whisper Large V3 Turbo 昇腾910B部署指南

# 下载并安装CANN工具包
# 参考华为官方文档: https://www.hiascend.com/software/cann

# 验证NPU状态
npu-smi info

# 验证CANN环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh

# 安装Docker (如果未安装)
sudo apt-get update
sudo apt-get install -y docker.io

# 安装NPU Docker运行时
# 参考华为官方文档配置NPU设备映射

whisper-large-v3-turbo/
├── api/
│   ├── main.py              # FastAPI主服务
│   ├── model_loader.py      # 模型加载器
│   └── inference.py         # 推理引擎
├── config/
│   ├── config.yaml          # 服务配置
│   └── model_config.yaml    # 模型配置
├── scripts/
│   ├── build.sh             # Docker构建脚本
│   ├── deploy.sh            # 部署脚本
│   └── download_model.sh    # 模型下载脚本
├── Dockerfile               # Docker构建文件
├── requirements.txt         # Python依赖
└── README.md               # 本文档

# 进入项目目录
cd whisper-large-v3-turbo

# 构建镜像
docker build -t whisper-turbo-ascend:latest .

# 或使用构建脚本
./scripts/build.sh

# 使用本地模型（推荐）- 使用NPU 0 (davinci0)
docker run -d \
  --name whisper-turbo-api \
  --device=/dev/davinci0 \
  --restart=unless-stopped \
  -p 8001:8000 \
  -v /data0/workspace:/app/models \
  -e LOCAL_MODEL_PATH=/app/models/whisper-large-v3-turbo \
  -e NPU_VISIBLE_DEVICES=0 \
  whisper-turbo-ascend:latest

# 生产环境运行（推荐）
docker run -d \
  --name whisper-turbo-api \
  --device=/dev/davinci0 \
  --restart=unless-stopped \
  -p 8001:8000 \
  --cpus="8" \
  --memory="16g" \
  -v /data0/workspace:/app/models \
  -v /data/logs/whisper:/app/logs \
  -e LOCAL_MODEL_PATH=/app/models/whisper-large-v3-turbo \
  -e NPU_VISIBLE_DEVICES=0 \
  -e WORKERS=4 \
  -e MAX_BATCH_SIZE=8 \
  whisper-turbo-ascend:latest

# 如果不挂载模型，将从AtomGit自动下载
docker run -d \
  --name whisper-turbo-api \
  --device=/dev/davinci0 \
  -p 8001:8000 \
  -e NPU_VISIBLE_DEVICES=0 \
  whisper-turbo-ascend:latest

# 检查容器状态
docker ps | grep whisper-turbo-api

# 查看日志
docker logs -f whisper-turbo-api

# 健康检查
curl http://localhost:8001/health

curl -X POST "http://localhost:8001/v1/audio/transcriptions" \
  -H "Content-Type: multipart/form-data" \
  -F "file=@audio.mp3" \
  -F "model=whisper-large-v3-turbo" \
  -F "language=zh" \
  -F "response_format=json"

{
  "text": "这是转录的文本内容",
  "language": "zh"
}

curl -X POST "http://localhost:8001/v1/audio/translations" \
  -H "Content-Type: multipart/form-data" \
  -F "file=@audio.mp3" \
  -F "model=whisper-large-v3-turbo"

{
  "text": "This is the translated text in English"
}

{
  "files": [
    {"file": "base64_encoded_audio1", "language": "zh"},
    {"file": "base64_encoded_audio2", "language": "en"}
  ],
  "model": "whisper-large-v3-turbo"
}

{
  "status": "healthy",
  "model_loaded": true,
  "npu_available": true,
  "version": "1.0.0"
}

# config/config.yaml
model:
  device: "npu"
  dtype: "float16"
  batch_size: 8
  max_audio_length: 30  # 秒
  chunk_length: 30      # 秒
  num_workers: 4

api:
  workers: 4
  max_concurrent_requests: 32
  timeout: 300
  max_request_size: 100MB

# Docker资源限制
--cpus="8"              # CPU核心数
--memory="16g"          # 内存限制
--device=/dev/davinci0  # NPU设备

# 日志级别: DEBUG, INFO, WARNING, ERROR
-e LOG_LEVEL=INFO

# 日志目录挂载
-v /data/logs/whisper:/app/logs

# 模型目录挂载（加速启动）
-v /data/models/whisper:/app/models

# 检查NPU状态
npu-smi info

# 检查设备映射
ls -l /dev/davinci*

# 检查CANN环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh

# 检查模型文件
ls -lh /app/models/

# 检查磁盘空间
df -h

# 查看详细日志
docker logs whisper-turbo-api

# 检查NPU利用率
npu-smi info

# 调整批处理大小
# 修改 config/config.yaml 中的 batch_size

# 检查内存使用
docker stats whisper-turbo-api

#!/bin/bash
# scripts/health_check.sh
response=$(curl -s http://localhost:8001/health)
if [[ $response == *"healthy"* ]]; then
    echo "Service is healthy"
    exit 0
else
    echo "Service is unhealthy"
    exit 1
fi

# 停止服务
docker stop whisper-turbo-api

# 更新模型文件
# 将新模型放置到 /data/models/whisper/

# 重启服务
docker start whisper-turbo-api

# 重新构建镜像
docker build -t whisper-turbo-ascend:latest .

# 滚动更新（零停机）
docker stop whisper-turbo-api
docker rm whisper-turbo-api
docker run -d [原配置参数] whisper-turbo-ascend:latest