1 环境准备

1.1 基本信息

环境配置	配置说明
硬件配置	Atlas 800T A2 910B2(64G)
驱动版本	25.2.3
CANN版本	8.3.RC2
推理框架	vllm-ascend
推理镜像	见文件列表提供的镜像
部署方式	单卡离线推理

1.2 相关依赖版本信息

配套	版本
python	3.11.12
torch	2.7.1
torch_npu	2.7.1.dev20250724
torchaudio	2.7.1
torchvision	0.22.1
vllm	0.11.0rc4
vllm-ascend	0.11.0rc1

测试脚本使用方法(index-tts.tar)

cd /tts-workspace/index-vllm/index-tts-vllm

source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/asdsip/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh
export ASCEND_OPP_KERNEL_PATH=/usr/local/Ascend/ascend-toolkit/8.3.RC1
export TASK_QUEUE_ENABLE=1
export OMP_NUM_THREADS=1 
export CPU_AFFINITY_CONF=1
taskset -c 5-23 python3 model_infer.py

1 环境准备

1.1 基本信息

环境配置	配置说明
硬件配置	Atlas 800T A2 910B2(64G)
驱动版本	25.2.3
CANN版本	8.3.RC2
推理框架	vllm-ascend
推理镜像	见文件列表提供的镜像
部署方式	单卡离线推理

1.2 相关依赖版本信息

配套	版本
python	3.11.12
torch	2.7.1
torch_npu	2.7.1.dev20250724
torchaudio	2.7.1
torchvision	0.22.1
vllm	0.11.0rc4
vllm-ascend	0.11.0rc1

测试脚本使用方法(index-tts.tar)

cd /tts-workspace/index-vllm/index-tts-vllm

source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/asdsip/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh
export ASCEND_OPP_KERNEL_PATH=/usr/local/Ascend/ascend-toolkit/8.3.RC1
export TASK_QUEUE_ENABLE=1
export OMP_NUM_THREADS=1 
export CPU_AFFINITY_CONF=1
taskset -c 5-23 python3 model_infer.py