执行以下命令为自定义下载路径 /mnt/data/Qwen3-VL-30B-A3B-Instruct 添加白名单。
export HUB_WHITE_LIST_PATHS=/mnt/data/Qwen3-VL-30B-A3B-Instruct执行以下命令从魔乐社区下载Qwen3-VL-30B-A3B-Instruct 权重文件至指定路径 /mnt/data/Qwen3-VL-30B-A3B-Instruct 。下载的文件包含模型代码、权重、分词模型和示例代码,占用约 60GB 的磁盘空间,请预留足够空间。
pip install openmind_hub
python
from openmind_hub import snapshot_download
snapshot_download(
repo_id="MindSpore-Lab/Qwen3-VL-30B-A3B-Instruct",
local_dir="/mnt/data/Qwen3-VL-30B-A3B-Instruct",
local_dir_use_symlinks=False
)
exit()Qwen3-VL-30B-A3B-Instruct推理需要 2卡 Atlas 800T/800I A2(64G)服务器服务器(基于BF16权重)。昇思MindSpore提供了Qwen3-VL-30B-A3B-Instruct推理可用的Docker容器镜像,供开发者快速体验。
pkill -9 python
pkill -9 mindie
pkill -9 ray执行以下 Shell 命令,拉取推理容器镜像:
docker pull swr.cn-central-221.ovaijisuan.com/mindsporelab/qwen3vl:20250928执行以下命令创建并启动容器(/mnt/data/Qwen3-VL-30B-A3B-Instruct用于存放权重路径,若没有/mnt盘则要修改):
docker run -it \
--privileged \
--name=Qwen3-VL-30B-A3B-Instruct \
--net=host \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--device=/dev/davinci_manager \
-v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \
-v /usr/local/Ascend/driver/:/usr/local/Ascend/driver/ \
-v /usr/local/sbin:/usr/local/sbin \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /mnt/data/Qwen3-VL-30B-A3B-Instruct/:/mnt/data/Qwen3-VL-30B-A3B-Instruct/ \
swr.cn-central-221.ovaijisuan.com/mindsporelab/qwen3vl:20250928 \
/bin/bashimage指定本地路径图片。图片可以提前下载到本地,也可以是网上图片,确保服务器网络正常。
输出英文描述:
msrun --worker_num=2 --local_worker_num=2 --master_port=8118 --log_dir=msrun_log --join=True --cluster_time_out=300 /workspace/mindone/examples/transformers/qwen3_vl/generate_qwen3_vl_moe.py --model_name /mnt/data/Qwen3-VL-30B-A3B-Instruct --image /mnt/data/Qwen3-VL-30B-A3B-Instruct/1.jpg --prompt "Describe this image."输出中文描述:
msrun --worker_num=2 --local_worker_num=2 --master_port=8118 --log_dir=msrun_log --join=True --cluster_time_out=300 /workspace/mindone/examples/transformers/qwen3_vl/generate_qwen3_vl_moe.py --model_name /mnt/data/Qwen3-VL-30B-A3B-Instruct --image /mnt/data/Qwen3-VL-30B-A3B-Instruct/1.jpg --prompt "请描述这张图片"本文档提供的模型代码、权重文件和部署镜像,当前仅限于基于昇思MindSpore AI框架体验部署效果,不支持生产环境部署。相关使用问题请反馈至Issue。 性能优化持续进行中,敬请期待。