Qwen3是Qwen系列中最新一代的大型语言模型,提供了密集和混合专家(MoE)模型的全面套件。基于广泛的训练,Qwen3在推理、指令遵循、代理功能和多语言支持方面取得了很大的进展,主要具有以下功能:
权重下载
前往下载T18(支持800I A2 w8a8量化)下载适配本模型的镜像包mindie:2.0.T18.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz
docker load -i mindie:2.0.T18.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz(下载的镜像名称与标签)完成加载镜像后,请使用docker images命令确认查找具体镜像名称与标签。
| 组件 | 版本 |
|---|---|
| MindIE | MindIE 2.0.T18 B010 |
| CANN | CANN 8.1.T17 B010 |
| PTA | 7.0.RC1 B100 |
| HDK | HDK 25.0.RC1 B113 |
目前提供的MindIE镜像预置了Qwen3-4B模型推理脚本,无需再额外下载魔乐仓库承载的模型适配代码,直接新建容器即可。
执行以下启动命令(参考): 如果您使用的是root用户镜像(例如从Ascend Hub上取得),并且可以使用特权容器,请使用以下命令启动容器:
docker run -it -d --net=host --shm-size=1g \
--privileged \
--name <container-name> \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
-v /usr/local/sbin:/usr/local/sbin:ro \
-v /path-to-weights:/path-to-weights:ro \
mindie:2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64 bash如果您希望使用自行构建的普通用户镜像,并且规避容器相关权限风险,可以使用以下命令指定用户与设备:
docker run -it -d --net=host --shm-size=1g \
--user mindieuser:<HDK-user-group> \
--name <container-name> \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
-v /usr/local/sbin:/usr/local/sbin:ro \
-v /path-to-weights:/path-to-weights:ro \
mindie:2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64 bash注意,以上启动命令仅供参考,请根据需求自行修改再启动容器,尤其需要注意:
--user,如果您的环境中HDK是通过普通用户安装(例如默认的HwHiAiUser,可以通过id HwHiAiUser命令查看该用户组ID),请设置好对应的用户组,例如用户组1001可以使用HDK,则--user mindieuser:1001,镜像中默认使用的是用户组1000。如果您的HDK是由root用户安装,且指定了--install-for-all参数,则无需指定--user参数。设定容器名称
--name与镜像名称,例如800I A2服务器使用mindie:2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64。设定想要使用的卡号
--device。设定权重挂载的路径,
-v /path-to-weights:/path-to-weights:ro,注意,如果使用普通用户镜像,权重路径所属应为镜像内默认的1000用户,且权限可设置为750。可使用以下命令进行修改:chown -R 1000:1000 /path-to-weights chmod -R 750 /path-to-weights在普通用户镜像中,注意所有文件均在
/home/mindieuser下,请勿直接挂载/home目录,以免宿主机上存在相同目录,将容器内文件覆盖清除。
docker exec -it ${容器名称} bashW8A8量化权重可通过msmodelslim(昇腾压缩加速工具)实现。
git clone https://gitee.com/ascend/msit.gitcd msit/msmodelslim;并在进入的msmodelslim目录下,运行安装脚本 bash install.sh;cd msit/msmodelslim/example/Qwen;vim quant_qwen.py 在文件开头新增两行代码, 新增完后 wq保存import torch_npu
from torch_npu.contrib import transfer_to_npuexport ASCEND_RT_VISIBLE_DEVICES=0
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:False
python3 quant_qwen.py --model_path {浮点权重路径} --save_directory {W8A8量化权重路径} --calib_file ./calib_data/calib_prompt.jsonl --anti_calib_file ./calib_data/anti_prompt.jsonl --device_type npu --act_method 3 --trust_remote_code Truetransformers版本升级至4.51.0。
进入atb-models路径, 并打开日志
ATB_SPEED_HOME_PATH默认/usr/local/Ascend/atb-models,以情况而定
cd $ATB_SPEED_HOME_PATH
export MINDIE_LOG_TO_STDOUT=1执行对话测试
torchrun --nproc_per_node 2 \
--master_port 20037 \
-m examples.run_pa \
--model_path {权重路径} \
--trust_remote_code
--max_output_length 256进入ModelTest路径
cd $ATB_SPEED_HOME_PATH/tests/modeltest/运行测试脚本
bash run.sh pa_[data_type] performance [case_pair] [batch_size] ([prefill_batch_size]) [model_name] ([is_chat_model]) (lora [lora_data_path]) [weight_dir] ([trust_remote_code]) [chip_num] ([parallel_params]) ([max_position_embedding/max_sequence_length])具体执行batch=1, 输入长度256, 输出长度256用例的2卡并行性能测试命令为:
bash run.sh pa_bf16 performance [[256,256]] 1 qwen ${weight_path} 2注:ModelTest为大模型的性能和精度提供测试功能。使用文档请参考
${ATB_SPEED_HOME_PATH}/tests/modeltest/README.md
vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json{
...
"ServerConfig" :
{
...
"port" : 1040, #自定义
"managementPort" : 1041, #自定义
"metricsPort" : 1042, #自定义
...
"httpsEnabled" : false,
...
},
"BackendConfig": {
...
"npuDeviceIds" : [[0,1]],
...
"ModelDeployConfig":
{
"truncation" : false,
"ModelConfig" : [
{
...
"modelName" : "qwen3",
"modelWeightPath" : "/data/datasets/Qwen3-4B",
"worldSize" : 2,
...
}
]
},
}
}cd /usr/local/Ascend/mindie/latest/mindie-service/bin
./mindieservice_daemoncurl -X POST 127.0.0.1:1040/v1/chat/completions \
-d '{
"messages": [
{"role": "system", "content": "you are a helpful assistant."},
{"role": "user", "content": "How many r are in the word \"strawberry\""}
],
"max_tokens": 256,
"stream": false,
"do_sample": true,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"model": "qwen3"
}'注: 服务化推理的更多信息请参考MindIE Service用户指南