约束条件

• 在20t24g 香橙派aipro上部署DeepSeek-R1-Distill-Qwen-7B模型
• 需要修改权重目录下的config.json文件，"torch_dtype"字段改为"float16", "max_position_embedding"字段改为4096
• 由于此硬件为单卡，仅支持TP=1

权重

权重下载

• DeepSeek-R1-Distill-Qwen-7B

量化权重生成（可选，二选一）

魔乐社区下载量化权重(推荐)

量化权重下载

• DeepSeek-R1-Distill-Qwen-7B-W8A8-OrangePi

本地部署w8a8量化

• 使用此方法需要另外准备一台Atlas 800I A2或Atlas 300I DUO，转换成功后需把权重转移至香橙派上

• 生成量化权重依赖msModelSlim工具，安装方式见此README

• W8A8量化权重请使用以下指令生成

# 设置CANN包的环境变量
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 关闭虚拟内存
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:False
# 进入atb-models目录
cd ${ATB_SPEED_HOME_PATH}
# DeepSeek-R1-Distill-Qwen-7B量化，无回退层，antioutlier使用m4算法配置，使用min-max量化方式，校准数据集使用50条BoolQ数据，在NPU上进行运算
python3 msit/msmodelslim/example/Qwen/quant_qwen.py --model_path $ORG --save_directory $MODEL --calib_file msit/msmodelslim/example/common/boolq.jsonl --w_bit 8 --a_bit 8 --device_type npu --disable_names "lm_head" --anti_method m4

• 把转换成功的权重转移至香橙派

新建环境

1.1 安装CANN

• CANN-kernels下载链接
• CANN-toolkit下载链接
• 安装顺序：先安装toolkit 再安装kernel

1.1.1 安装toolkit

• 下载

• 安装

  # 安装toolkit  以arm为例
  chmod +x Ascend-cann-toolkit_${version}_linux-aarch64.run
  ./Ascend-cann-toolkit_${version}_linux-aarch64.run --install
  source /usr/local/Ascend/ascend-toolkit/set_env.sh

1.1.2 安装kernel

• 下载

• 根据芯片型号选择对应的安装包

• 安装

  chmod +x Ascend-cann-kernels-*_${version}_linux.run
  ./Ascend-cann-kernels-*_${version}_linux.run --install

1.1.3 安装加速库

• 下载加速库
• 下载链接。

• 将文件放置在${working_dir}路径下

• 安装

  chmod +x Ascend-cann-nnal_*_linux-*.run
  ./Ascend-cann-nnal_*_linux-*.run --install --install-path=${working_dir}
  source ${working_dir}/nnal/atb/set_env.sh

• 可以使用uname -a指令查看服务器是x86还是aarch架构

• 可以使用以下指令查看abi是0还是1

  python -c "import torch; print(torch.compiled_with_cxx11_abi())"

  • 若输出结果为True表示abi1，False表示abi0

1.2 安装PytorchAdapter

先安装torch 再安装torch_npu

1.2.1 安装torch

• 下载

  包名
  torch-2.1.0-cp310-cp10-linux_aarch64.whl
  ...

  • 根据所使用的环境中的python版本以及cpu类型，选择对应版本的torch安装包。

• 安装

  # 安装torch 2.1.0 的python 3.10 的arm版本为例
  pip install torch-2.1.0-cp310-cp310-linux_aarch64.whl

1.2.2 安装torch_npu

下载PyTorch Adapter，安装方法：

• 安装选择与torch版本以及python版本一致的npu_torch版本

# 安装 torch_npu，以 torch 2.1.0，python 3.10 的版本为例
tar -zxvf pytorch_v2.1.0_py310.tar.gz
pip install torch*_aarch64.whl

1.3 安装开源软件依赖

| 默认依赖 | requirement.txt |

• 开源软件依赖请使用下述命令进行安装：

  pip install -r ./requirements.txt

1.4 安装模型仓

使用编译好的包进行安装

• 下载编译好的包

  • 下载链接-abi0
  • 下载链接-abi0

  包名
  Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch1.11.0-abi0.tar.gz
  Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch2.1.0-abi1.tar.gz
  ...

• 将文件放置在${working_dir}路径下

• 解压

  cd ${working_dir}
  mkdir MindIE-LLM
  cd MindIE-LLM
  tar -zxvf ../Ascend-mindie-atb-models_*_linux-*_torch*-abi*.tar.gz

• 安装atb_llm whl包

  cd ${working_dir}/MindIE-LLM
  # 首次安装
  pip install atb_llm-0.0.1-py3-none-any.whl
  # 更新
  pip install atb_llm-0.0.1-py3-none-any.whl --force-reinstall

纯模型推理

对话测试

进入llm_model路径

cd $ATB_SPEED_HOME_PATH

执行对话测试

python   -m examples.run_fa_edge \
         --model_path ${权重路径} \
         --input_text 'What is deep learning?' \
         --max_output_length 20 \
         --is_chat_model \

声明

• 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷，华为不承担任何责任。
• 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。