Baichuan-Omni-1.5是Baichuan-Omni系列中最新、性能最好的模型。该模型以端到端的方式进行训练和推理。与Baichuan-Omni相比，该模型在文本/图像/音频/视频理解和文本/音频生成方面有了显著改进，并支持可控实时语音对话和多模式实时交互等新功能。
前往昇腾社区/开发资源下载适配本模型的镜像包：1.0.0-800I-A2-py311-openeuler24.03-lts
完成之后，请使用docker images命令确认查找具体镜像名称与标签。
部署Baichuan-Omni-1d5模型至少需要1台800I A2 32G服务器
自行修改端口等参数，启动样例
docker run -dit -u root \
--name ${容器名} \
-e ASCEND_RUNTIME_OPTIONS=NODRV \
--privileged=true \
-v /home/路径:/home/路径 \
-v /data:/data \
-v /usr/local/Ascend/driver/:/usr/local/Ascend/driver/ \
-v /usr/local/Ascend/firmware/:/usr/local/Ascend/firmware/ \
-v /usr/local/sbin/:/usr/local/sbin \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
--shm-size=100g \
-p ${映射端口}:22 \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
${MindIE 1.0.0 镜像} \
/bin/bashdocker exec -it ${容器名} bash首先需要更改dnf配置文件
vi /etc/dnf/dnf.conf 在其中加一行: sslverify=false
[main]
gpgcheck=1
installonly_limit=3
clean_requirements_on_remove=True
best=True
skip_if_unavailable=False
sslverify=false # 新增之后，用dnf工具安装git
dnf install git最后，通过git clone命令拉取魔乐社区代码
git clone https://modelers.cn/MindIE/Baichuan-Omni-1d5.git如果出现报错server certificate verification failed. CAfile: none CRLfile: none则需要增加一行
git config --global http.sslVerify false目前提供的MindIE镜像预置了 Baichuan-Omni-1d5 模型推理脚本，需将其中的部分代码加入至容器自带的atb-models中
# 将魔乐仓库自带的部分代码拷贝至至容器自带的atb-models中，前者为魔乐仓库的相对路径，可替换为绝对路径
cp -rf Baichuan-Omni-1d5/atb-models /usr/local/Ascend # 重复文件需输入'y'之后回车进行覆盖确认cd /usr/local/Ascend/atb-models
dnf install python-cairo-dev
dnf install cairo-devel
pip install -r requirements/models/requirements_baichuan_omni.txt
git clone https://modelers.cn/Baichuan/Baichuan-Omni-1d5.git"model_type": "baichuan_omni"/usr/local/Ascend/atb-models/examples/models/baichuan_omni/run_pa.sh脚本。目前仅支持纯文本、纯图片、纯视频的场景。需修改对应的变量。注意：QUESTION、IMAGE_PATH、VIDEO_PATH中只能有一个不为空。export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
QUESTION=""
IMAGE_PATH=""
VIDEO_PATH=""bash /usr/local/Ascend/atb-models/examples/models/baichuan_omni/run_pa.sh --run ${权重路径}