MAGI-1是Sand AI开源的全球首个自回归视频生成大模型,采用自回归架构,通过逐块预测视频序列生成流畅自然的视频,支持无限扩展和一镜到底的长视频生成。生成的视频动作流畅且细节逼真,具备可控生成能力,可通过分块提示实现平滑场景转换和细粒度控制。
通过MindIE SD推理适配,实现了MAGI-1(24B)模型在昇腾上的高性能推理。主要使用了FA长序列场景下的高性能模式和使能多种融合算子,执行720px × 1280px × 96f的视频生成(step=8),耗时162s
# 增加软件包可执行权限,{version}表示软件版本号,{arch}表示CPU架构,{soc}表示昇腾AI处理器的版本。
chmod +x ./Ascend-cann-toolkit_{version}_linux-{arch}.run
chmod +x ./Ascend-cann-kernels-{soc}_{version}_linux.run
# 校验软件包安装文件的一致性和完整性
./Ascend-cann-toolkit_{version}_linux-{arch}.run --check
./Ascend-cann-kernels-{soc}_{version}_linux.run --check
# 安装
./Ascend-cann-toolkit_{version}_linux-{arch}.run --install
./Ascend-cann-kernels-{soc}_{version}_linux.run --install
# 设置环境变量
source /usr/local/Ascend/ascend-toolkit/set_env.sh# 增加软件包可执行权限,{version}表示软件版本号,{arch}表示CPU架构。
chmod +x ./Ascend-mindie_${version}_linux-${arch}.run
./Ascend-mindie_${version}_linux-${arch}.run --check
# 方式一:默认路径安装
./Ascend-mindie_${version}_linux-${arch}.run --install
# 设置环境变量
cd /usr/local/Ascend/mindie && source set_env.sh
# 方式二:指定路径安装
./Ascend-mindie_${version}_linux-${arch}.run --install-path=${AieInstallPath}
# 设置环境变量
cd ${AieInstallPath}/mindie && source set_env.sh下载 pytorch_v{pytorchversion}_py{pythonversion}.tar.gz
tar -xzvf pytorch_v{pytorchversion}_py{pythonversion}.tar.gz
# 解压后,会有whl包
pip install torch_npu-{pytorchversion}.xxxx.{arch}.whl| Models | 🤗 Huggingface |
|---|---|
| MAGI-1 | Download |
git clone https://modelers.cn/MindIE/MAGI-1.gitcd MAGI-1
pip install -r requirements.txt修改/example/24B/24B_base_config.json中的"load","t5_pretrained"和"vae_pretrained"的路径
执行命令:
执行推理脚本
bash example/24B/run.shNPU端到端性能和GPU进行了对比,平均每卡的吞吐达到x GPU A800。性能测试如下:
| 硬件形态 | 分辨率 | GPU数(NPU数) | 迭代次数 | 端到端耗时 | 单卡吞吐(fps/p) |
|---|---|---|---|---|---|
| Atlas 800T A2(64G) | 720px × 1280px × 96f | 8 | 8 | 162s | 0.07407 |