HuggingFace镜像/MAGI-1
模型介绍文件和版本分析
下载使用量0

简述

MAGI-1是Sand AI开源的全球首个自回归视频生成大模型,采用自回归架构,通过逐块预测视频序列生成流畅自然的视频,支持无限扩展和一镜到底的长视频生成。生成的视频动作流畅且细节逼真,具备可控生成能力,可通过分块提示实现平滑场景转换和细粒度控制。

通过MindIE SD推理适配,实现了MAGI-1(24B)模型在昇腾上的高性能推理。主要使用了FA长序列场景下的高性能模式和使能多种融合算子,执行720px × 1280px × 96f的视频生成(step=8),耗时162s

一、准备运行环境

1.1 获取CANN&MindIE安装包&环境准备

  • 设备支持 Atlas 800I A2(64G):支持的卡数最小为8
  • Atlas 800T A2(64G)/Atlas 800I A2(64G)
  • 环境准备指导
  • MindIE配套版本 敬请期待

1.2 CANN安装

# 增加软件包可执行权限,{version}表示软件版本号,{arch}表示CPU架构,{soc}表示昇腾AI处理器的版本。
chmod +x ./Ascend-cann-toolkit_{version}_linux-{arch}.run
chmod +x ./Ascend-cann-kernels-{soc}_{version}_linux.run
# 校验软件包安装文件的一致性和完整性
./Ascend-cann-toolkit_{version}_linux-{arch}.run --check
./Ascend-cann-kernels-{soc}_{version}_linux.run --check
# 安装
./Ascend-cann-toolkit_{version}_linux-{arch}.run --install
./Ascend-cann-kernels-{soc}_{version}_linux.run --install

# 设置环境变量
source /usr/local/Ascend/ascend-toolkit/set_env.sh

1.3 MindIE安装

# 增加软件包可执行权限,{version}表示软件版本号,{arch}表示CPU架构。
chmod +x ./Ascend-mindie_${version}_linux-${arch}.run
./Ascend-mindie_${version}_linux-${arch}.run --check

# 方式一:默认路径安装
./Ascend-mindie_${version}_linux-${arch}.run --install
# 设置环境变量
cd /usr/local/Ascend/mindie && source set_env.sh

# 方式二:指定路径安装
./Ascend-mindie_${version}_linux-${arch}.run --install-path=${AieInstallPath}
# 设置环境变量
cd ${AieInstallPath}/mindie && source set_env.sh

1.4 Torch_npu安装

下载 pytorch_v{pytorchversion}_py{pythonversion}.tar.gz

tar -xzvf pytorch_v{pytorchversion}_py{pythonversion}.tar.gz
# 解压后,会有whl包
pip install torch_npu-{pytorchversion}.xxxx.{arch}.whl

二、下载权重

2.1 权重及配置文件说明

Models🤗 Huggingface
MAGI-1Download

三、MAGI-1使用

3.1 下载到本地

git clone https://modelers.cn/MindIE/MAGI-1.git

3.2 安装依赖

cd MAGI-1
pip install -r requirements.txt

3.3 修改权重加载路径

修改/example/24B/24B_base_config.json中的"load","t5_pretrained"和"vae_pretrained"的路径

3.3 8卡性能测试

3.3.1 等价优化

执行命令:

执行推理脚本
bash example/24B/run.sh

四、模型推理性能结果参考

MAGI-1

NPU端到端性能和GPU进行了对比,平均每卡的吞吐达到x GPU A800。性能测试如下:

硬件形态分辨率GPU数(NPU数)迭代次数端到端耗时单卡吞吐(fps/p)
Atlas 800T A2(64G)720px × 1280px × 96f88162s0.07407

声明

  • 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷,华为不承担任何责任。
  • 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。