meituan-longcat/LongCat-Video
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

LongCat-Video

LongCat-Video

模型介绍

我们推出 LongCat-Video,这是一款拥有 136 亿参数的基础视频生成模型,在文本生成视频(Text-to-Video)、图像生成视频(Image-to-Video)和视频续拍(Video-Continuation)任务中均展现出卓越性能。该模型尤其擅长高效生成高质量长视频,是我们迈向世界模型(world models)的第一步。

核心特性

  • 🌟 多任务统一架构:LongCat-Video 在单一视频生成框架内统一了文本生成视频、图像生成视频和视频续拍任务。仅通过一个模型即可原生支持所有这些任务,并在各单项任务中持续保持强劲性能表现。
  • 🌟 长视频生成能力:LongCat-Video 原生针对视频续拍任务进行预训练,能够生成长达数分钟的视频,且不会出现色彩漂移或质量下降问题。
  • 🌟 高效推理性能:LongCat-Video 采用时空双轴从粗到精的生成策略,可在数分钟内完成 720p、30fps 视频的生成。块稀疏注意力(Block Sparse Attention)技术进一步提升了效率,尤其在高分辨率场景下效果显著。
  • 🌟 多奖励 RLHF 强化的卓越性能:借助多奖励组相对策略优化(Group Relative Policy Optimization, GRPO)技术,在内部及公开基准测试中的综合评估表明,LongCat-Video 的性能已可媲美主流开源视频生成模型及最新商业解决方案。

更多详情,请参阅完整的LongCat-Video 技术报告。

🎥 预告片视频

快速开始

安装

克隆仓库:

git clone https://github.com/meituan-longcat/LongCat-Video
cd LongCat-Video

安装依赖项:

# create conda environment
conda create -n longcat-video python=3.10
conda activate longcat-video

# install torch (configure according to your CUDA version)
pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

# install flash-attn-2
pip install ninja 
pip install psutil 
pip install packaging 
pip install flash_attn==2.7.4.post1

# install other requirements
pip install -r requirements.txt

模型配置中默认启用了 FlashAttention-2;您也可以修改模型配置以使用 FlashAttention-3 或 xformers。

模型下载

模型下载链接
LongCat-Video🤗 Huggingface

使用 huggingface-cli 下载模型:

pip install "huggingface_hub[cli]"
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video

运行文本转视频

# Single-GPU inference
torchrun run_demo_text_to_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile

# Multi-GPU inference
torchrun --nproc_per_node=2 run_demo_text_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行图像转视频

# Single-GPU inference
torchrun run_demo_image_to_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile

# Multi-GPU inference
torchrun --nproc_per_node=2 run_demo_image_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行视频续播

# Single-GPU inference
torchrun run_demo_video_continuation.py --checkpoint_dir=./weights/LongCat-Video --enable_compile

# Multi-GPU inference
torchrun --nproc_per_node=2 run_demo_video_continuation.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行长视频生成

# Single-GPU inference
torchrun run_demo_long_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile

# Multi-GPU inference
torchrun --nproc_per_node=2 run_demo_long_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行交互式视频生成

# Single-GPU inference
torchrun run_demo_interactive_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile

# Multi-GPU inference
torchrun --nproc_per_node=2 run_demo_interactive_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行 Streamlit

# Single-GPU inference
streamlit run ./run_streamlit.py --server.fileWatcherType none --server.headless=false

评估结果

文本生成视频

以下是在我们内部基准测试上的文本生成视频 MOS 评估结果。

MOS 分数Veo3PixVerse-V5Wan 2.2-T2V-A14BLongCat-Video
可访问性专有专有开源开源
架构--MoE密集型
总参数量--280 亿136 亿
激活参数量--140 亿136 亿
文本一致性↑3.993.813.703.76
视觉质量↑3.233.133.263.25
运动质量↑3.863.813.783.74
整体质量↑3.483.363.353.38

图像生成视频

以下是在我们内部基准测试上的图像生成视频 MOS 评估结果。

MOS 分数Seedance 1.0Hailuo-02Wan 2.2-I2V-A14BLongCat-Video
可访问性专有专有开源开源
架构--MoE密集型
总参数量--280 亿136 亿
激活参数量--140 亿136 亿
图像一致性↑4.124.184.184.04
文本一致性↑3.703.853.333.49
视觉质量↑3.223.183.233.27
运动质量↑3.773.803.793.59
整体质量↑3.353.273.263.17

社区贡献

欢迎社区贡献!请通过 PR 或在 Issue 中告知我们以添加您的成果。

  • CacheDiT 通过 DBCache 和 TaylorSeer 为 LongCat-Video 提供全缓存加速支持,在精度无明显损失的情况下实现了近 1.7 倍的速度提升。更多详情请查看其 示例。

许可协议

模型权重以MIT 许可证发布。

除非另有说明,对本仓库的任何贡献均采用 MIT 许可证。本许可证不授予使用美团商标或专利的任何权利。

完整许可文本详见 LICENSE 文件。

使用注意事项

本模型并非针对所有可能的下游应用场景进行专门设计或全面评估。

开发者应考虑大型语言模型的已知局限性,包括在不同语言间的性能差异,并在将模型部署于敏感或高风险场景前,仔细评估其准确性、安全性和公平性。开发者和下游用户有责任了解并遵守与其使用场景相关的所有适用法律法规,包括但不限于数据保护、隐私和内容安全要求。

本模型卡片中的任何内容均不应被解释为修改或限制模型发布所依据的MIT许可证条款。

引用

如果您发现我们的工作有用,我们恳请您对其进行引用。

@misc{meituanlongcatteam2025longcatvideotechnicalreport,
      title={LongCat-Video Technical Report}, 
      author={Meituan LongCat Team and Xunliang Cai and Qilong Huang and Zhuoliang Kang and Hongyu Li and Shijun Liang and Liya Ma and Siyu Ren and Xiaoming Wei and Rixu Xie and Tong Zhang},
      year={2025},
      eprint={2510.22200},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2510.22200}, 
}

致谢

感谢 Wan、UMT5-XXL、Diffusers 和 HuggingFace 代码仓库的贡献者们所开展的开放研究工作。

联系方式

如有任何问题,请通过邮箱 longcat-team@meituan.com 与我们联系,或加入我们的微信群。