InfiniteTalk: 面向稀疏帧视频配音的音频驱动视频生成

我们提出了InfiniteTalk，一种新颖的稀疏帧视频配音框架。给定输入视频和音轨，InfiniteTalk能够合成具有精准唇形同步的新视频，同时使头部动作、身体姿态和面部表情与音频保持一致。与仅关注唇部的传统配音方法不同，InfiniteTalk支持无限长度视频生成，且能保持精准的唇形同步和一致的身份信息。此外，InfiniteTalk还可用作图像-音频转视频模型，以单张图像和一段音频作为输入。

• 💬 稀疏帧视频配音——不仅同步唇部，还同步头部、身体及表情
• ⏱️ 无限长度生成——支持无限制的视频时长
• ✨ 稳定性——相较于MultiTalk，减少了手部/身体的变形问题
• 🚀 唇部准确性——实现了优于MultiTalk的唇形同步效果

本仓库托管InfiniteTalk的模型权重。有关安装、使用说明和更多文档，请访问我们的GitHub仓库。

许可协议

本仓库中的模型采用 Apache 2.0 许可协议授权。对于您生成的内容，我们不主张任何权利，您可自由使用这些内容，但需确保您的使用符合本许可协议的规定。您对模型的使用承担全部责任，不得分享任何违反适用法律、对个人或群体造成伤害、传播用于伤害目的的个人信息、散布错误信息或针对弱势群体的内容。