tencent_hunyuan/Hunyuan3D-2
模型介绍文件和版本Pull Requests讨论分析
下载使用量0


“让每个人的想象,在创造与操控三维资产中得以实现。”

本代码库包含论文 Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation 的模型。关于如何使用及更多细节,请参阅 Github 代码库。

🔥 最新动态

  • 2025年1月21日:💬 发布 Hunyuan3D 2.0。欢迎体验!

摘要

我们推出 Hunyuan3D 2.0,这是一个先进的大规模三维合成系统,用于生成高分辨率带纹理的三维资产。该系统包含两大基础组件:大规模形状生成模型——Hunyuan3D-DiT,以及大规模纹理合成模型——Hunyuan3D-Paint。 形状生成模型基于可扩展的流式扩散变换器构建,旨在创建与给定条件图像精准对齐的几何体,为下游应用奠定坚实基础。 纹理合成模型则受益于强大的几何与扩散先验,能为生成或手工制作的网格生成高分辨率、色彩生动的纹理贴图。 此外,我们构建了 Hunyuan3D-Studio——一个多功能、用户友好的生产平台,简化了三维资产的再创作流程。它让专业用户和业余爱好者都能高效地操控甚至动画化他们的网格模型。 我们系统评估了我们的模型,结果表明 Hunyuan3D 2.0 在几何细节、条件对齐、纹理质量等方面均优于之前的先进模型,包括开源模型和闭源模型。

☯️ Hunyuan3D 2.0

架构设计

Hunyuan3D 2.0 采用两阶段生成流程:首先生成基础网格,随后为该网格合成纹理贴图。该策略有效解耦了形状与纹理生成的难度,同时为生成式网格或手工建模网格的纹理绘制提供了灵活性。

性能表现

我们对比评估了 Hunyuan3D 2.0 与其他开源及闭源三维生成方案。数值结果表明,Hunyuan3D 2.0 在生成带纹理三维资产的质量和条件跟随能力方面均超越所有基线模型。

模型CMMD(⬇)FID_CLIP(⬇)FID(⬇)CLIP-score(⬆)
顶尖开源模型13.59154.639289.2870.787
顶尖闭源模型13.60055.866305.9220.779
顶尖闭源模型23.36849.744294.6280.806
顶尖闭源模型33.21851.574295.6910.799
Hunyuan3D 2.03.19349.165282.4290.809

Hunyuan3D 2.0 生成效果展示:

预训练模型

模型日期Huggingface 下载地址
Hunyuan3D-DiT-v2-02025-01-21下载
Hunyuan3D-Paint-v2-02025-01-21下载
Hunyuan3D-Delight-v2-02025-01-21下载

🤗 开始使用 Hunyuan3D 2.0

您可以通过以下步骤,通过代码或 Gradio 应用使用 Hunyuan3D 2.0。

安装要求

请通过官方网站安装 Pytorch,然后通过以下命令安装其他依赖项:

pip install -r requirements.txt
# for texture
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (on Windows)

API 使用说明

我们设计了类 diffusers 的 API 来使用我们的形状生成模型 Hunyuan3D-DiT 和纹理合成模型 Hunyuan3D-Paint。

您可通过以下方式调用 Hunyuan3D-DiT:

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

输出网格是一个三角网格对象,您可以将其保存为glb/obj(或其他格式)文件。

对于Hunyuan3D-Paint,请执行以下操作:

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# let's generate a mesh first
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

请访问 minimal_demo.py 了解更高级的用法,例如文本生成3D和手工建模网格的纹理生成。

Gradio 应用

您也可以通过以下方式在本地计算机托管 Gradio 应用:

pip3 install gradio==3.39.0
python3 gradio_app.py

若您不想自行托管,别忘了访问 Hunyuan3D 快速体验。

📑 开源计划

  • 推理代码
  • 模型权重
  • 技术报告
  • ComfyUI
  • TensorRT 版本

🔗 BibTeX

若本项目对您有帮助,请引用我们的技术报告:

@misc{hunyuan3d22025tencent,
    title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
    author={Tencent Hunyuan3D Team},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
    author={Tencent Hunyuan3D Team},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

社区资源

感谢社区成员的贡献,我们整理了以下基于 Hunyuan3D 2.0 的优秀扩展项目:

  • ComfyUI-Hunyuan3DWrapper
  • Hunyuan3D-2-for-windows
  • 📦 Windows 一键运行整合包

致谢

我们要向以下开源项目的贡献者表示诚挚感谢: DINOv2、Stable Diffusion、FLUX、diffusers 以及 HuggingFace 平台,感谢他们在开放研究与探索领域的卓越贡献。

星标历史

星标历史图表