“让每个人的想象,在创造与操控三维资产中得以实现。”
本代码库包含论文 Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation 的模型。关于如何使用及更多细节,请参阅 Github 代码库。
我们推出 Hunyuan3D 2.0,这是一个先进的大规模三维合成系统,用于生成高分辨率带纹理的三维资产。该系统包含两大基础组件:大规模形状生成模型——Hunyuan3D-DiT,以及大规模纹理合成模型——Hunyuan3D-Paint。 形状生成模型基于可扩展的流式扩散变换器构建,旨在创建与给定条件图像精准对齐的几何体,为下游应用奠定坚实基础。 纹理合成模型则受益于强大的几何与扩散先验,能为生成或手工制作的网格生成高分辨率、色彩生动的纹理贴图。 此外,我们构建了 Hunyuan3D-Studio——一个多功能、用户友好的生产平台,简化了三维资产的再创作流程。它让专业用户和业余爱好者都能高效地操控甚至动画化他们的网格模型。 我们系统评估了我们的模型,结果表明 Hunyuan3D 2.0 在几何细节、条件对齐、纹理质量等方面均优于之前的先进模型,包括开源模型和闭源模型。
Hunyuan3D 2.0 采用两阶段生成流程:首先生成基础网格,随后为该网格合成纹理贴图。该策略有效解耦了形状与纹理生成的难度,同时为生成式网格或手工建模网格的纹理绘制提供了灵活性。
我们对比评估了 Hunyuan3D 2.0 与其他开源及闭源三维生成方案。数值结果表明,Hunyuan3D 2.0 在生成带纹理三维资产的质量和条件跟随能力方面均超越所有基线模型。
| 模型 | CMMD(⬇) | FID_CLIP(⬇) | FID(⬇) | CLIP-score(⬆) |
|---|---|---|---|---|
| 顶尖开源模型1 | 3.591 | 54.639 | 289.287 | 0.787 |
| 顶尖闭源模型1 | 3.600 | 55.866 | 305.922 | 0.779 |
| 顶尖闭源模型2 | 3.368 | 49.744 | 294.628 | 0.806 |
| 顶尖闭源模型3 | 3.218 | 51.574 | 295.691 | 0.799 |
| Hunyuan3D 2.0 | 3.193 | 49.165 | 282.429 | 0.809 |
Hunyuan3D 2.0 生成效果展示:
| 模型 | 日期 | Huggingface 下载地址 |
|---|---|---|
| Hunyuan3D-DiT-v2-0 | 2025-01-21 | 下载 |
| Hunyuan3D-Paint-v2-0 | 2025-01-21 | 下载 |
| Hunyuan3D-Delight-v2-0 | 2025-01-21 | 下载 |
您可以通过以下步骤,通过代码或 Gradio 应用使用 Hunyuan3D 2.0。
请通过官方网站安装 Pytorch,然后通过以下命令安装其他依赖项:
pip install -r requirements.txt
# for texture
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (on Windows)我们设计了类 diffusers 的 API 来使用我们的形状生成模型 Hunyuan3D-DiT 和纹理合成模型 Hunyuan3D-Paint。
您可通过以下方式调用 Hunyuan3D-DiT:
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]输出网格是一个三角网格对象,您可以将其保存为glb/obj(或其他格式)文件。
对于Hunyuan3D-Paint,请执行以下操作:
from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
# let's generate a mesh first
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]
pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')请访问 minimal_demo.py 了解更高级的用法,例如文本生成3D和手工建模网格的纹理生成。
您也可以通过以下方式在本地计算机托管 Gradio 应用:
pip3 install gradio==3.39.0
python3 gradio_app.py若您不想自行托管,别忘了访问 Hunyuan3D 快速体验。
若本项目对您有帮助,请引用我们的技术报告:
@misc{hunyuan3d22025tencent,
title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
author={Tencent Hunyuan3D Team},
year={2025},
eprint={2501.12202},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
@misc{yang2024tencent,
title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
author={Tencent Hunyuan3D Team},
year={2024},
eprint={2411.02293},
archivePrefix={arXiv},
primaryClass={cs.CV}
}感谢社区成员的贡献,我们整理了以下基于 Hunyuan3D 2.0 的优秀扩展项目:
我们要向以下开源项目的贡献者表示诚挚感谢: DINOv2、Stable Diffusion、FLUX、diffusers 以及 HuggingFace 平台,感谢他们在开放研究与探索领域的卓越贡献。