Ascend-SACT/sam-3d-objects
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

SAM 3D

SAM 3D Objects 是 SAM 3D 的一部分，后者是用于物体和人体网格重建的模型组合。如果你正在寻找 SAM 3D Body，请点击此处。

SAM 3D Objects

SAM 3D 团队，陈星宇*、朱富任*、Pierre Gleize*、Kevin J Liang*、Alexander Sax*、唐昊*、王维尧*、Michelle Guo、Thibaut Hardin、李翔⚬、林奥涵、刘佳伟、马子奇⚬、Anushka Sagar、宋博文⚬、王晓东、杨佳宁⚬、张博文⚬、Piotr Dollár†、Georgia Gkioxari†、Matt Feiszli†§、Jitendra Malik†§

Meta 超级智能实验室

*核心贡献者（按字母顺序排列，贡献均等），⚬实习生，†项目负责人，§贡献均等

[论文] [代码] [网站] [演示] [博客] [BibTeX] [Roboflow]

SAM 3D Objects 是一个基础模型，能够从单张图像重建完整的 3D 形状几何结构、纹理和布局。通过采用渐进式训练以及结合人类反馈的数据引擎，它在存在遮挡和杂乱的真实场景中表现出色。在针对真实世界物体和场景的人类偏好测试中，它的性能优于现有的 3D 生成模型。我们已发布代码、权重、在线演示以及一个全新的具有挑战性的基准测试。

最新更新

2025年11月19日 - 检查点已发布，Web演示和论文已公开。

安装

运行以下内容前，请先遵循设置步骤。

单物体或多物体3D生成

SAM 3D Objects 能够将图像中带掩码的物体转换为具有姿态、形状、纹理和布局的3D模型。SAM 3D 设计用于在具有挑战性的自然图像中保持稳健性，可处理小物体和遮挡、不常见姿态，以及在未经过滤的自然场景（如儿童房）中遇到的复杂情况：

如需快速开始，请运行 python demo.py 或使用以下代码行：

import sys

# import inference code
sys.path.append("notebook")
from inference import Inference, load_image, load_single_mask

# load model
tag = "hf"
config_path = f"checkpoints/{tag}/pipeline.yaml"
inference = Inference(config_path, compile=False)

# load image and mask
image = load_image("notebook/images/shutterstock_stylish_kidsroom_1640806567/image.png")
mask = load_single_mask("notebook/images/shutterstock_stylish_kidsroom_1640806567", index=14)

# run model
output = inference(image, mask, seed=42)

# export gaussian splat
output["gs"].save_ply(f"splat.ply")

如需了解更多详情以及多物体重建相关内容，请查看我们的两个 Jupyter 笔记本：

  • 单个物体
  • 多个物体

SAM 3D Body

SAM 3D Body (3DB) 是一个用于单图像 3D 人体网格恢复（HMR）的稳健可提示基础模型。

为了结合 SAM 3D Objects 和 SAM 3D Body 的优势，我们提供了一个示例笔记本，演示如何将两个模型的结果进行组合，使其在同一参考坐标系下对齐。请查看此处。

NPU（昇腾）适配

本仓库已适配华为昇腾 NPU（910B3），支持 8 卡设备运行。

主要修改

  • modules/sparse/basic.py：通过在 .max() 调用前进行 CPU 转换，修复了 int64 坐标上的 aclnnMaxDim 错误
  • modules/sparse/spatial.py：修复了 NPU int64 张量上 SparseDownsample 的最大操作问题
  • modules/sparse/__init__.py：NPU 兼容的后端初始化
  • spconv/pytorch/native_sparse_conv.py（site-packages）：支持 NPU 的稀疏卷积，针对 D=1 边缘情况提供 same-padding

快速开始（NPU）

# Single-image inference
python /workspace/npu7_optimized.py

# Full dataset evaluation
python /workspace/evaluate_npu_full.py

# Set device (default: NPU 7)
export CUDA_VISIBLE_DEVICES=0   # uses NPU 0 via torch.npu

注意事项

  • 需要支持 Ascend CANN 的 torch >= 2.x 版本
  • 需要安装 torch_npu 和 CANN 驱动
  • 设置 ATTN_BACKEND=sdpa 以获得最佳性能
  • 该管道使用 autocast(device_type="npu") 并搭配 bfloat16

许可证

SAM 3D Objects 模型检查点和代码根据 SAM 许可证 进行许可。

贡献指南

请参阅 贡献说明 和 行为准则。

贡献者

SAM 3D Objects 项目的成功离不开众多贡献者的帮助。

Robbie Adkins, Paris Baptiste, Karen Bergan, Kai Brown, Michelle Chan, Ida Cheng, Khadijat Durojaiye, Patrick Edwards, Daniella Factor, Facundo Figueroa, Rene de la Fuente, Eva Galper, Cem Gokmen, Alex He, Enmanuel Hernandez, Dex Honsa, Leonna Jones, Arpit Kalla, Kris Kitani, Helen Klein, Kei Koyama, Robert Kuo, Vivian Lee, Alex Lende, Jonny Li, Kehan Lyu, Faye Ma, Mallika Malhotra, Sasha Mitts, William Ngan, George Orlin, Peter Park, Don Pinkus, Roman Radle, Nikhila Ravi, Azita Shokrpour, Jasmine Shone, Zayida Suber, Phillip Thomas, Tatum Turner, Joseph Walker, Meng Wang, Claudette Ward, Andrew Westbury, Lea Wilken, Nan Yang, Yael Yungster

引用 SAM 3D Objects

如果您在研究中使用了 SAM 3D Objects，请使用以下 BibTeX 条目。

@article{sam3dteam2025sam3d3dfyimages,
      title={SAM 3D: 3Dfy Anything in Images}, 
      author={SAM 3D Team and Xingyu Chen and Fu-Jen Chu and Pierre Gleize and Kevin J Liang and Alexander Sax and Hao Tang and Weiyao Wang and Michelle Guo and Thibaut Hardin and Xiang Li and Aohan Lin and Jiawei Liu and Ziqi Ma and Anushka Sagar and Bowen Song and Xiaodong Wang and Jianing Yang and Bowen Zhang and Piotr Dollár and Georgia Gkioxari and Matt Feiszli and Jitendra Malik},
      year={2025},
      eprint={2511.16624},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2511.16624}, 
}