K-ON111111/TRELLIS.2-4B
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

TRELLIS.2-4B — 昇腾 NPU 适配模型

赛事: 昇腾 Model Agent 模型适配大赛(第二季) 引擎: torch_npu 硬件: Ascend 910B4 标签: npu ascend pytorch transformers

📖 模型简介

属性值
原始模型microsoft/TRELLIS.2-4B
参数量1.29 B(稀疏结构流组件)
任务类型图像到 3D 生成(稀疏结构流)
输入格式稀疏结构 latent + 图像条件
输出格式flow 预测(稀疏结构)

TRELLIS.2 是微软的图像到 3D 生成模型(O-Voxel 稀疏体素 + flow-matching transformer)。本适配运行其稀疏结构流组件(ss_flow_img_dit_1_3B_64_bf16, 30 层 transformer,1.29B 参数),以纯 PyTorch 实现规避 CUDA 依赖的 o_voxel 稀疏卷积库,在昇腾 NPU(Ascend 910B4)上完成前向。

🔧 环境依赖

⚠️ 本仓库不包含模型权重(交付件仅 inference.py / readme.md / requirements.txt / assets/), 推理前须从原始模型仓下载稀疏结构流组件权重。

huggingface-cli download microsoft/TRELLIS.2-4B --local-dir ./ --local-dir-use-symlinks False
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/

🚀 推理步骤

python3 inference.py --model_path . --device npu:0

🧪 测试用例

python3 inference.py --model_path . --device npu:0

预期输出:

[Model Agent] NPU 设备就绪: Ascend910B4
[Model Agent] 模型加载完成 -> npu:0 (1.29B params)
[Model Agent] 输出 flow 预测: shape=(2, 8, 4, 4, 4)
[Model Agent] 输出范围: -3.9190 .. 4.9721
[Model Agent] 推理时延: 370.5 ms

📁 目录结构

.
├── inference.py          # NPU 推理脚本
├── readme.md             # 本文件
├── requirements.txt      # 依赖清单
└── assets/               # 截图素材

📝 适配说明

本模型由 昇腾 Model Agent 自动完成 NPU 适配:

  • 代码迁移: 以纯 PyTorch 重实现 TRELLIS.2 稀疏结构流模型(30 层 transformer, 旋转位置编码 + 交叉注意力 + adaLN 调制),规避 CUDA 依赖的 o_voxel 稀疏 卷积库;model.to('npu:0') + torch.inference_mode() 前向,无 CUDA 依赖。
  • 验证: Ascend 910B4 上推理,flow 预测输出合法(降分辨率 4^3 验证)。