TRELLIS：微软联合清华和中科大推出的高质量 3D 生成模型，支持局部控制和多种输出格式

蚝油菜花
416 阅读3分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

  1. 功能：根据文本或图像提示生成高质量 3D 资产，支持多种输出格式和灵活编辑。
  2. 技术：基于 Structured LATent (SLAT) 表示法和修正流变换器，融合稀疏 3D 网格和多视图视觉特征。
  3. 应用：广泛应用于游戏开发、电影制作、虚拟现实、建筑设计和教育等领域。

正文（附运行示例）

TRELLIS 是什么

公众号: 蚝油菜花 - TRELLIS

TRELLIS 是由清华大学、中国科学技术大学和微软研究院联合推出的高质量 3D 生成模型。它基于 Structured LATent (SLAT) 表示法，能够从文本或图像提示中生成高质量、多样化的 3D 资产。模型通过融合稀疏的 3D 网格结构和从多视角提取的密集视觉特征，全面捕捉 3D 资产的几何和外观信息。

TRELLIS 的核心是修正流变换器，它能够处理 SLAT 的稀疏性，并在大规模 3D 资产数据集上进行训练，参数高达 20 亿。TRELLIS 能够生成细节丰富的 3D 模型，支持多种输出格式，并能对 3D 资产进行灵活编辑。

TRELLIS 的主要功能

  • 高质量 3D 生成：根据文本或图像提示生成具有复杂几何结构和细致纹理的 3D 资产。
  • 多格式输出：支持将 3D 资产生成为多种格式，包括辐射场（Radiance Fields）、3D 高斯（3D Gaussians）和网格（meshes）。
  • 灵活编辑：支持用户对生成的 3D 资产进行局部编辑，如添加、删除或替换特定区域，无需整体调整。
  • 无需拟合训练：在训练过程中，不需要对 3D 资产进行拟合，简化训练流程、提高效率。

TRELLIS 的技术原理

  • Structured LATent (SLAT) 表示：使用 SLAT 作为统一的 3D 潜在表示，基于稀疏的 3D 网格上定义局部潜在变量编码 3D 资产的几何和外观信息。
  • 多视图视觉特征：基于强大的视觉基础模型提取的多视图视觉特征，用于详细编码 3D 资产的结构和外观信息。
  • 修正流变换器：基于修正流变换器作为其 3D 生成模型的核心，特别适应于处理 SLAT 的稀疏性，能高效地生成 3D 资产。
  • 两阶段生成流程：首先生成 SLAT 的稀疏结构，然后在已生成的结构上生成局部潜在向量，灵活生成不同格式的 3D 表示。
  • 训练与优化：在大规模的 3D 资产数据集上进行训练，用特定的重建损失和 KL 惩罚优化编码器和解码器，确保生成的 3D 资产与原始数据高度一致。

如何运行 TRELLIS

以下是一个简单的示例，展示如何使用 TRELLIS 生成 3D 资产：

import os
os.environ['SPCONV_ALGO'] = 'native'

import imageio
from PIL import Image
from trellis.pipelines import TrellisImageTo3DPipeline
from trellis.utils import render_utils, postprocessing_utils

# 加载模型
pipeline = TrellisImageTo3DPipeline.from_pretrained("JeffreyXiang/TRELLIS-image-large")
pipeline.cuda()

# 加载图像
image = Image.open("assets/example_image/T.png")

# 运行模型
outputs = pipeline.run(image, seed=1)

# 渲染输出
video = render_utils.render_video(outputs['gaussian'][0])['color']
imageio.mimsave("sample_gs.mp4", video, fps=30)

# 保存为 GLB 文件
glb = postprocessing_utils.to_glb(outputs['gaussian'][0], outputs['mesh'][0])
glb.export("sample.glb")

运行上述代码后，你将获得以下文件：

  • sample_gs.mp4：展示 3D 高斯表示的视频。
  • sample.glb：包含提取的纹理网格的 GLB 文件。

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝