前言
22年OpenAI横空出世的时候，大家都觉得非常惊艳，也都在因AI以后将代替人类的言论而感到焦虑。
但是当多数人体验下来之后，并没有认为AI有传说中的那么神奇，无所不能，很多AI效果都是在宣传时加上了滤镜而已。
但是，技术是一直在进步迭代的，2年过去了，AI已然渗透进各行各业，无论是自媒体（AI生图片、视频），电商（模特AI换装）甚至是程序编程领域（全栈AI程序员devin）等等，人工智能都在不断翻新各个领域。
微软近期联合国内的清华大学以及中国科学技术大学开源了一个3D生成模型的项目，名为TRELLIS。
该大模型旨在通过输入文本或图像提示，快速生成高质量的3D模型。项目的核心是统一的结构化潜在表示（SLAT），使其能够解码为不同的输出格式，如辐射场、3D高斯和网格模型。
此外，TRELLIS采用了专为SLAT设计的修正流变换器，作为强大的主干网络，参数高达20多亿。
核心功能
-
高质量生成：TRELLIS 能生成具有复杂几何结构和细致纹理的 3D 资产，效果远超现有技术。
-
多输入方式：TRELLIS 支持两种主要输入方式：
- 图像到 3D：上传一张或多张图片，系统会自动生成对应的 3D 模型。
- 文本到 3D：输入一句描述，如“木质纹理的茶壶”，TRELLIS 会生成符合描述的 3D 物体。
-
灵活的编辑能力：TRELLIS 提供
局部编辑功能，允许用户调整模型的颜色、纹理等细节，还可以生成多个变体，极大提高了创作的灵活性。 -
输出形式多样：
- 辐射场（Radiance Fields）：适合生成复杂光影效果。
- 3D 高斯（3D Gaussians）：用于快速预览。
- 网格模型（Meshes）：工业级应用或游戏引擎兼容性极强。
技术原理
-
Structured LATent (SLAT) 表示：用 SLAT 作为统一的 3D 潜在表示，基于在稀疏的 3D 网格上定义局部潜在变量编码 3D 资产的几何和外观信息。
-
多视图视觉特征：基于强大的视觉基础模型提取的多视图视觉特征，特征被用来详细编码 3D 资产的结构和外观信息。
-
修正流变换器：基于修正流变换器作为其 3D 生成模型的核心，变换器特别适应于处理 SLAT 的稀疏性，能高效地生成 3D 资产。
-
两阶段生成流程：首先生成 SLAT 的稀疏结构，然后在已生成的结构上生成局部潜在向量。这一流程让模型能灵活地生成不同格式的 3D 表示。
-
训练与优化：在大规模的 3D 资产数据集上进行训练，用特定的重建损失和 KL 惩罚优化编码器和解码器，确保生成的 3D 资产与原始数据高度一致。
应用场景
-
游戏开发：在游戏设计中，快速生成复杂的 3D 模型，如
角色、道具和环境，提高游戏开发的效率。 -
电影和动画制作：创建电影或动画中的 3D 场景和角色，减少手动建模的时间和成本。
-
虚拟现实（VR）和增强现实（AR）：为 VR 和 AR 应用生成逼真的 3D 内容，提升用户的沉浸感和交互体验。
-
建筑和城市规划：生成
建筑模型和城市景观，辅助建筑师和规划师进行设计和模拟。 -
教育和培训：在教育领域，生成各种 3D 模型，用在教学和实践操作，如
医学可视化和工程教学。
TRELLIS 的局限性
当然，Trellis现在也不是神，它也有一定的局限性；
-
分步生成过程：生成流程包含两个主要阶段，可能导致在生成效率上不如一次性完成整个 3D 模型生成的方法。
-
光照和渲染限制：模型在处理图像提示时，未能将图像中的光照效果与 3D 资产分离，可能会影响 3D 资产在物理基础渲染中材质的准确性和逼真度。
-
未来改进方向：论文中提出未来研究探索的领域，包括改进光照处理和增强模型对物理基础渲染材质的预测能力。
TRELLIS 的项目地址
- 项目官网：trellis3d.github.io
- GitHub 仓库：github.com/Microsoft/T…
- arXiv 技术论文：arxiv.org/pdf/2412.01…
- 在线体验 Demo：huggingface.co/spaces/Jeff…
AI大模型对3D建模领域的影响
AI大模型的兴起正在革新3D建模领域，大模型实现了建模过程的自动化，大幅提高了效率和准确性。
而且AI还支持快速原型设计、智能优化和个性化定制，降低了技术门槛，拓展了创作空间。
当然，建模师们也不必过于焦虑，暂且不说大模型现在还存在着一定的局限性，例如生成的模型局部细节还是需要人工进行修复等问题。
当一个技术发展到一定的阶段，就需要人们去驾驭，我们既然改变不了环境，那我们就去拥抱环境。升级成为会用AI大模型的建模师，既能给自己的知识面添砖加瓦，也能提高工作效率，提高自己的竞争力。
紧跟时代前进的步伐，才不会被时代所抛弃。物竞天择，适者生存，这是一条亘古不变的真理。
有需要进
可视化&Webgis交流群可以加我：brown_7778（备注来意）。
