图片生成交互3D？AI绘画再升级！
一、李飞飞World Labs的成果 - 当地时间2024年12月2日，斯坦福大学教授李飞飞的创业项目World Labs公布了能用单张静态图片生成3D世界的AI产品，这是一种将单张静态图片转化为可交互3D场景的AI系统。例如像短视频平台很火的希区柯克式变焦效果也能实现。这种技术还能与其他AI工具完美结合，创作者可以先使用文本生成图像，再将其转化为3D场景，继承不同图像生成模型的独特风格。 - World Labs成立于2024年1月，致力于构建大世界模型（LWM），旨在通过空间智能技术来感知、生成3D世界并与之交互。 二、触站AI作画生成3D - 触站AI作画生成3D是一款基于人工智能和深度学习技术的工具，可帮助用户在3D空间中进行虚拟现实的探索和设计。它提供多种3D模型库和纹理库，方便用户创建自己的虚拟内容。用户通过简单的网页操作，能创建虚拟现实世界，并进行绘画、美化、动画和3D建模等操作。该工具可根据用户输入自动绘制图形和形状，还提供画笔、调色板和参数控制等功能，让用户自由创作和探索。 - 触站AI作画生成3D在多领域有应用价值。对于艺术家，提供了全新创作空间和方式，可在虚拟现实环境创作，使用3D画笔等创作出有视觉冲击力的艺术品，通过虚拟现实技术展示观赏；对于建筑师，是全新设计工具，可在虚拟现实环境设计模拟建筑模型，调整演化得到合适方案，通过虚拟现实技术演示体验；对于游戏开发者，可在虚拟现实环境创作和调整游戏世界，包括地形、场景、角色和道具等内容，通过虚拟现实技术增强游戏乐趣和体验性。其未来发展前景广阔，随着AI技术发展，会进行更复杂精细的3D建模和绘画，也可与其他人工智能技术如语音识别、自然语言处理和机器学习等相结合，增加智能度和适应性，成为全新的“虚拟现实创作工具”，带来前所未有的艺术、设计和娱乐体验。 三、One - 2 - 3 - 45的 - 来自UCSD等机构的研究者发布了One - 2 - 3 - 45工作，它摆脱了逐物体优化的生成范式，能够在45秒内从任意单张图片/文本生成3D纹理网格，且在测试时无需针对每个物体进行优化。它可与现有的文生图模型（如DALL - E2）结合，支持从任意文本生成3D模型。 - One - 2 - 3 - 45先利用2D扩散模型生成多视角图像，然后利用基于costvolume的可泛化NeRF类的方法来实现三维重建。这类方法将多视角图像作为输入，在训练后能够直接推断3D内容而无需额外优化。不过在实现过程中遇到挑战，如将可泛化NeRF方法扩展到不完全一致的多视角预测、得到360度完整模型、处理Zero123采用球坐标系描述相对相机位姿的问题等，研究者提出了一系列关键的训练策略（如分阶段预测多视角图像）和一个俯仰角预测模块来解决这些挑战。
