在数字世界中,对真实感的追求永无止境。
Meta AI的最新技术——"Relightable Gaussian Codec Avatars"(可重新照明的高斯编码头像),不仅推动了这一追求的极限,更在虚拟现实领域开辟了新的可能性。
这项技术是对之前"Codec Avatars 2.0"的重大升级,基于3D高斯技术,能够捕捉到动态面部序列上亚毫米级的细节,比如头发丝和毛孔。12月6号刚发表论文(论文地址)。
为了以统一的方式支持人体头部的多种材质,例如眼睛、皮肤和头发,Meta AI团队提出了一种基于可学习辐射传输的新颖的可重新照明外观模型。与漫射组件的全局照明感知球谐函数一起,使用球面高斯实现了全频率反射的实时重新照明。
该外观模型在点光源和连续照明下都可以高效地实时重新照明。进一步提高了眼睛反射的保真度,并通过引入可重新照明的显式眼睛模型来实现显式凝视控制。在保证实时性能的前提下,效果超越了现有的各种方法。
早期的数字人主要依赖于静态的光照模型,这种模型通常在预先设定的光照条件下工作,无法动态适应不同的光照环境。这种方法在处理复杂或者动态的光照环境时,往往无法达到真实的效果。
随着技术的发展,研究人员开始使用更复杂的光照模型,如基于物理的渲染(PBR)技术。PBR技术能够更真实地模拟光照在物体表面的反应,使得虚拟数字人在各种光照条件下都能看起来更加真实。然而,这种技术通常需要大量的计算资源,对于实时应用(如视频会议或在线游戏)来说,可能无法满足性能需求。
此外,还有一些技术通过使用预渲染的光照贴图或者环境光遮蔽(ambient occlusion)等技术,来在一定程度上模拟动态光照的效果。但这些方法通常需要预先计算和存储大量的数据,而且无法完全适应实时变化的光照环境。
现在"Relightable Gaussian Codec Avatars"技术解决了这些问题,真实与虚构的边界越来越模糊。
能够想象,这个技术大概率会用在Meta的元宇宙中,这种逼真的虚拟形象,为角色提供了前所未有的真实感和灵活性。
随着这项技术的推广,我们也必须警惕其潜在的负面影响,并积极探索确保其安全和正当使用的方法。在这个快速发展的数字时代,技术的每一步进步都需要我们谨慎而深思熟虑地前行。