2025-03-11 ,由北京大学、中国科学院大学和新加坡国立大学联合提出了一种新的4D重建基准数据集WideRange4D。该数据集通过引入具有大范围空间运动的4D场景数据，填补了现有4D重建数据集在复杂动态场景中的空白，为4D重建方法的全面评估提供了更具挑战性和多样性的基准。
数据集地址：WideRange4D|4D重建数据集|计算机视觉数据集
一、研究背景
随着3D重建技术的快速发展，4D重建（即包含时间维度的三维场景重建）也逐渐成为研究热点。4D重建技术在学术研究和工业应用中具有重要价值，例如在游戏、视频制作等领域。然而，获取4D数据比3D数据更具挑战性，因为它需要在不同视角下同时捕捉动态场景的视频。
目前遇到的困难和挑战：
1、数据获取难度大：现有4D数据集大多只包含局部动作（如原地跳舞、烹饪等），缺乏涉及大范围空间运动的场景数据。
2、现有方法局限性：现有的4D重建方法依赖于变形场来估计3D对象的动态变化，但在处理大范围空间运动时表现不佳，导致生成的4D结果质量差、模糊。
3、缺乏有效评估基准：现有的4D重建基准数据集无法有效评估方法在大范围运动场景下的性能，限制了4D重建技术的发展。
数据集地址：WideRange4D|4D重建数据集|计算机视觉数据集
二、让我们一起来看一下WideRange4D
WideRange4D是一个包含丰富4D场景数据的新基准数据集，涵盖了大范围空间运动和复杂动态场景，用于评估4D重建方法的性能。
WideRange4D数据集通过Unreal Engine构建，包含真实场景、虚拟场景以及多种天气条件（如晴天、雨天、沙尘暴）。数据集中的前景对象具有不同的运动距离、速度和复杂性，涵盖了从短距离直线运动到长距离多段路径的多样化轨迹。
数据集构建：
1、资产整合与运动合成：从Mixamo和Unreal Engine的MetaHuman等平台获取多样化的人类、动物和角色模型，并通过控制骨骼系统生成复杂的运动轨迹。
2、环境动态场景合成：使用Unreal Engine的FAB库构建模块化场景，并通过Ultra Dynamic Sky插件引入动态天气变化。
3、多视角数据采集：通过配置的CineCamera Actors从不同角度捕捉60帧/秒的RGB序列，确保多视角下的几何和光度一致性。
数据集特点：
场景丰富性：包含真实世界场景（如城市街道、乡村道路）和虚拟场景（如卡通草原）。
运动复杂性：涵盖了短距离、中距离和长距离运动，以及复杂的运动轨迹。
环境多样性：包含晴天、雨天和沙尘暴等多种天气条件，增加了重建的难度。
基准测试
论文中提出了一个新的4D重建方法Progress4D，并在WideRange4D数据集上进行了基准测试。实验结果表明，Progress4D在大范围运动场景下的4D重建质量优于现有的最先进方法。
我们的 Progress4D 和 4DGS 在 WideRange4D 上生成的 4D 场景可视化。现有的 4D 重建方法难以生成具有大范围运动的 4D 场景，这凸显了我们提出的新基准 WideRange4D 的必要性，而 Progress4D 生成的高质量 4D 场景验证了我们方法的有效性。
WideRange4D 测试示例展示。
WideRange4D 的统计分布
a）不同天气条件下的地点类型分布
地点类型：分为卡通（Cartoon）、道路（Road）和城市（City）三种。
天气条件：分为沙尘暴（Sandstorm）、雨天（Rainy）和晴天（Sunny）三种。
数据分布：
在卡通场景中，每种天气条件下的案例数量都是27。
在道路场景中，沙尘暴和晴天的案例数量都是24，雨天的案例数量也是24。
在城市场景中，每种天气条件下的案例数量都是16。
b) 不同对象类别的分布
对象类别：分为人类对象、中等动物对象、大型动物对象、小型动物对象和风格化对象。
数据分布： 人类对象占18.8%。
中等动物对象包括鹿、豹、狮子、狼和斑马，其中鹿和豹占43.8%，狮子占18.8%，狼和斑马未明确给出具体百分比。
大型动物对象包括犀牛和大象，各占18.8%。
小型动物对象包括狐狸和乌鸦，各占12.5%。
风格化对象包括卡通和男孩，各占6.2%。
c) 不同运动范围的运动类型分布
运动类型：分为原位和位移两种。
运动范围：分为短程、中程和长程三种。
数据分布：
在原位运动类型中，位移占53.6%，原位占46.4%。
在位移运动类型中，短程占21.6%，中程占24.3%，长程占54.1%。
前景物体的展示
WideRange4D 构建管道
4D 场景初始比较。现有方法无法生成高质量 4D 场景的原因是，当 4D 场景涉及大范围变化时，初始化的前景对象变得非常模糊，似乎完全消失了，因此在后续生成过程中难以实现高质量的 4D 合成。
我们的 Progress4D 框架
定性比较。对于看起来相似的图像，我们在输出和比较图像中放大相同的区域，以突出 Progress4D 的更精细细节。
时间步对准损失的消融研究
三、WideRange4D应用场景
比如我有一个动画工作室，我们正在制作一部动画短片，里面有一个很酷的场景：一个超级英雄在暴雨中的城市街道上追逐坏蛋。
以前呢
我们接到这个任务，首先得开始建模。我们得从零开始设计超级英雄的模型，包括他的肌肉、服装，还有那些复杂的装备。然后还得搭建整个城市街道的场景，包括高楼大厦、街道上的车辆、路灯……这得花好多天时间，而且稍有差错就得重新调整。
接下来，就是给超级英雄绑定骨骼，让他能动起来。动画师得一帧一帧地调整他的动作，让他跑得自然、追逐得有力度。这个过程特别磨人，可能调整一个奔跑动作就得花好几天。而且，还得考虑雨天的环境，比如雨水打在身上、地面上的积水反射……这些细节都得手动去处理。
最后是渲染，这个过程特别耗时，可能要等好几个小时才能看到最终效果。如果发现哪里不满意，还得重新调整，再重新渲染。整个过程下来，可能得花几周时间才能完成这个场景。
哎哟喂，现在有了 WideRange4D ，那可不一样了：
现在有了 WideRange4D 数据集，我们的工作就轻松多了。我们接到任务后，直接打开 WideRange4D 数据集，里面已经有很多现成的动态场景模板。他们找到了一个很接近的模板：一个角色在雨天的城市街道上奔跑的场景。
这个模板已经包含了高质量的 3D 模型、角色的动作，还有雨天的环境效果。动画师只需要把超级英雄的模型替换进去，调整一下动作细节，比如让他跑得更快、动作更帅气。如果觉得街道上的车辆太少了，也可以直接在模板里添加一些车辆模型，调整一下位置。
而且，WideRange4D 的模板支持多视角查看，动画师可以从不同角度看看效果，确保从各个方向看起来都特别自然。比如，他们发现从某个角度看起来，雨水的效果不够明显，直接在模板里调整一下参数，让雨水更密集一些。
最后，渲染的时候也不用等太久，因为模板本身质量就很高，稍微调整一下就能出效果。整个过程可能只需要几天时间，甚至更快，就能把这个场景搞定。
现在不仅大大节省了时间，还让我们能把更多精力放在创意和细节上，让动画效果更酷炫。科技改变生活！
