2024-08-28，由上海交通大学与SenseAuto研究联合构建了一个名为RoboSense的大规模多传感器数据集。该数据集覆盖了超过133K同步数据帧，包含1.4M个3D边界框和ID注释，形成了216K条轨迹，为低速自动驾驶领域的研究提供了宝贵的资源。
一、研究背景：
周围智能体的运动预测以及围绕自主车辆的占用状态描述是自动驾驶研究领域的两项关键预测任务，已在 L2 自动驾驶汽车的城市和高速公路场景中得到广泛探索。随着低速自动驾驶技术的发展，对近场环境感知能力的需求日益增长。低速无人车在校园、景区、机场和公园等半封闭或开放区域的应用前景广阔，但现有数据集缺乏对近场障碍物，尤其是视线盲区和高度遮挡情况下的感知能力训练。
目前遇到的困难和挑战
一、当前的自动驾驶数据集主要针对高速行驶场景，缺乏对低速行驶中近场障碍物的详细标注。
二、由于低速行驶时周围障碍物的多样性和复杂性，需要更精细的数据集来提升感知系统的准确性。
数据集地址：RoboSense|自动驾驶数据集|障碍物检测数据集
二、让我们一起看一下 RoboSense数据集
RoboSense数据集：是一个大规模的多传感器低速自动驾驶数据集，专注于近场环境感知。通过搭载3种主要传感器（摄像头、激光雷达和鱼眼相机）的多模态数据收集平台构建，覆盖了多种场景和障碍物类型。
数据集特点 ：
RoboSense包含超过133K 同步帧上总共标注了 1.4M 3D 框和 216K 轨迹，专为近场障碍物感知和预测模型的研究而设计，无论是模块化训练还是联合优化。我们的数据集由从不同位置手动选择的 7.6K 序列组成，涵盖各种天气条件和交通密度。数据集支持从全局视角到局部视角的动态视野，并且定义了新的近场3D感知和预测评价指标。
数据集使用方法 ：
研究人员可以灵活地选择不同传感器组合作为输入，进行多视图3D检测、3D目标跟踪、运动预测和占据预测等多种任务。
基准测试
基于RoboSense，研究者提出了6个流行的自动驾驶任务和相应的基准测试，以促进未来相关研究的发展。
RoboSense 数据集的一个示例：分别在 Camera、Fisheye、LiDAR 和 BEV 上带有注释的 3D 框和占用描述的数据，其中相同的目标与不同设备和时间戳的唯一 ID 相关联。
我们的数据收集平台的传感器设置和坐标系图。
RoboSense 数据集的详细信息，分别包括不同场景之间昼夜数据的比例;训练/测试/验证集的分布;每个场景的同步序列/帧以及带注释的 3D 框/轨迹的计数。
RoboSense 上的传感器规格。
三、让我们一起展望数据集应用
在风和日丽的下午，公园里热闹非凡。孩子们在追逐玩耍，年长者在悠闲地散步，还有一群年轻人在草地上打羽毛球。
我们的最新自动驾驶游览车装备了最新的自动驾驶系统，这个系统经过RoboSense数据集的训练，让它能够识别和预测人们的行为模式。我们暂且叫它“AutoTour”
突然，一群孩子在AutoTour的前方玩耍，其中一个小男孩似乎正要冲到路中间来抓一只蝴蝶。AutoTour的激光雷达和摄像头立刻捕捉到了这一幕。它的大脑——也就是自动驾驶系统——迅速地分析了这个场景，意识到小男孩可能会跑到车的前方。
AutoTour的系统立即启动了应急预案。它先是温柔地减速，然后轻轻地按响了喇叭，提醒小男孩注意安全。同时，系统计算出小男孩可能的行动轨迹，并规划出一条绕过他的路线。
就在这时，一位老奶奶牵着她的小狗在AutoTour的右侧慢慢走着。AutoTour的自动驾驶系统再次调用RoboSense数据集，识别出老奶奶和小狗的行走模式。系统判断老奶奶可能会在原地停留，于是决定轻轻地从她的左侧绕过，同时保持足够的安全距离。
AutoTour通过识别和预测人们的行为模式，能够做出合适的反应，确保所有游客的安全。
