Human-M3 多模态姿态估计数据集-初步解读

海上_数字船长
572 阅读19分钟

文章概述（个人总结）：该论文重点提出一个用于人体姿态估计的RGB+点云数据集，针对该多模态数据集，作者阐述了数据集的收集、数据标注以及该数据集的特点。并提出了一个简单的多模态3D人体姿态估计算法，对比其他模型，该方法性能较好。最后总结了该数据集和该方法的限制。

动机

现有的3D HPE数据集大多局限于单一模态（如RGB图像或点云），并且场景中的人数有限，导致数据多样性不足，无法应对复杂的现实场景。

论文的主要贡献如下：

  1. Human-M3数据集：该数据集是第一个综合了多摄像头和LiDAR点云的户外3D人体姿态数据集。它包含了多视角RGB视频以及相应的LiDAR点云数据，能够同时捕捉多个个体的姿态，涵盖了不同的场景如篮球场、广场和街道交叉口等。
  2. 数据采集方法：提出了一种有效的方法，在不需要佩戴设备的情况下，获取户外场景中多个个体的3D人体姿态数据。每个采集单元包含了一个LiDAR传感器和一个摄像头，利用多模态信息结合的方式，解决了户外大范围场景中准确获取姿态的难题。
  3. 多模态3D姿态估计算法：论文提出了一种基于多模态数据（即RGB图像和LiDAR点云）的3D人体姿态估计算法，展示了多模态输入在姿态估计任务中的优势。这种算法通过融合RGB图像和点云的特征，在多视角数据上训练模型，大幅提高了3D姿态估计的精度。

背景（引言）

3D HPE算法通常使用多视角的RGB图像或LiDAR点云作为输入，来估计人体的三维姿态和形状。这些算法在*人类行为识别、场景感知、增强/虚拟现实、仿真、自动驾驶等众多下游应用中起到了关键作用。

激光雷达（LiDAR）点云数据，是由三维激光雷达设备扫描得到的空间点的数据集，每一个点都包含了三维坐标信息，也是我们常说的X、Y、Z三个元素，有的还包含颜色信息、反射强度信息、回波次数信息等

三维激光点云数据特点

稀疏性、无序性、空间分布不均匀性、表示信息的有限性

在过去的几十年中，研究人员提出了许多3D人体姿态估计的数据集和基准测试，大大推动了这一领域的发展。这些数据集主要分为两类：室内场景和室外场景。

  • 室内场景数据集使用光学跟踪系统、摄像头阵列或RGB-D传感器来捕捉部分人体姿态。但这些设备在自然光下表现不佳，且缺乏深度信息，无法适用于室外场景。此外，摄像头阵列的同步也带来了物理限制。
  • 室外场景数据集通常通过在人体上安装IMU传感器（惯性测量单元）来捕捉人体的3D姿态。然而，IMU传感器在长时间的采集过程中容易产生漂移，从而导致姿态估计不准确。

引言还指出，当前室外3D人体姿态数据集存在几个主要的挑战：

  1. 获取精准的姿态真值困难，尤其是在大范围的室外场景中，很难为人群佩戴动作捕捉设备。
  2. 行人在图像中的尺寸较小，因为他们离传感器较远，给姿态估计带来挑战。
  3. 行人常常被其他个体或物体遮挡，使得姿态难以分辨。

为了解决这些问题，论文提出了Human-M3数据集，它采用了多视角RGB视频和LiDAR点云的结合，并且无需使用穿戴设备来捕捉人体的3D姿态。通过这种多模态的密集信息，提出的算法能够在复杂的多人物场景中提供更精确的姿态估计和真值标注。

点云数据格式

该数据集给出的是PCD格式，PCD 格式标准是为了更好支持 PCL 库而诞生的。

PCL库是什么？*

PCL(Point Cloud Library) 是一个大型跨平台开源的 C++ 编程库。该库实现了大量点云相关的通用算法和高效数据结构。涉及到点云获取、过滤、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。

关于 PCL 更多相关知识，可查看 PCL 官网 ：pointclouds.org/

**体素化（Voxelization）**是指将连续的三维空间划分为一个个立方体单元（即体素，Voxel，体积像素），每个体素类似于三维空间中的像素，用来表示空间中的体积单元。它将物体或场景的三维信息离散化，使得复杂的三维几何结构能够被计算机更容易地处理。体素化在3D计算机视觉、3D重建、医学影像分析等领域中被广泛使用。

在3D人体姿态估计任务中，体素化通常用于处理点云数据或其他三维信息。点云数据是由很多不规则分布的三维点组成的，而体素化可以将这些点映射到规则的三维网格中，每个体素代表一个立方体空间，通过这种方式将不规则的点云转化为规则的三维数据，使得后续的处理（如3D卷积神经网络）更加高效。

体素化的具体步骤：

  1. 空间划分：将三维空间（例如点云所在的区域）按照固定的体素大小划分成网格，形成一系列的三维立方体单元。
  2. 体素填充：根据点云或其他三维数据中的点的坐标，确定每个点落在哪个体素中。可以将包含点的体素设为“占用”（占有体素），其余没有点的体素设为“空的”。
  3. 特征表示：在每个占用的体素中，可以记录该体素包含的点的属性（例如密度、颜色、法向量等）。这些信息可以通过三维张量来表示，方便后续的神经网络处理。

体素化的优点：

  • 规则化三维空间表示：通过将不规则的点云映射到规则的三维网格，可以更好地使用卷积操作（如3D卷积神经网络）。
  • 简化计算复杂性：由于体素化会将三维空间划分为固定大小的单元，可以减少计算量，尤其是在处理大规模的三维数据时。
  • 便于特征提取：体素化后，空间数据可以与标准的三维卷积操作结合，便于提取多尺度的三维特征。

在本文中的应用：

在论文中，作者将LiDAR采集的点云数据进行体素化处理，然后通过体素化后的3D体积（occupancy volume）输入到3D卷积神经网络中进行3D人体姿态的估计。通过这种方式，点云数据的空间结构被有效地表示和处理，结合RGB图像中的2D姿态信息，最终提高了3D姿态估计的精度。

体素化对于处理大规模的3D点云数据特别有用，因为它将原始的稀疏、不规则的点数据转换为规则的网格形式，从而能够更容易地与其他模态的数据（如RGB图像）进行融合，并通过标准的深度学习方法进行特征提取和推断。

相关工作

在论文的相关工作部分，作者回顾了3D人体姿态估计（3D HPE）领域中的主要研究进展，主要集中在3D人体姿态数据集和3D姿态估计算法两个方面。

3D人体姿态数据集

image-20241012153800151.png

3D人体姿态估计算法

image-20241012154337283.png

方法

1. 数据采集（Data Acquisition）

Human-M3数据集采用了与之前工作类似的设备和场景设置，每个采集单元包含一个LiDAR（激光雷达）和一个同步的摄像头。数据集采集了四种不同类型的场景，包括：

  • 交叉路口（Intersection）
  • 广场（Plaza）
  • 两个不同类型的篮球场（Basketball1 和 Basketball2）

每个场景都由3到4个采集单元组成，这些单元围绕场景布置以捕捉行人的多视角数据。例如，篮球场景包含了10名球员的姿态数据，而广场和交叉路口场景则包括随机的行人、自行车手和骑摩托车的人。

最终，Human-M3数据集提供了总计89,642帧有效的3D人体姿态记录，这些记录可以用于评估不同算法在多模态、多视角条件下的3D人体姿态估计性能。

2. 数据标注（Data Annotation）

数据标注的流程由以下四个步骤组成：

a) 人体检测与跟踪（Human Detection and Tracking）
  • 首先，通过手动标注RGB图像和点云之间的对应点对来校准相机的外部参数。
  • 使用PointPillars算法进行行人检测，AB3DMOT算法进行跟踪，进一步将检测得到的三维边界框投影到每个相机视图中生成2D边界框。
  • 然后，使用ViTPose算法对每个相机视图中的行人进行2D姿态估计，从而得到像素级精度的2D关键点。该方法在不需要额外训练或多视图配准的情况下，提供了准确的2D姿态估计结果。
b) 时间序列人体姿态优化（Temporal Human Pose Optimization）

作者提出了一种基于优化的多人物姿态估计方法，结合稀疏的多视角2D姿态估计和点云数据来重建3D姿态。这个方法受到HuMoR和Smplify-x工作的启发，通过时间优化算法对每个人的3D姿态进行优化。

  • 使用SMPL模型的形状参数和姿态参数来描述人体，损失函数包括约束2D人体姿态和点云的Chamfer距离，以及人体的形状和姿态先验。
  • 该优化过程通过L-BFGS算法进行，最终得到优化后的3D姿态序列。
c) 手动审查（Manual Review）

由于遮挡和2D姿态估计不准确，有时自动生成的3D姿态可能存在误差。为此，作者通过将3D关键点投影到每个相机视图中进行视频合成，手动检查并修正不正确的人体姿态。如果某些帧的姿态不可修复，作者会删除这些帧。

3. 多模态3D人体姿态估计算法（A Simple Baseline for Multi-modal 3D HPE）

论文提出了一种简单的基于体素的多模态3D人体姿态估计方法，命名为MultiModal-VoxelPose (MMVP)。该方法结合了RGB图像和点云输入，整体架构如下：

a) 输入特征生成
  • 使用2D人体姿态估计器OpenPIFPAF从RGB图像中生成2D关键点热图。
  • 通过2D-3D投影将这些2D关键点热图转化为3D关键点热图。
  • 将点云数据体素化并生成一个3D占用体积（occupancy volume）。
b) 多模态特征融合
  • 将RGB图像生成的3D关键点热图与点云生成的3D体素化特征进行融合。这里使用了简单的级联（concatenate）方法将两种模态的特征组合在一起。
c) 3D卷积神经网络（3D CNN）
  • 融合后的多模态特征被输入到一个3D卷积神经网络（3D CNN）中，提取更丰富的3D特征并进行人体姿态的回归。
  • 该方法借鉴了VoxelPose的3D CNN结构，并进行了相应的损失计算。

总结

在方法部分，作者描述了如何利用多模态数据（RGB图像和点云）来解决3D人体姿态估计问题。提出的MMVP方法展示了简单的体素化方法在融合RGB和点云信息中的有效性，为进一步的多模态3D HPE算法研究提供了一个强有力的基线。

实验效果

在实验部分，作者通过一系列实验评估了Human-M3数据集的特性以及提出的多模态3D人体姿态估计算法（MMVP）的性能。该部分包含了实验设置、数据集特征分析、算法性能评估以及对多模态数据融合效果的讨论。

1. 实验设置与评价指标（Experimental Settings and Metrics）

a) 数据设置

Human-M3数据集被划分为训练集和测试集，每个场景90% 的数据用于训练，剩下的10%用于测试。该数据集包含四种不同的场景：篮球场1、篮球场2、广场和交叉路口。

b) 算法

作者评估了他们提出的多模态体素姿态估计算法（MMVP），并与几种现有的多视角和点云基的3D人体姿态估计算法进行了比较：

  • VoxelPose：一种基于RGB图像的多视角3D人体姿态估计算法。
  • PlaneSweepPose：另一种多视角RGB图像姿态估计算法，通过深度估计来推断3D姿态。
  • MVP：使用Vision Transformer进行多视角3D人体姿态估计。
  • V2V-PoseNet：基于点云的3D姿态估计算法。
c) 评价指标

实验使用以下几种常见的评价指标：

  • MPJPE（Mean Per Joint Position Error）：每个关节位置的平均误差，常用于评估姿态估计精度。
  • Recall（召回率）：在一个给定的阈值（500毫米）下，算法成功估计的姿态比例。
  • AP（Average Precision）：在多个阈值（75mm到150mm）下计算的平均精度，反映了算法在不同精度要求下的表现。

2. 数据集特征分析（Data Characteristics）

作者详细分析了Human-M3数据集的一些重要特征，并与其他数据集（如LiDARH26M和Panoptic）进行了比较。

a) 每个样本的点数

Human-M3 数据集中，每个人物在点云中的平均点数为200个左右，略高于LiDARH26M 数据集。由于传感器的环绕式布置，Human-M3 数据集为3D姿态估计提供了更为丰富的3D语义信息。

b) 遮挡的视角数量

分析了Human-M3和Panoptic数据集中行人被遮挡的视角数量。如果超过50%的视角被其他行人或物体遮挡，则该视角被认为是“遮挡的”。Human-M3数据集中出现了更多的遮挡情况，表明该数据集中的3D人体姿态估计任务更加具有挑战性。

c) 人物与LiDAR的距离

与LiDARH26M数据集相比，Human-M3数据集中的人物距离LiDAR较近，但最近的LiDAR距离人物仍超过10米，保留了户外场景的特征。

3. 算法性能评估（Evaluation and Discussion）

a) RGB图像与点云输入的对比

实验结果表明，基于点云的算法在姿态估计上的性能优于RGB图像的算法。例如，V2V-PoseNet的MPJPE值比VoxelPose低1.4厘米，召回率高出7.32%。这是因为在广阔的户外场景中，RGB图像容易因距离和遮挡丢失细节，而点云数据受这些因素的影响较小，能够提供更加可靠的位置信息。

b) 多视角融合方法的对比

不同的多视角融合方法也在实验中被比较：

  • PlaneSweepPose依赖于2D人体姿态的精确匹配来估计深度，在广阔的场景中深度估计的准确性较差，导致较低的召回率。
  • MVP通过Transformer从多个视角中找到一致性，但同样受限于2D特征的准确性，在远距离场景中表现不佳。
  • 相比之下，VoxelPose和MMVP基于体素的简单融合方法获得了更好的性能。
c) 多模态输入的作用

实验表明，简单地将RGB图像和点云的3D特征进行融合就可以显著提高姿态估计的性能。与单一模态输入相比，多模态输入使得MPJPE显著降低了2.6厘米（24%），而在各个阈值下的AP值也大幅提升。RGB图像提供了更多的纹理信息，而点云则提供了位置和尺度不变的信息，两者结合能够使模型从数据中提取到更加可靠的特征。

d) 在不同场景中的表现

在不同场景中，MMVP算法的表现存在显著差异。实验显示，交叉路口场景下的MPJPE值明显增加，召回率也下降到77.39%。这是由于该场景中的人物姿态分布差异较大，且在街景中车辆较多，行人的比例较小，导致算法在处理这类数据时的表现不佳。

e) 失败案例分析

作者还展示了两种常见的失败案例：

  • 遮挡和距离过远：在传感器较远、遮挡严重的情况下，点云数据较稀疏，算法难以准确估计姿态。
  • 人物过于接近：当两个人物非常接近时，不仅会导致视角遮挡，还会使得点云数据重叠，增加了姿态估计的难度。

4. 总结与讨论

实验表明，多模态数据输入显著提升了3D人体姿态估计的性能。MMVP作为一种简单的基线算法，通过体素化和3D CNN的方式有效融合了RGB图像和点云信息，在广阔户外场景下实现了较高的精度。然而，数据集中不同场景的分布不均衡，以及个别复杂场景下的表现下降，也表明未来需要进一步研究更为复杂的融合方法，以应对更加多样化的现实场景。

实验部分通过对比不同的算法、场景和数据模态，证明了Human-M3数据集在3D人体姿态估计任务中的挑战性和多模态数据的优势。

局限性和结论

在**Limitations（局限性）和Conclusion（结论）**部分，作者总结了论文的主要成果、研究的局限性，并指出了未来的研究方向。

1. 局限性（Limitations）

在局限性部分，作者提到了几个当前工作的不足之处：

  • 多视角采集的复杂性：虽然多视角场景被广泛认为是捕捉人体运动的最佳设置，但采集设备的配置和校准过程非常复杂且耗时。每个采集单元需要精确的空间和时间同步，这对大规模的应用构成了挑战。

  • 优化算法的局限性：提出的优化算法虽然在空间和时间域中提高了效率，但尚未结合如**变分自动编码器（VAE）**等方法（如HuMoR中提到的），这些更先进的方法可能会进一步提高姿态估计的精度。此外，当前的优化方法主要依赖于手动干预和筛选，自动化程度有限。

  • 数据集的场景和动作多样性有限：尽管Human-M3数据集覆盖了多个户外场景和人体动作，但作者指出这些场景和人体动作模式仍然有限，无法完全代表现实世界中的多样性。这表明需要更全面的数据采集策略，以涵盖更加广泛的真实场景。

  • 多模态融合技术的改进：当前的多模态融合技术虽然取得了不错的结果，但作者认为还有改进的空间。尤其是更高级的融合技术可能会进一步提升多模态数据集的潜力。

2. 结论（Conclusion）

在结论部分，作者总结了本文的主要贡献，并对未来研究进行了展望。

  • Human-M3数据集的提出：本文介绍了一个新的多视角、多模态、多人户外场景的3D人体姿态数据集——Human-M3。该数据集具备丰富的场景和人物交互数据，是目前3D HPE领域中最为全面的户外数据集之一。通过结合RGB图像和LiDAR点云，这一数据集为3D人体姿态估计提供了多样化的场景和更准确的真值数据。

  • 优化的数据采集与标注流程：作者开发了一种有效的方法，能够在复杂的户外多人物场景中高效采集和标注人体姿态数据，不依赖穿戴设备，并通过手动审查和插值修复，确保了姿态标注的精度。

  • 多模态基线算法：本文提出了一种基于多模态输入的3D姿态估计算法，名为MMVP，展示了将RGB图像与点云融合在3D HPE任务中的优势。实验结果表明，多模态数据融合能够显著提升姿态估计的准确性，尤其在复杂场景下，多模态结合的性能远超单一模态。

  • 未来展望：未来的研究可以进一步改进多模态融合技术，并扩展数据集的多样性以涵盖更加广泛的真实场景。随着多模态数据的日益重要，进一步探索如何充分利用这些数据将成为提升3D HPE精度的关键。

总的来说，这篇论文通过引入Human-M3数据集和提出的多模态融合算法，为3D人体姿态估计任务提供了新的研究基础和方向。

avatar
文章
阅读
粉丝