神经符号PhysORD：结合拉格朗日与数据驱动的越野自动驾驶中的物理运动预测方法

自动驾驶实战
179 阅读13分钟

神经符号PhysORD：结合拉格朗日与数据驱动的越野自动驾驶中的物理运动预测方法# 神经符号PhysORD：结合拉格朗日与数据驱动的越野自动驾驶中的物理运动预测方法

Abstract

运动预测对自动驾驶越野行驶至关重要，然而由于车辆与地形之间的复杂交互，越野行驶比公路行驶面临更多挑战。传统的基于物理的模型在精确建模动态系统和外部干扰时遇到困难。相比之下，数据驱动的神经网络需要大量数据集，并且难以明确捕捉基本的物理定律，这很容易导致泛化能力差。通过融合这两种方法的优势，神经符号方法展现了很大的潜力。这些方法将物理定律嵌入神经模型中，有望显著提高泛化能力。然而，以往的工作尚未在越野驾驶的实际场景中进行评估。为填补这一空白，我们提出了PhysORD，一种将守恒定律（即欧拉-拉格朗日方程）与数据驱动神经模型结合的神经符号方法，用于越野驾驶中的运动预测。实验表明，PhysORD能够准确预测车辆运动，并通过建模不确定性来应对外部干扰。在准确性和效率方面，它均优于现有方法，展示了其在长期预测中的数据高效学习和泛化能力。

源代码地址：github.com/sair-lab/Ph…

 欢迎加入自动驾驶实战群

图片

Introduction

传统的基于物理的模型依赖于来自基本原理（如牛顿运动定律）推导的运动公式进行车辆状态预测。尽管在泛化能力上有效，但它们难以准确建模越野驾驶中复杂的动态系统和外部干扰。而在越野条件下，不规则地形（如凸起和载荷变化）导致系统表现出高度的非线性和非稳定性。基于理想假设的模型（如运动学模型），以及带有简化噪声假设的状态估计算法（如卡尔曼滤波器），在面对外部干扰时，难以进行长期运动预测。

当前的神经网络模型在状态预测上取得了进步，但依赖大量数据且在长期预测和新环境中泛化能力有限。神经符号方法通过结合物理定律和数据驱动学习，提高了模型的泛化能力，尽管如此，它们在现实世界中的稳定性和鲁棒性仍需进一步验证。

为弥补这一空白，本文将神经符号方法扩展至预测越野驾驶场景中的车辆运动。假设复杂系统由已知的物理演化过程和未知的外部干扰组成。这使我们能够利用符号推理来建模已知的物理演化过程，并使用数据驱动的组件来应对未知的不确定性。具体而言，本文将越野车辆建模为受控的拉格朗日系统，该系统在Lie群上演化，并遵循守恒与对称性原理。与广泛使用的运动学模型相比，拉格朗日力学不仅捕捉了基本的物理定律，还为动态系统提供了更通用的视角，尤其是在运动学过程极其复杂的越野场景中。此外，本文使用神经网络估计力和势能，以编码不确定性并学习外部干扰的影响。

3.Method

A. 概述

越野车辆的运动预测任务可以表述如下：给定初始状态、初始观测以及动作序列 图片，目标是预测未来状态序列 图片。为此，如图2所示，我们引入了 PhysORD，一个结合神经网络与符号模型的神经符号模型，以有效捕捉越野车辆的动力学。对于每个时间步 t，PhysORD 执行前向预测：

图片

其中 图片表示车辆状态，包括其姿态及其线速度和角速度 。在经过 n 次前向预测迭代后，我们得到状态。

为了准确进行物理注入的前向预测，PhysORD 将已知的物理过程与难以观察的动力学分开。该动力系统守恒能量，并用离散欧拉-拉格朗日方程描述。然而，精确量化势能和外力是具有挑战性的。为填补这一空白，我们使用两个神经网络 ( 和 ) 来预测这些因素。推断出的值随后被集成到符号模型中，符号模型基于物理符号计算下一个状态。在反向传播过程中，符号模型引导梯度来优化神经网络。接下来，我们首先阐述基于欧拉-拉格朗日方程的符号模型，然后介绍用于估算势能和外力的神经网络。

图片

B. 符号模型

我们采用拉格朗日和哈密顿力学开发了一个辛映射来更新状态。演化遵循守恒定律并保留了在 Lie 流形上施加的约束结构。哈密顿力学用广义坐标描述了动态系统的能量。根据哈密顿变分原理，系统的实际轨迹是在时间区间 T 上使作用积分在变化下保持不变的轨迹：

图片

其中 L(·) 是系统的拉格朗日函数。在涉及外力或控制 u(t) 的场景中，该原理扩展为拉格朗日-达朗贝尔原理：

图片

其中 是作用于系统的广义力。通过使用变分积分器对其作用积分进行离散化，可以得到强制离散欧拉-拉格朗日方程：

图片

这里，图片和图片 表示连续时间步的状态，时间间隔为 h，是对第 i 个变量的偏导数。在离散环境中近似连续拉格朗日力。

对于越野车辆动力学，广义坐标 q 包括位置 x 和方位 R，演变在李群 SE(3) 上。系统的动能和势能定义了拉格朗日函数 L，如下所示：

图片

其中 U 是势能，m 和 J 分别是质量和惯性矩阵。通过将离散车辆拉格朗日方程应用于离散欧拉-拉格朗日方程 (4)，经过详细推导过程，可以得到从 t 到 t+1 的状态更新方程：

图片

其中 α ∈ [0, 1]，定义为图片，是反对称矩阵，图片。鉴于地面车辆的质量和体积较大，精确确定势能导数具有挑战性。此外，车辆与地形的复杂交互使得力的计算变得复杂。因此，我们用神经网络来模拟那些未知的（用蓝色标识的）信息，分别记为 和。公式如下：

图片

位置使用方程 (6a) 更新。为了确定更新旋转 R 的旋转矩阵 ，可以通过牛顿法几步求解方程 (6b)。整合这些结果后，我们可以获得势能导数图片，这反过来又会影响方程 (6d) 和 (6e) 中的线速度和角速度和的更新。因此，我们建立了一个完整的状态更新映射：

图片

C. 神经网络

为了解决广义力和势能的物理信息空缺问题，我们使用了两个多层感知机图片和来从状态、观测和动作输入中学习这些因素。

1.势能图片：对于简化为质点的刚体，计算势能是相对简单的。然而，汽车的质量和体积较大，再加上运动过程中悬挂和其他组件的变化，会引入显著的误差。此外，动态系统的演化利用了势能的偏导数，如方程 (4) 中的偏导数所示。我们没有在优化过程中估算势能并计算其微分，而是实现了一个三层 MLP 来直接预测这些微分。这种方法从车辆的姿态图片生成一个十二维向量 ：

图片

MLP 配置包括一个基于姿态的输入层，一个具有10个单元的隐藏层和一个输出层，生成导数 和，直接有助于动力学的演化。正如第IV-H节中所展示的，该方法被证明能够产生更准确的结果。

  1. 外力 图片：越野车辆的外力受到许多因素的显著影响，包括驾驶员输入和地形相互作用，这些因素由于其复杂性和不确定性而难以计算。因此，与其使用预定义公式计算力，其中动作输入通过可学习参数缩放，我们使用外力 MLP 来从动作、状态和观测的组合中推断出力：

图片

其中 a 包括油门、转向和刹车，b 测量了各车轮速度与车辆总体速度之间的差异，指示了地形和环境效应。这些输入与车辆速度相结合，由 MLP 处理。MLP 的层配置为（13, 64）、（64, 64）和（64, 6），预测 x、y、z 轴上的力以及俯仰、横滚和偏航的力矩。

D. 损失函数

为了优化神经网络，我们采用了一个损失函数，该函数最小化预测状态图片与真实值之间的差异。对于 x、v、ω，我们计算它们的欧氏距离：

图片

对于在 SO(3) 空间中操作的旋转矩阵，我们确定了归一化后与之间的相对旋转，然后计算测地距离：

图片

总损失定义为图片

Experiment

图片

图片

图片

训练：我们比较了数据驱动的基线模型和PhysORD在相同训练时间内达到的最佳RMSE误差，如图3所示。由于注入了先验的物理知识，PhysORD在初始阶段的误差较低，并且经过快速优化后，获得了更好的最终表现。值得注意的是，PhysORD在0.17%的训练时间内达到了TartanDrive的优化性能，如图3所示。此外，PhysORD的测试误差下降更加平稳，相较于数据驱动方法的显著波动，表现出了更强的稳定性。这表明符号模型能够有效地指导神经网络的优化，克服纯神经方法在大搜索空间内学习越野复杂场景模式时所面临的挑战。

推理：为了评估推理效率，我们测量了模型单次前向传播所需的浮点运算（FLOPs）。表II显示，PhysORD消耗的计算量仅为TartanDrive单次推理所需计算量的23.4%。这一显著的减少源于PhysORD的神经网络架构更为简单，其参数量比TartanDrive少了96.9%。

图片

长期预测泛化能力

我们通过测量模型从短期序列学习到长期序列预测的能力，评估了其泛化能力。在第IV-C节中，数据驱动的基线模型和PhysORD最初都在跨越20个时间步的状态数据上进行训练和测试。为了评估它们的泛化能力，我们用5个时间步的序列重新训练了这两个模型，并评估它们在第20个时间步的状态预测准确性，结果见表III。

随着训练数据时间步的减少，模型之间的性能差距从24.0%增加到50.1%的位置误差差距。与表IV-C中的结果相比，数据驱动方法的位置信误差增加了98.3%，而PhysORD的位置信误差仅增加了30.2%。值得注意的是，训练了5个时间步数据的PhysORD在RMSE误差和位置误差上均优于训练了20个时间步的TartanDrive。

图片

数据效率

模型训练所需的数据量是影响实际应用的另一个重要因素，尤其是在越野驾驶中，数据收集具有挑战性。我们通过测试不同百分比的数据用于训练来评估PhysORD的性能：1%、10%、50%、80%和100%。如图4所示，我们展示了数据驱动的基线模型和PhysORD在这些数据规模下的RMSE误差。即使数据量减少到训练集的1%，包括5条连续的轨迹，形成647个20步数据序列，其对性能的影响也是微乎其微的，RMSE误差仅从0.7297增加到1.4326。相比之下，TartanDrive的预测误差放大了近5.9倍。

图片

 定性结果

评估集捕捉了越野驾驶中的多种挑战，包含不同运动轨迹的车辆。这些轨迹可以根据地面真实数据中识别的运动类型分为四类：直线转弯、轻微转弯、连续转弯和振荡。每一类中都观察到了包括加速、匀速和减速在内的速度变化。我们在图5中展示了覆盖这些不同运动类型的20步预测轨迹的视觉比较，突出了PhysORD的性能提升。

PhysORD在长期运动预测中表现出色，提供了更准确的轨迹。尽管数据驱动模型可以通过大量数据捕捉基本的运动模式，如直线运动和转弯，但它在精确处理越野动力学时表现乏力，尤其是在步数增加的情况下。这一问题在复杂条件下，如非匀速运动和振荡，尤为严重，正如图5最后一列所示。然而，PhysORD通过利用欧拉-拉格朗日运动方程，并有效地从神经网络中学习不完全的知识，生成了稳定且准确的轨迹，接近真实数据。在像减速振荡这样的复杂运动下，PhysORD的表现优于数据驱动方法，展现了其在捕捉轨迹方面的优越适应性。
图片

消融实验

如表IV所示，符号模型在我们的神经符号方法中至关重要。没有基础的物理知识，纯神经方法难以准确预测外部因素对越野车辆动力学的影响。Ours-F与PhysORD的比较表明，我们的F-NN能更有效地捕捉外部动作的影响，从而在越野驾驶中取得更好的性能。势能多层感知机的变化影响较小，主要是由于地面车辆在Z轴上的移动相对较小。

结论

文章的主要贡献可以概括为：

1.提出了一种面向越野驾驶的物理注入运动预测模型PhysORD，结合了物理定律和神经网络。2.在现实世界的TartanDrive数据集上进行的广泛实验表明，PhysORD的准确性比数据驱动方法提高了46.7%，同时减少了96.9%的参数量，展示了其在长期预测中的数据高效学习和泛化能力。

文章引用：

PhysORD: A Neuro-Symbolic Approach forPhysics-infused Motion Prediction in Off-road Driving

最后别忘了，帮忙点“在看”。  

您的点赞，在看，是我创作的动力。

AiFighing是全网第一且唯一以代码、项目的形式讲解自动驾驶感知方向的关键技术。

关注我的公众号auto_driver_ai(Ai fighting), 第一时间获取更新内容。

扫码加入自动驾驶实战知识星球，即可快速掌握自动驾驶感知的最新技术：环境配置，算法原理，算法训练，代码理解等。

avatar
文章
阅读
粉丝