持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第24天，点击查看活动详情

摘要

  人群流量预测对交通管理和公共安全具有重要意义，同时也受到跨区域交通、事件、天气等复杂因素的影响，具有很大的挑战性。我们提出了一种基于深度学习的方法，称为ST-ResNet，用来集体预测城市每个区域的人群流入和流出。基于时空数据的独特属性，设计了一种端到端的ST-ResNet结构。更具体地说，我们使用残差神经网络框架来建模人群交通的时间距离、周期和趋势属性。针对每个特性，我们设计了残差卷积单元的分支，每个分支都模拟了人群交通的空间特性。ST-ResNet学会基于数据动态聚合三个残差神经网络的输出，给不同的分支和区域分配不同的权重。聚合进一步结合外部因素，如天气和星期几，预测每个地区的人群最终流量。对北京和纽约两种类型的人群流动的实验表明，提出的ST-ResNet优于6种已知的方法。

简介

  预测城市的人流量对交通管理和公共安全具有重要意义(Zheng et al. 2014)。例如，在2015年的上海跨年庆典上，大量人群涌入一个狭长地带，导致了灾难性的踩踏事件，造成36人死亡。2016年7月中旬，数百名“精灵宝可梦Go”玩家跑过纽约中央公园，希望抓住一个特别罕见的数字怪物，导致那里发生了危险的踩踏事件。如果可以预测一个地区的人流量，就可以通过使用紧急机制，如实施交通管制、发出警告或提前疏散人员，来减轻或防止这种悲剧。

  本文预测了两种人群流动类型(Zhang et al. 2016):流入和流出，如图1(a)所示。流入是指在一定时间间隔内从其他地方进入一个地区的人群的总流量。外流指的是在一定时间间隔内离开一个地区前往其他地方的人群的总交通流量。这两种流动都追踪人群在地区之间的转移。了解它们对风险评估和交通管理非常有益。资金流入/流出

  可以通过行人数量、附近道路上行驶的汽车数量、乘坐公共交通系统(如地铁、公共汽车)的人数来衡量，如果有数据的话，可以将所有这些综合起来衡量。图1(b)给出了一个例子。我们可以用手机信号来测量行人的数量，可见r2的流入和流出分别为(3;1)分别。同理，利用车辆的GPS轨迹，两种流类型分别为(0;3)。

预备知识

在本节中，我们将简要回顾人流量预测问题(Zhang et al. 2016;Hoang, Zheng, and Singh 2016)，并介绍了深度剩余学习(He et al. 2016)。

人流量问题的制定

定义1 (Region (Zhang et al. 2016))根据不同的粒度和语义，位置有很多定义。在本研究中，我们根据经纬度将一个城市划分为I \times J网格地图，其中网格表示一个区域，如图2(a)所示。

定义2(流入/流出(Zhang et al. 2016))设$\mathbb{P}$是$t^{\text {th}}$时间间隔上的轨迹集合。对于位于第$i^{\text {th}}$行和第$j^{\text {th}}$列的网格(i, j)，在时间间隔$t$处人群的流入和流出分别定义为

其中$\operatorname{Tr}$: $g_{1} \rightarrow g_{2} \rightarrow \cdots \rightarrow g_{|T r|}$是$\mathbb{P}$中的轨迹，$g_{k}$是地理空间坐标;$G_ {k} \in(i, j)$表示点$G_ {k}$位于网格(i, j)内，反之亦然;$|\cdot|$表示集合的基数。

在$t^{\text {th}}$时间区间，所有I \times J区域的流入和流出可以表示为一个张量$\mathbf{X}_{t}\ in \mathbb{R}^{2 \times I \times J} where \left(\mathbf{X}_{t}\right)_{0, I, J} =x_{t}^{I n, I, J}，\left(\mathbf{X}_{t}\right)_{1, I, J} =x_{t}^{\text {out}， I, J}$。流入矩阵如图2(b)所示。

形式上，对于一个由$I \times J$网格图表示的空间区域上的动力系统，随着时间的推移，每个网格中有两种类型的流动。因此，任何时刻的观测可以用一个张量$\mathbf{X} \in \mathbb{R}^{2 \times I \times J}$表示。

问题1给定历史观察$\left\{\mathbf{X}_{t} \mid t=\right.0， \cdots, n-1\}$，预测$\mathbf{X}_{n}$

深度残差学习

深度残差学习(He et al. 2015)允许卷积神经网络具有100层甚至超过1000层的超深结构。该方法已经在多个具有挑战性的识别任务中显示了先进的结果，包括图像分类、目标检测、分割和定位(He et al. 2015)。

形式上，具有标识映射的残差单元(He et al. 2016)定义为:

其中$\mathbf{X}^{(l)}和\mathbf{X}^{(l+1)}$分别为$l^{t h}$残差单元的输入和输出;\mathcal{F}是残差函数，例如，两个$3 \times 3$卷积层的堆栈(He et al. 2015)。残差学习的核心思想是学习关于$\mathbf{X}^{(l)}$的加性残差函数$\mathcal{F}$ (He et al. 2016)。

深度时空残差网络

图3展示了ST-ResNet的体系结构，它由四个主要组件组成，分别建模时间紧密度、周期、趋势和外部影响。如图3的右上部分所示，我们首先使用定义1和定义2中介绍的方法，将流经城市的每个时间间隔的流入和流出分别转化为两个通道的类图像矩阵。然后我们将时间轴分成三个片段，分别表示最近的时间、近历史和遥远的历史。然后将每个时间片段中区间的2通道流矩阵分别输入前三个组件，分别对上述三个时间属性进行建模:接近度、周期和趋势。前三个组成部分与卷积神经网络共享相同的网络结构，然后是残差单元序列。这种结构体现了远近区域之间的空间依赖性。在外部组件中，我们从外部数据集中手动提取一些特征，如天气条件和事件，将它们输入到一个两层完全连接的神经网络中。将前三个分量的输出融合为基于参数矩阵的$X_{Res}$，对不同区域不同分量的结果赋予不同的权重。$X_{Res}$与外部组件$X_{Ext}$的输出进一步集成。最后，聚合映射到[−1;1]，它在反向传播学习过程中产生比标准逻辑函数更快的收敛(LeCun et al. 2012)。

前三个成分的结构

前三个分量(即接近度、周期、趋势)具有相同的网络结构，由卷积和残差单元两个子分量组成，如图4所示。

卷积。 一个城市通常有很大的规模，包含许多不同距离的区域。直观地看，附近区域的人群流动可能会相互影响，卷积神经网络(CNN)可以有效地处理这一问题，它显示出了强大的分层捕获空间结构信息的能力(LeCun et.al.1998)。此外，地铁系统和高速公路连接两个地点的距离很远，导致遥远的地区之间的依赖。为了捕获任何区域的空间依赖性，我们需要设计一个具有许多层的CNN，因为一个卷积只考虑空间上的近依赖性，受其内核大小的限制。在输入和输出具有相同分辨率的视频序列生成任务中也发现了同样的问题(Mathieu, Couprie，和LeCun 2015)。已经引入了几种方法来避免子采样带来的分辨率损失，同时保留远程依赖(Long, Shelhamer，和Darrell 2015)。与经典CNN不同的是，我们不使用子采样，而只使用卷积(Jain et al. 2007)。如图4(a)所示，有三个多层的特征映射，它们通过一些卷积连接起来。我们发现，高层特征图中的一个节点依赖于中层特征图中的九个节点，而中层特征图中的九个节点又依赖于低层特征图中的所有节点(即输入)。这意味着一个卷积自然地捕获空间上的近依赖关系，而一堆卷积可以进一步捕获遥远的甚至城市范围内的依赖关系。

图3的紧密度分量采用了最近时间区间的几个2通道流矩阵来建模时间紧密度依赖。设最近的片段为$\left[\mathbf{X}_{t-l_{c}}， \mathbf{X}_{t-\left(l_{c}-1\right)}， \cdots， \mathbf{X}_{t-1}\right]$，也称为紧密依赖序列。我们首先将它们与第一个轴(即时间间隔)连接起来，作为一个张量$\mathbf{X}_{c}^{(0)} \in \mathbb{R}^{2 l_{c} \times I \times J}$，然后进行卷积(即图3所示的Conv1):

其中$*$表示卷积;$f$是激活函数，例如整流器$f(z):=\max (0, z)$ (Krizhevsky, Sutskever, and Hinton 2012);$W_{c}^{(1)}、b_{c}^{(1)}$是第一层的可学习参数。

残差单元。 众所周知，尽管使用了众所周知的激活函数(如ReLU)和正则化技术，但深度卷积网络会损害训练效果(Ioffe和Szegedy 2015;Krizhevsky, Sutskever和Hinton 2012;Nair和Hinton 2010)。另一方面，我们仍然需要一个非常深入的网络来捕获非常大的全市范围的依赖关系。对于一个典型的人群流数据，假设输入大小为32 × 32，并建模全市依赖性(即，高层层中的每个节点依赖于输入的所有节点)，它需要超过15个连续的卷积层。为了解决这一问题，我们在模型中使用了残差学习(He et al. 2015)，该方法已被证明对于训练超过1000层的超深度神经网络非常有效。

在我们的ST-ResNet中(见图3)，我们在Conv1上堆叠L个残差单元如下:

其中$\mathcal{F}$是残差函数(即“ReLU + Convolution”的两个组合，见图4(b))， $\theta^{(l)}$包括$l^{t h}$残差单元中所有可学习的参数。我们还尝试了在ReLU之前添加的批处理归一化(BN) (Ioffe和Szegedy 2015)。在$L^{t h}$残差单元之上，我们添加一个卷积层(即如图3所示的Conv2)。有2个卷积和L个残差单元，图3的紧密度分量的输出是$\mathbf{X}_{c}^{(L+2)}$。

同样，使用上述操作，我们可以构造图3的周期和趋势组件。假设周期片段有l_{p}个时间间隔，周期为p。因此，周期相关序列为$\left[\mathbf{X}_{t-l_{p} \cdot p}， \mathbf{X}_{t-p} {t-\left(l_{p}-1\right) \cdot p}， \cdots， \mathbf{X}_{t-p}\right]$。通过卷积运算和等式2和3中的L个残差单位，周期分量的输出是$\mathbf{X}_{p}^{(L+2)}$。同时，趋势分量的输出为$\mathbf{X}_{q}^{(L+2)}$，输入为$\left[\mathbf{X}_{t-l_{q} \cdot q}, \mathbf{X}_{t-\left(l_{q}-1\right) \cdot q}, \cdots, \mathbf{X}_{t-q}\right]$，其中$l_{q}$为趋势相关序列的长度，q为趋势span。注意p和q实际上是两种不同类型的周期。在详细的实现中，p等于一天，描述了每日的周期性，q等于一周，揭示了每周的趋势。

外部组件的结构

交通流量会受到许多复杂的外部因素的影响，如天气和事件。从图5(a)可以看出，节假日(中国春节)期间的人流量可能与正常工作日的人流量有显著差异。图5(b)显示大雨使办公区域的人流较后一周同日大幅减少。设$E_{t}$为在预测时间区间t上表示这些外部因素的特征向量。在我们的实现中，我们主要考虑天气、节日事件和元数据(例如DayOfWeek、工作日/周末)。详细信息见表1。预测t时间间隔的流量，可以直接得到节日事件和元数据。然而，未来时间间隔t的天气是未知的。相反，可以使用时间间隔t的预报天气或时间间隔$t-1$的近似天气。形式上，我们将两个完全连接的层叠加在$E_{t}$上，第一层可以被视为每个子因子的嵌入层，然后是激活层。第二层用于将具有与$\mathbf{X}_{t}$相同形状的低维映射到高维。图3的外部组件的输出表示为$\mathbf{X}_{E X t}$，参数为$\theta_{E X t}$。

融合

在本节中，我们将讨论如何融合图3中的四个组件。我们首先用基于参数矩阵的融合方法融合前三个分量，然后进一步与外部分量结合。

图6(a)和(d)显示了使用表1中北京轨迹数据的比率曲线，其中x轴是两个时间间隔之间的时间差距，y轴是具有相同时间差距的任意两个流入之间的平均比率值。两个不同区域的曲线在时间序列上都表现出经验的时间相关性，即近期时间间隔的流入比遥远时间间隔的流入相关性更强，具有时间上的密切性。这两条曲线的形状不同，说明不同的区域可能有不同的接近特征。图6(b)和(e)描述了7天的所有时间间隔的流入情况。我们可以看到两个地区有明显的日周期性。在办公区域内，工作日的峰值要远远高于周末的峰值。住宅面积在工作日和周末有相似的峰值。图6(c)和(f)描述了2015年3月至2015年6月周二某个时间段(晚上9:00 -9:30)的流入情况。随着时间的推移，办公区域的流入量逐渐减少，居住区域的流入量逐渐增加。它显示了不同地区的不同趋势。综上所述，两个地区的流入都受到密切程度、时期和趋势的影响，但影响程度可能有很大差异。我们在其他地区也发现了同样的属性，以及它们的流出。

最重要的是，不同区域都受到密切程度、时期和趋势的影响，但影响程度可能不同。在这些观察的启发下，我们提出了一种基于参数矩阵的融合方法。

Parametric-matrix-based融合。我们将图3的前三个组成部分(即接近度、周期、趋势)融合如下

其中$\circ$是Hadamard乘积(即元素智慧乘法)，$\mathbf{W}_{c}， \mathbf{W}_{p}$和$\mathbf{W}_{q}$分别是可学习的参数，它们分别调节受密切度、周期和趋势影响的程度。

融合外部组件。这里我们直接将前三个组件的输出与外部组件的输出合并，如图3所示。最后，在$t^{t h}$时间区间上的预测值，用$\widehat{\mathbf{X}}_{t}$表示，定义为

\mathcal{L}(\theta)=\left|\mathbf{X}{t}-\widehat{\mathbf{X}}{t}\right|_{2}^{2}

R M S E=\sqrt{\frac{1}{z} \sum_{i}\left(x_{i}-\hat{x}_{i}\right)^{2}}