Peeking into the Future

该部分是论文 Peeking into the Future: Predicting Future Person Activities and Locations in Videos CVPR 2019 的学习笔记

摘要

任务：预测行人的未来轨迹 + 行为

证明了行为预测有助于轨迹预测

介绍

行人的轨迹依赖于其自身的行为意图，如下图所示，行人如果要装货上车，可能对应着黄色轨迹；而若其想给左下角的人送东西，则对应着绿色轨迹。左下角的人在向他招手，显然绿色轨迹是正确的

相关工作

之前的工作把行人用点表示，或者利用了部分的视觉特征

本文着重点在利用了丰富的视觉特征

方法

两个模块抽取特征，一个用来处理行人的行为，另一个用来处理行人和场景之间的交互

最终通过多任务学习输出轨迹和行为的预测结果

行人行为模块一方面是提取外观特征，另一方面是提取关键点信息

行人场景交互模块一方面是建模物体之间相对的位置信息，另一方面是场景的语义信息

The Garden of Forking Paths

该部分是论文 The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction CVPR 2020 的学习笔记

介绍

相同的场景下，行人可能对应多种轨迹的可能，本文主要关注 Multi-future 的轨迹预测

作者根据现实场景，在模拟器中进行重建，随后给定起点和终点，让标注员走出安全且不同的轨迹，从而可用于 Multi-future 模型的评测

行人位置 + 场景语义分割做编码，送入两个解码器做解码

Coarse 解码器负责输出行人未来可能的位置 heatmap，Fine 解码器负责给出每个可能位置的朝向信息