DeepRemaster: Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement
ACM Transactions on Graphics 2019.11
简介
对老式胶片视频重制包括超分辨率、去噪、对比度增强、上色等问题，目标在于使老式胶片视频恢复结果具有现代视频的画面清晰，色彩鲜艳，细节明显等特点。文章设计了一个半交互式的网络来解决整个视频重置任务。文章特点在于，该网络能够参考任意数量的彩色图像，并且无需保持时间一致性。
Motivation
过去有许多图像质量不佳但是经典的视频，如果通过人工修复的方式价格过于高昂。因此文章提出了对旧视频重制的研究。
基于递归的网络仅逐帧传播信息，因此无法并行处理，且无法形成长依赖关系和丢失时间一致性。而基于源参考关注的网络（文章方法）能够在处理任何帧时使用所有参考信息。
Model
网络结构如图所示，其中两种颜色的卷积层分别为时间卷积和空间卷积。
第一部分的卷积结果被短连接送到网络最后，作为亮度通道。而
除此之外，文章中的红色边的Source-Reference Attention层将参考图像和输入图像融合起来。
其中
、
、
为卷积操作，而
为reshape操作，特征值不改变。
数据和训练
数据集
文章采用很多方式对数据进行增广。其中
为输入图像，
为Gth，
为参考图像。
这些示例是通过使用关键字“胶片噪声”的网络搜索收集的，并且还使用Adobe After effect软件生成。对于产生的噪声，使用分形噪声来生成基本噪声模式，然后可以通过修改对比度，亮度和色调曲线来获得划痕和类似灰尘的噪声，从而对其进行改进。
对比和测试
指标对比
在输入帧增加情况下，指标得到了进一步的提高，原因是时间信息得到交流。
结果展示
上图为降级噪声
上图为上色
