RAISR:
- RAISR: Rapid and Accurate Image Super Resolution --Yaniv Romano, 2017(211 Citations)
核心思想
LR patch A与滤波器 h 卷积 = HR像素 b
算法流程
offline阶段:X2SR
1、LR图通过bicubic插值,得HR初始图Y,Y的像素分为4个像素类型(P1-P4),分切\sqrt{n}*\sqrt{n}的patch
2、统计以P1像素类的像素y_i的patch内的h、v方向梯度信息g_h、g_v
3、根据g_h、g_v使用公式计算y_i的梯度angle、梯度strength、梯度coherence三种特征(类特征信息),P1像素类的像素根据三种特征归类;
其中,设置梯度Angle范围为[0,180],分为24段;梯度Strength和梯度Coherence范围为[0, 1.0],范围各分成3段。每个像素类的LR patch及其对应的HR patch可以分24x3x3=216梯度特征类中
4、假设Q包含一种梯度特征类的LR patch数据,V包含LR patch对应的HR patch数据,解最小二乘公式,得到每梯度特征类对应的h 其中,h表示每个梯度特征类对应的滤波器(类映射关系)
online阶段:
1、input图用bilinear插值得到HR初始图Y,分切patch y_i
2、找到y_i的中心像素对应的像素类型
3、统计patch y_i的梯度信息,求出梯度(Angle,Strength,Coherence)
4、根据像素类型和梯度(Angle,Strength,Coherence),在864个分类中,找到y_i对应的特征类型,提取对应滤波器
5、y_i和它对应的滤波器做卷积操作,得到patch y_i中心像素对应的HR图像素x_i
6、循环2-5步遍历全图Y,输出HR图X
(1-6步流程图见上图)
7、根据局部结构相似度修正HR图像异常像素点
(1-7步流程图见下图)
对训练图像集HR做锐化或对比度增强操作之后,再做训练。得到的滤波器可以使得重建图像清晰度、对比度更好,且不增加重建时间。
实验效果
filter滤波器大小 11x11,文本的滤波器用大小9x9