图像质量评估论文 | HALLUCINATED-IQA | CVPR2018这是“NR-IQA”其实看起来是FR的方法，

论文名称：“HALLUCINATED-IQA: NO-REFERENCE IMAGE QUALITY ASSESSMENT VIA ADVERSARIAL LEARNING”
论文链接：cn.arxiv.org/pdf/1804.01…

1 综述

这是“NR-IQA”其实看起来是FR的方法，即数据集仅需要失真图像，而不需要原始的真实图像。这篇文章的思想很简单，没有算法的创新，主要的贡献是引入GAN来解决NR-IQA中没有真是图像的问题，并且在工程上得到了成功。内容创新力度不足，而且称自己是NR但是论文中实际介绍的是FR方法，对此表示疑问。不过其中还是有一些小细节和技巧可以学习。

2 结构

整体的结构如下：

distorted image是失真图片，通过上面的生成器得到一个生成的参考图，“Generated Hallusinated Reference”，这个幻觉图就被认为是真实的图像。
然后distorted Image和distorted Image与Hallusinated Reference的差值这两个东西作为输入，输入到Hallucinated-Guided Quality Regression Network中得到模型对失真模型的打分。

说白了就是三个模型：生成器，判别器，质量分数回归器

3 损失函数

这个论文主要是工程上的成功，所以咱们看下这个损失函数，基本上这个论文就过了。

3.1 生成器损失

N是distort Image（失真样本）的集合。 $l_p,l_s$ 是两个函数， $G_\theta$ 是生成器, $I_d$ 是distorted Image失真样本， $I_r$ 是Hallusinated reference生成样本。

接下来看 $l_p,l_s$ 是两个函数： $l_p$ 是一个类似MSE，在生成图像和ground truth之间的一个像素级别的MSE。

$l_s$ 又是一个很长的损失，其中包含两个函数 $l_v,l_q$

$\phi_j()$ denotes the feature map at the j-th layer of VGG-19
$\pi_k()$ denotes the feature map at the k-th layer of R
H 和 W分别是图像的两个维度height，width；
在VGG-19（判别器）中，计算对应层的真假图像的特征图像素级别的MSE来作为损失；同时还要计算在质量回归网络中的对应层的真假图像的特征图像素级别的MSE。这两个损失函数的目的是让生成图像和真实reference在分类结果上实现一致

【个人总结】：生成器的损失函数包含三部分：像素差异，语义差异，质量差异。

3.2 判别器损失

一般常见的GAN的判别器的损失就是二值交叉熵，但是作者认为，并不应该把所有生成的图像都作为负样本，应该把可以有利于质提升量回归网络的精度的样本分为正样本，把不利于提升的作为副样本，所以损失函数变成下面的样子：

其中 $f_{fake}$ 是一个0或者1的变量：可以看到，生成的hallucinated reference和distorted image得到的质量分数和标注的相差不多，那么hallucinated reference就是正样本；反之就是副样本

3.3 质量回归器损失

Discrepancy Map：作者把生成的Hallucinated Reference 和 distorted Image的差值称为Discrepancy Map。
R：质量回归器，R的输入有两个，一个是distorted Image，另外是discrepancy map，论文称这样解决了质量回归模型没有reference的弊端。

从上面的模型图中可以看到，从生成器中抽取了一个high-level semantic，然后fusion到了质量回归网络中，这一个步骤是一个我觉得还不错的技巧。关于这个high-level semantic fusion的符号解释如下：

总之，这个质量回归的损失如下：

说白了还是一个l1损失，只是这个模型中需要考虑一个生成器中得到的high level semantic。

4 个人评价

我觉得这篇文章的质量在CVPR中，只能算下层把。文中的方法不优美，而且说是non-reference的框架，但是训练过程中依然用到了true reference。在看论文的过程中不仅看到了论文，还看到一定的水分。

参考文章：