摘要

图像清晰度评价是图像质量评价中的一个重要组成部分，对于自动对焦、图像压缩、视频封面提取等应用具有重要意义。目前图像清晰度评价可分为有参考图像清晰度评价和无参考图像清晰度评价[1]。

对于无参考清晰度评价，文献[2]提出了基于强边缘宽度直方图的评价方法，能够较好地评价散焦模糊和轻微运动模糊的图片清晰度，但是不能准确地评价信噪比低以及较大运动模糊的图片。文献[3]提出了基于最低方向高频能量的运动模糊检测方法，能够较好地检测出图像中的运动模糊，但是无法处理非运动模糊图像的情况。

本文参考文献[2]和文献[3]，提出了“基于强边缘有效性统计”的评价指标，利用该指标可以评价不同内容、不同模糊类型的图片清晰度。

模糊类型

对于图像清晰度的理解，可以反过来看成对图像模糊的理解，越模糊的，越不清晰。而图像模糊可能有多种原因造成：散焦模糊、运动模糊、噪声、失真等。

目前针对散焦模糊和运动模糊，已有文献[2]和文献[3]分别做了相关的工作和研究。它们分别是《基于强边缘宽度直方图的图像清晰度指标》和《基于最低方向高频能量的运动模糊检测》

散焦模糊图片评价

文献[2]提出了“基于强边缘宽度直方图的图像清晰度指标”的方法，该方法首先利用Sobel算子检测边缘，然后统计这些边缘上的边缘宽度，建立直方图，最后计算评价值。

该方法对于信噪比高的图片效果较好，但是对于信噪比低的图片无法适用，因为往往这个时候检测到的边缘可能不是真实的物体边缘。比如对于运动模糊严重的图片，检测到的边缘往往是运动造成的“拖影”。

我们使用该评价方法测试该方法对散焦模糊和运动模糊的评价情况：

（水平梯度评价/竖直梯度评价 值越小，表示质量越高）

如上图，运动模糊的图，由于运动模糊较为严重，导致边缘检测检测不到真实的边缘，造成该方法的评价结果反而优于散焦模糊（评价值越小越代表越清晰）。但是我们主观感受明显是认为散焦模糊的图片相对来说更“清晰”一点。

运动模糊检测

文献[3]提出了《基于最低方向高频能量的运动模糊检测》方法，该方法可以检测出某个小区块内的最小梯度方向。该方法对于明确的”运动模糊“图像可以给出运动方向，但是对于没有运动模糊的图像，也会输出误导性的结果。

基于“强边缘有效性统计”的评价方法

基于强边缘宽度统计的方法的问题在于当图片中有部分（或全部）较强的运动模糊时，运动模糊部分是提取不到边缘点的，甚至有时候反而会提取到运动模糊造成的“拖影”。这个时候相当于这些边缘点是“无效的”。

假如我们能判断这些边缘点的“有效性”，那么当“有效性”大于某个阈值的时候，我们就可以用强边缘宽度统计的指标来作为评价依据；而当“有效性”不足时，直接用该“有效性”来作为图片质量的粗粒度评价。

“边缘有效性”的定义

我们把“有效性”定义成：一块区域内“最大方向梯度和”与“强边缘点个数平方”的比值。

其中最大方向梯度和：一个区域内沿某个方向，在该方向上，该区块梯度和最大

我们把图像分割成多个区域块，经过边缘检测以后，假设第一块区域里面含有10边缘点，且这个区域里图像信息（最大方向梯度和）很少，而第二块区域有5个边缘点，且区域内图像信息很丰富，那么我们可以认为第二个区域里的边缘点，其有效性相对于第一个区域来说更高。

假设我们在某个运动模糊区域提取到了很多个”边缘点“，由于这些区域梯度信息少，因此计算出来的有效性就会很低。

“边缘有效性”的计算

利用文献[3]里面的区域梯度计算方法，可以得到某一个小块里的最小梯度方向，而垂直于该方向的就是“最大梯度方向”。同时还可以快速计算得到“最大方向梯度和”。

具体的公式推导这里不再赘述，我们只看我们使用到的关键公式：

其中 d11 为x方向梯度的平方，d22 为 y方向梯度的平方，d12 为 x方向梯度乘以y方向梯度。

计算最大（或最小）方向梯度关键公式为：

以及

其中n是正整数，而 和 中，较小的一个所对应的k即运动方向，较大的一个即该区域最大梯度运动方向。

有了上述几个公式，我们可以快速计算得到某个区域内的最大方向梯度和。

这样，我们计算“边缘有效性”的流程为：

区块“边缘有效性”的统计

有了区块的边缘点有效性指标，我们就可以统计一张图片上不同有效性区域的数量，一张图片高有效性的区块占比越大，则说明越清晰，反之亦然。

经过测试不同质量图片的有效性值分布，我们将该值按 0~100,100~250,250~500,500~1000,1000~2000这几区间来划分。我们分别统计在这些区间里的区块数量，并计算这些区块数量占总区块数的比值。

（下图：不同颜色代表不同有效性区间）

从上面的”有效性区间占比“可以看出，第一张清晰的图片，有效性2000的区块占比最高，达到0.13；第二张散焦模糊图片有效性占比相对第一张来说更靠近低值区间；而最后一张运动模糊的，相对第二张又更加靠近低值区间。

由此，我们可以判断，在“强边缘点有效性”上，第一张 > 第二张 > 第三张

质量档次划分

有了上述的的有效性分布统计，我们就可以设定一些阈值，根据这些阈值，将图片质量先粗粒度的分成 HIGH、MEDIUM、LOW 等不同档次。 当质量为HIGH时，我们使用文献[2]里的指标来进一步细粒度地评价图片。而质量小于HIGH的，直接以粗粒度的质量等级作为评分依据。

上述比对结果： 左边两张在粗粒度上的质量档次为 HIGH， 右边两张为 MEDIUM，符合实际情况。针对第一张和第二张，由于质量档次较好，我们可以进一步比较他们在文献[2]评价方法下的评价值：4.759 和 4.874 ,这样我们可以得到最后的质量评价结果为：

图片质量：第一张 > 第二张 > (第三张和第四张)

（注：第三张和第四张虽然同为MEDIUM，但是从上一小节可以看到，需要比较他们两张质量的话根据“有效性”也是可以得到正确结果的）

结语

本文介绍了一种基于“强边缘有效性统计“的无参考图像清晰度评价方法，可用于视频封面提取等场景。该方法可同时适应散焦模糊和运动模糊的情况，解决了原有评价方法适用情况单一的问题。这里我们是基于传统的图像处理方法来做，实际上目前很火热的卷积神经网络也可以用来处理这个问题，像 Google 的 NIMA 框架，可以对模糊和失真的图像打分，也能对图像”美感“进行评价。

除此之外还有很多的方法可以尝试，我们的方法只是图像清晰度评价上的一个探索，希望能够有更多的人一起交流探讨，也欢迎有志之士一起加入闲鱼技术团队！简历投递：guicai.gxy@alibaba-inc.com

扫码关注【闲鱼技术】公众号

参考

[1] SUM Yu, DUTHALERS, NELSON BJ. Autofocusing in computer microscopy:selecting the optimal focus algorithm [J]. Microscoppy Research and Technique, 2004,65:139-149

[2] 张天煜, 冯华君，徐之海，李奇， 陈跃庭. 基于强边缘宽度直方图的图像清晰度指标 [J]. 浙江大学学报（工学版）2014, 48-2, 312-320

[3] Xiaogang Chen, Jie Yang, Qiang Wu, Jiajia Zhao. MOTION BLUR DETECTION BASED ON LOWEST DIRECTIONAL HIGH-FREQUENCY ENERGY [C]. Proceedings of 2010 IEEE 17th International Conference on Image Processing, September 26-29, 2010, Hong Kong