王伟鹏，戴声奎――基于引导滤波的快速去雾算法.doc
王伟鹏，戴声奎――基于引导滤波的快速去雾算法.doc
基于引导滤波的快速去雾算法 王伟鹏，戴声奎 (华侨大学 信息科学与工程学院，福建 厦门 361021) 摘要：根据大气散射物理模型，分析并解决了单幅图像去雾的关键问题，以消除雾气对室外机器视觉系统的影响。 利用引导滤波器的局部平滑特性估计大气光幕，可有效克服光晕效应和颜色过饱和现象；通过计算雾气最浓区域 的平均值获取大气光强度值，解决了部分图像偏色问题；对复原的图像进行自适应增强处理，提高了图像的整体 视觉效果。与现有的图像去雾算法对比，该方法能更有效地消除图像中的雾气、真实复原场景的对比度和颜色， 同时具有很快的执行速度，有利于算法的实时实现。 关键词： 图像去雾；引导滤波；大气散射模型；大气光幕；图像增强 中图分类号： TP391.4 文献标识码： A 雾天环境下，人们获取的室外图像是经过大气中雾滴、烟霾等吸收及散射之后的退化图像。这些图像 的对比度、锐度及颜色保真度均较差，不利于图像特征的提取，难以在户外监控，目标检测与追踪等领域 实际应用。因此，快速有效的图像去雾对提高视觉系统的可靠性和鲁棒性具有重要意义。 近年来，基于先验知识或假设的单幅图像去雾算法成为当前研究的热点。Tan[1]通过扩大复原图像的 局部对比度来达到去雾的目的，得到的结果没有从物理模型上恢复真实场景反照率，恢复后的颜色显得过 饱和。Fattal[2]假设介质透射率和场景目标表面投影是局部不相关的，利用 ICA 模型估计透射率，但是复 原后的颜色失真较严重。He 等人[3]基于对大量户外图像数据库的统计规律，提出一种基于暗通道先验的单 一图像去雾方法，对一般户外图像取得了很理想的效果。但是对于大面积白色物体会出现偏差，并且借助 抠图算法对透射率进行细化修复具有很高的空间复杂度和时间复杂度。针对此问题，He 等人提出了引导滤 波器[4]替代了抠图算法，该方法显著降低了运算复杂度，由于滤波参数的不恰当设置易引起光晕效应。 总结以上方法，本文在大气散射模型的基础上，利用低复杂度的引导滤波器对大气光幕进行估计，通 过均值计算得到大气光辐射强度，并对复原图像偏暗的问题进行修正，最后得到清晰无雾的图像。通过与 多种典型的图像去雾算法的比较，表明本方法在处理效果和执行速度上均有一定的提高。 1 雾图成像模型 在机器视觉和计算机图形学中，Narasimhan 等人[5-6]给出了雾霾天气条件下的雾图成像模型被广泛地 应用于去雾技术的研究，该模型描述如下： I (x) J (x)t(x) A(1 t(x)) （1） 其中， I (x) 是有雾图像强度； J (x) 为场景反照率，即清晰无雾的图像； t(x) ed( x) 表示介质透射率， 其中 为大气散射系数， d(x) 为场景深度； A 为整体大气光辐射强度。 去雾的目的就是从 I (x) 中恢复出 A ， t(x) 和 J (x) 。式（1）中，令： V (x) A(1 t(x)) （2） V (x) 称为大气光幕，表示环境光对场景成像的附加部分，它的值取决于大气光强度和介质透射率。由于透 射率 t(x) 与场景深度 d(x) 成指数关系，可知大气光幕的估计图与景深相关。Tan［1］指出景深具有局部平 滑的特性，即在边缘处会有大的跳变，除此以外大部分区域都是平滑的。由此推断大气光幕也具有该性质。 综上所述，假设大气光强度 A 在成像环境中是稳定的，则大气光幕具有如下两个特点：一是仅与目标物体 距观测点的距离相关，与物体的细节纹理无关；二是在大部分空间中的分布是平滑并且连续的，仅在边缘 景深跳变处产生突变。 2 快速去雾新算法 本文在大气散射模型的基础上，根据大气光幕的性质，提出了一种雾天图像复原新方法，具体可分为 4 个步骤：1）利用引导滤波器的局部平滑特性准确估计大气光幕；2）通过计算雾气最浓区域的平均值得 到大气光辐射强度；3）利用已求得参数恢复场景反照率；4）对复原图像进行亮度增强处理。 （a）RGB 分量最小值 （b）对(a)开运算 （c）对(a)(b)引导滤波 （d）介质透射率 图 1 引导滤波的结果 Fig.1 Result of guided filter 2.1 大气光幕的估计 c 基于大气光幕的特点，首先提取有雾图像中三通道的最小颜色分量 Vm(x) min I ( y) ， Vm(x) 的结 c{R,G ,B} 果如图 1（a）所示，可以看出，该结果包含了丰富的边缘细节信息，其亮度值并不能准确表示原图像的深 度信息，因此需要进一步对 Vm(x) 进行处理。本文采用灰度开运算操作，滤除掉 Vm(x) 中不必要的纹理细节 信息，同时保持大面积明亮区域和整体的灰度级不变，得到的结果表示为 Vop(x) 。如图 1（b）所示， Vop(x) 的亮度近似体现了原图像的深度信息，但是块效应严重。此时，根据大气光幕的特点，我们希望保留 Vm(x) 的区域边缘信息和 Vop(x) 的灰度变化信息，因此引导滤波器[4]成为本文的首选。 引导滤波器能够在参考图像的引导下对输入图像进行滤波处理，在保留边缘的同时进行良好的平滑操 作。它包括输入图像 Vop(x) ，引导图像 Vm(x) ，输出图像 V (x) ，其局部线性模型是假定在一个以像素点 k 为中心的窗口 wk 中，输出图像是引导图像的局部线性转换，线性模型如下所示： Vi 1 (akVm bk ), i wk w k|i wk i （3） 在滤波窗口 wk 中， w 是像素点总数， ak 和 bk 为线性转换系数。在满足线性模型的前提下，应使输入图 像 Vop(x) 和输出图像 V (x) 之间的差值最小化，即在窗口 wk 内，具有代价函数： E (ak ,bk ) ((akVmi bk Vopi )2 ak2 ) （4） i wk 上式为线性回归模型，它的解为： 1 ak w i w VmVop kVop k i i k2 k ,bk Vopk ak k (5） 式中 k 和 k2 分别是引导图像 Vm(x) 在滤波窗口 wk 内的均值和方差， Vopk (1/ w) i wk Vopi ， 是规 则化系数。经式（3）计算得到的大气光幕如图 1（c）所示。可以看出，输出图像 V (x) 保留了引导图像 Vm(x) 中的边缘信息（由于局部线性模型） ，而亮度信息则与输入图像 Vop(x) 相似（由于代价函数的最小化）。 2.2 大气光强度估计 全局大气光辐射强度 A 可理解为天空区域的像素最大值，或者是雾最浓处的像素最大值。利用文献[3] 求得大气光，对于大部分户外图像都能得到准确的结果。但是对于含有噪声的雾天图像，取雾最浓处的像 素最大值可能造成一定的误差，因为该点的像素值可能就是噪声点。因此，本文计算雾最浓区域的平均值 作为大气光强度。具体实现步骤如下： 1)根据 2.1 节近似体现雾浓度图 Vop(x) 中，选取 0.5% 最亮的像素点 pmax； 2)在雾天图像中搜索 pmax所在区域，分别计算三个颜色分量在这些区域的均值 Am ； 均值计算排除了噪点的影响，然而降低了雾最浓处的最大值特性，因此引入因子 进行修正，从而得 到大气光辐射强度： A min(Am,255) （6） 式中 的取值为大于 1 的常数，它直接影响复原图像的质量，若取值太小，则复原图像将会有部分像素值 溢出；若取值过大，则复原图像显得偏暗，根据实验统计结果，一般取 1.05。 2.3 场景反照率的复原 利用已估计的大气光幕和大气光辐射强度，依据式（2）得到介质透射率： t(x) 1 V (x) A （7） 图 1（d）给出了由上式计算得到的结果。式中引入去雾强度百分比因子 ，目的是控制去雾后图像 远景处的残余雾量，保证复原图像在视觉上的自然效果。本文中，对大部分图像 可简单取为 99%。 最后，将介质透射率 t(x) 代入大气散射模型式（1） ，得到清晰无雾的复原结果： J (x) I (x) A A max( t(x),t0 ) （8） 为了防止在浓雾区域由于噪点影响而出现 0/0 型的不确定值，透射率设定下限值 t0 ，本文取为 0.05。 (a) 雾天图像 (b) 复原图像 (c) 对(b)增强效果 图 2 本文算法的复原和增强效果 Fig.2 Our haze removal result 2.4 复原图像的增强 由于雾天环境下物体反射光线的亮度通常低于大气光辐射强度，所以把大气光值作为全局常量处理会 导致去雾还原后的图像局部亮度降低，颜色较实际场景偏暗，因此需要进行自适应增强，使得图像的亮度 和色调更符合真实情况。文献[7]引入色调调整，容易造成颜色的失真。文献[8]利用局部线性拉伸做增强 处理，易导致图像中亮度值较高的像素点溢出。 本文基于人眼视觉系统的局部自适应特性，采用仿生彩色图像增强方法[9]对复原后的图像进行调整。 该方法主要包括全局亮度调节、局部对比度增强和颜色恢复三个部分。首先定义 J max(x) 为复原图像 J (x) 中三颜色分量的最大值， J L (x) 为 J max(x) 经亮度和局部对比度调整后的图像。增强后图像彩色信息恢复方 法如下： J E (x) J L (x) J (x) J max(x) （9） 式中，定义 (x) J L (x) / J max(x) 为点 x 处的比例增强因子，由于是线性操作，恢复后图像的每个像 素点的三个颜色分量比例关系保持不变，因此能较好地维持原始图像的颜色信息。图 2 给出了本文方法复 原后以及增强图像的结果图，可以看出，图 2（b）虽然将雾气移除，但是整体亮度偏暗，经过增强后的结 果图 2（c）亮度得到提升，视觉效果更好。 3 实验结果与比较 在一台操作系统为 32 位的 windows7，3.40GHz 的 表 1 He 算法与本文算法计算的大气光值比较 Tab.1 AMD Athlon 双核处理器，系统内存为 2GB 的普通 PC 机 Atmospheric light comparisons 上利用 MATLAB 8.0 平台实现了本文算法。 He 算法 为了验证本文算法在执行速度上的优势，与目前较 为流行的去雾算法进行比较，发现本算法处理单幅 本文算法 图 3（a） （194，183，181） （195，182，170） 图 3（d） （226，223，218） （237，230，224） 600 400大小的图像，耗时仅为 0.67s，执行时间远少 于同一平台测试时 He 算法[4]的 3.86s 以及 Tarel 算法[7]的 5.34s。 （a）雾天图像 （b）He 算法结果 （c）本文算法结果 （d）雾天图像 （e）He 算法结果 （f）本文算法结果 图3 He 算法[3]与本文算法结果比较 Fig.3 Comparisons with He’s work 当前衡量去雾效果的定量评价体系中，应用较为广泛的是法国学者 Hautiere 等人提出的可见边梯度 法[10]，然而采用该方法无法准确判断复原结果是否出现光晕现象、颜色过饱和现象以及偏色现象，因此该 方法评价的准确性不高，不具有可靠的参考价值。所以，本文通过与目前复原效果较好的单幅图像去雾算 法进行视觉感官的主观比较，以此验证本文方法在避免上述不足的可行性和优越性。 首先与 He 方法[3]进行对比。表 1 给出了本文方法与 He 方法计算的大气光值比较，得到的去雾结果如 图 3 所示，由于 He 算法在含噪声图像中选取了不准确的大气光值，导致复原结果严重偏色。而本文基于 均值计算的大气光值估计方法简单易行，复原结果色彩纯正，相比现有的方法具有更强的鲁棒性。 （a）雾天图像 （b）He 算法[3]结果 （c）He 算法[4]结果 （d）本文算法结果 图 4 本文算法与 He 算法更多的结果比较 Fig.4 More comparisons with He’s work 图 4 给出了本文算法与 He 算法的更多比较结果。He 算法[3]对大部分图像取得了很好的去雾效果，但 是部分去雾结果整体亮度偏暗（第二组图），通透性及对比度较差（第一组图）。文献[4]中，He 等人提出 引导滤波器用于图像去雾，处理速度相比于文献[3]有了显著提高，然而该方法在景深突变的边界易产生 光晕效应（第二组图下部分山峰边缘）。相反，本文算法在处理景深突变处具有一定的优势，并且复原图 像的对比度较强（图 4（d） ）。 （a）雾天图像 （b）Fattal 算法结果 （c）Tarel 算法结果 （d）本文算法结果 图 5 本文算法与 Fattal 算法和 Tarel 算法的结果比较 Fig.5 Comparisons with Fattal and Tarel’s work 图 5 给出了本文与 Fattal 算法以及 Tarel 算法的比较结果。Fattal 算法中关于介质透射率局部不相 关的假设会使去雾后图像的部分区域颜色过饱和（第一组图房子颜色偏红），同时该方法不能很好的处理 浓雾图像（第二组图城市远景） 。Tarel 算法执行速度较快，但是该方法对局部区域的大气光幕估计不准确， 使得复原图像在景深突变区域仍然会残留较多雾气（第一组图树叶间缝隙）。而本文方法可有效克服颜色 过饱和现象，去雾的同时自适应增强了图像的亮度，提高图像质量。 4 结束语 提出了一种基于引导滤波的快速去雾算法。该算法结合大气散射模型，无需任何场景的附加信息，自 动地恢复无雾图像的最优估计值；通过计算最浓雾的均值获取大气光辐射强度解决了部分图像颜色失真的 问题；最后对复原图像的自适应增强处理，提高了图像的整体亮度。在大量的雾天图像上的实验结果表明， 本文方法在实现更佳去雾效果的基础上，极大减少资源消耗，提高了执行速度。然而本算法目前还不能解 决大气光强度值不连续的情况，因为当太阳光对天空区域的影响非常大时，大气光值作为全局常量的假设 将不成立，这是今后值得继续研究的工作。 参考文献 [1] Tan R T. Visibility in bad weather from a single image[C]. IEEE Conference on Computer Vision and Pattern Recognition，2008： 1-8. [2] Fattal R. Single image dehazing[J]. ACM Transactions on Graphics，2008，27(3)：1-9. [3] He Kaiming，Sun Jian，Tang Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Conference on Computer Vision and Pattern Recognition，2009：1956-1963. [4] He Kaiming，Sun Jian，Tang Xiaoou. Guided image filtering[J]. European Conference on Computer Vision，2010：1-14. [5] Narasimhan S G，Nayar S K. Removing weather effects from monochrome images[J]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2001：186-193. [6] Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(6)：713-724. [7] Tarel J P，Hautiere N. Fast visibility restoration from a single color or gray level image[C]. IEEE 12th International Conference on Computer Vision，2009：2201-2208. [8] 张冰冰，戴声奎，孙万源. 基于暗原色先验模型的快速去雾算法[J]. 中国图象图形学报，2013，18(2)：184-188. [9] 王守觉，丁兴号，廖英豪，等. 一种新的仿生彩色图像增强方法[J]. 电子学报，2008，10：1970-1973. [10] Hautiere N，Tarel J P，Aubert D，et al. Blind contrast enhancement assessment by gradient ratioing at visible edges[J]. Image Analysis and Stereology Journal, 2008,27(2)：87-95. Algorithm of fast haze removal using guided filter Wang Wei-peng, Dai Sheng-kui (College of Information Science and Engineering，Huaqiao University，Xiamen 361021，China) Abstract： According to the physical model of atmospheric scattering, this paper analyses and addresses major problems for single image haze removal to eliminate the effects of fog or haze for outdoor machine vision system. The proposed method overcomes the limits of halo artifacts and over-saturation through estimating the atmospheric veil using guided filter. By computing the average values of the most dense haze to obtain the global atmospheric light, this algorithm could adjust the image of color cast. Finally, a post-processing procedure is adopted to enhance the visual effect of the recovered image. As compared with the existing methods, the proposed method achieves good restoration for contrast and color fidelity more effectively and allows a very fast implementation to achieve real-time. Keywords： image haze removal；guided filter；atmospheric scattering model；atmospheric veil；image enhancement 作者姓名 王伟鹏 电子邮件 wwp866@hqu.edu.cn 作者单位 华侨大学信息科学与工程学院 基金项目 福建省科技计划重点项目（2013H0030）；中央高校基本科研专项（JB-ZR1145） 研究方向 计算机视觉，图像处理 导师情况 性别 男 出生日期 职 称 undefined 联系电话 18695680921 学 硕士研究生 历 戴声奎（1971-），男，现为华侨大学信息科学与工程学院通信系副教授，硕士生导师，主要研究 方向为图像处理、视频分析和模式识别。E-mail：d.s.k@hqu.edu.cn；联系电话：13003949536