基于暗原色先验的图像去雾算法

南栋，毕笃彦，许悦雷，王世强，娄小龙

(空军工程大学 航空航天工程学院，陕西 西安，710038)

摘要：为了减小大气退化现象对可见光成像系统的影响，提出一种优化和改进了的暗原色先验图像去雾算法。该算法从大气退化模型出发，通过自适应分块和中值滤波，得到细化的暗原色图像；利用自适应二维经验模式分解得到照度分量，进而采用低通滤波估计平滑的大气光图像；基于图像的稀疏先验知识，在softmatting下得到细化的大气传输函数图像；并对图像进行视觉色彩校正。最后利用主观和客观的方法对实验结果进行了评价，实验结果表明了算法的有效性。

关键词：去雾；暗原色先验；二维经验模式分解；色彩校正

中图分类号：TP391          文献标志码：A         文章编号：1672-7207(2013)10-4101-08

Image dehazing method based on dark channel prior

NAN Dong, BI Duyan, XU Yuelei, WANG Shiqiang, LU Xiaolong

(College of Aeronautics and Astronautics Engineering, Air force Engineering University, Xi’an 710038, China)

Abstract: In order to reduce the bad effect of the phenomenon of atmospheric degradation on optical imaging system, an optimized and improved image dehazing method using dark channel prior was proposed. Firstly, median filter and adaptive block was performed with the atmospheric degradation model to get the refined dark channel image. Secondly, the illumination component of brightness image was estimated through adaptive bidimensional empirical mode decomposition, and then smoothened by low-pass filter to estimate the atmospheric optical image. Finally, the refined transmission map was obtained after softmatting based on image sparsity prior, and then the color of image was adjusted by human visual system. The method was evaluated subjectively and objectively with image quality assessment, and the experimental results show the validity of algorithm.

Key words: dehazing; dark channel prior; bidimensional empirical mode decomposition; color correction

图像信息的有效恢复对复杂气象条件下的道路安全监控、汽车安全驾驶、光学武器作战效能的提升、敌我战场的有效监视发挥着重大作用^[1]。作为一种有效的图像恢复技术，可见光成像下的大气退化图像去雾(dehazing of atmospheric degradation image，DADI)研究受到普遍关注，它旨在从云雾和极低照度等大气退化现象下恢复出图像的原始信息。然而，现有的基于物理模型的可见光成像系统受到大气条件的严重影响，云雾等大气退化现象极大地影响和限制了该系统的功能^[2]。依据算法特点，针对DADI技术的研究主要形成了2个方向：基于图像增强的方法和基于图像复原的方法。前者在相对提升大气退化现象下图像的质量具有较好效果^[3-4]，但它不能实现真正意义上的去雾；而后者则通过构造图像退化模型实现去雾。文献[5-6]根据图像退化模型从不同先验假设出发实现单幅图像去雾，取得了较好效果：文献[5]基于图像表面阴影和大气传输函数在局域内统计不相关的假设，利用独立成分分析(independent component analysis，ICA)来估计常向量反照率，但对于图像各个分量变化不大的情况处理效果不好；文献[6]基于无雾图像对比度比有雾图像好的先验事实，利用马尔科夫随机场(markov random field，MRF)框架，构造关于边缘强度的代价函数，使用图分割理论来估计最优光照，但其在增大图像局域对比度的同时，容易导致色彩过饱和，并且在景深不连续的地方产生光晕现象。进一步，何恺明等提出了暗原色先验(dark channel prior，DCP)^[7]并取得了重大突破，该方法是从户外大气退化图像统计学出发的物理有效性方法，然而，当场景目标内的大片区域与大气光在本质上相近，且没有阴影投影到物体上时，DCP物理模型就会无效，从而导致去雾效果不显著。本文作者在前人研究基础上，提出一种基于暗原色先验的图像去雾算法，该算法从图像复原角度出发，在对降质过程进行适应性物理建模的同时，引入色彩空间校正机制，使得色彩表现更加丰富，从而改善图像的视觉效果；另外，为使算法更具有普适性，将图像亮度、对比度和色彩分别通过模型与图像的内在底层因素相联系，以避免参数的人为设定，进而使复原结果更加符合图像的本质特性和人眼视觉感知。

1  基于暗原色先验的图像去雾算法框架

1.1  大气退化模型

本文算法中所用到的物理模型是McCarney的大气散射模型，该模型广泛应用于图像处理领域，根据大气光在大气退化现象下传输的物理特性，可采用下式描述：

      (1)

其中：I(x,y)为产生的大气退化图像；t(x,y)为大气传输函数；A为大气光强度；J(x,y)代表图像的本来面貌^[8]。本算法的目的就是利用式(1)，以及已知的参数或假设来求解得到J(x,y)，但该式求解的未知数个数大于列出的方程数。因此，本算法以何恺明等提出的暗原色先验作为求解的基础约束条件^[7]，从而有效地求出上述模型的解。

1.2  本文算法可行性分析

何恺明算法在假定大气光图像A是整体恒定的基础上^[7]，利用暗原色先验理论，求取粗略的大气传输函数t；然后，采用求解稀疏线性方程组的方法得到细化的大气传输函数；最后反解方程组(1)，恢复出图像的本来面貌。

本文算法认为大气光图像是均匀变化，且具有局域同质性的光滑图像，如图1(c)所示；利用本文局域化的大气光图像得到的大气传输函数避免了前景与背景的边缘柔化，如图1(e)所示，可在复原中去除景深剧变边导致边缘处色彩过冲失真现象。此外，本文算法从图像的视觉效果出发，采用K-L变换演化推出的色彩校正方法基于人类视觉特性统计数据进行色彩复原，尤其对原图像含丰富色彩时，会使校正后图像色彩更逼真、艳丽。文中还对求解的图像子块进行了自适应调整，以解决不同图像分辨率下效率和性能的矛盾。

图1  大气光图像及传输函数估计

Fig. 1  Estimation of atmospheric optical image and transmission map

1.3  本文算法流程

结合当前研究成果，本文提出了一种复杂条件下的DADI，该过程的关键步骤包括暗原色图像的获取及中值滤波、大气光图像的自适应分解获取、大气传输函数的细化和色彩域的视觉校正等，如图2所示。

图2  基于暗原色先验的图像去雾流程

Fig. 2  Flowchart of image dehazing method based on dark channel prior

2  本文算法实现

2.1  暗原色图像生成

暗原色先验是一种局部的暗物体概念(dark object sense，DOS)。该理论认为，在绝大多数的非天空局部区域里，某一像素总会有至少1个色彩通道具有极低的数值，即产生1幅区域光强度极小值很小的图像。可用下式定义生成的暗原色图像I_D(x,y)：

        (2)

其中：I_c(x,y)为原始图像的指定通道；Ω为自适应的图像子块，是以(x,y)为中心的一块正方形区域。自适应分块是本文算法中重要的一步，直接影响着后期处理质量。子快的取值较小时，大气传输函数的细节较多，层次感鲜明，但是平滑度不足，会导致局部对比度失真；反之，能够有效减少局部对比度失真，但得到的大气传输函数图像过于单一，致使图像的细节和层次感不够明显，不能有效区分近景和远景图像^[8]。

针对上述情况，为了达到失真率和细节之间的平衡，本文选取图像行和列的4%的最大值作为子块的大小，这样也就避免了统一子块对大小不同图像在去云雾时的影响。此外，为了防止深度跳变所产生的粗糙现象，避免在结果中出现棋盘格效应和光晕痕迹，需对暗原色图像进行中值滤波。

2.2  基于自适应BEMD的大气光图像获取

原始的最大亮度理论获得的大气光只包含1个亮度值，会使图像中的天空、偏白色物体、水面等大面积明亮区域在复原时产生失真现象。因此，为了能够得到较好反映出大气光信息的图像，本文通过一种自适应二维经验模式分解(adaptive bidimensional empirical mode decomposition，ABEMD)来估算大气光图像，该方法是在一维经验模式分解基础上提出的一种多尺度结构的新方法。ABEMD对参数的设定，是依靠图像本身的属性，分解得到多个不同频率特性的二维内蕴模函数(bidimensional intrinsic mode functions，BIMF)和剩余趋势图像^[9]。其中：BIMF图像包含着图像中的高频部分，体现着图像中的细节信息，当其包含的尺度达到5个时，它所含有的细节信息达到99.99%^[10]；剩余的趋势图像则对应着图像的低频信息，可将得到的趋势图像作为大气光图像的估计值，在后续的处理中就不会因为大气光图像的误差，而导致复原质量的下降。

本步骤提出的自适应算法框架，如图3所示。具体实施步骤如下：

(1) 通过数学形态学中的测地算子识别图像中的区域极值点^[11]。

(2) 采用优化了的径向基函数插值法构造包络曲面。对极值点进行插值运算，分别得到极大值点包络曲面和极小值点包络曲面，将两曲面数据求平均得到均值包络曲面数据。因此，图像空间中的上下包络求解问题就转化成三维曲面的离散数据点插值重建问题，求解包络平面可表示为

       (3)

其中：s(x)为插值节点；c₀，c₁，c₂和λ_i为多项式系数和径向基函数组合系数；||·||为欧几里德范数；为径向基函数。通过求解N+3元一次的大型线性方程组，解得c₀，c₁，c₂和λ_i的值，进而代入所有点的坐标值得到整个插值曲面。对的选取为

           (4)

其中：R=||x-x_i||为欧式距离；P是一个常数系数。

图3  ABEMD 的一层分解流程

Fig. 3  Flowchart of ABEMD

(3) 用原曲面减去均值包络曲面。

(4) 根据Cauchy-type收敛准则判断算法是否满足终止条件：

       (5)

其中：f_k(x,y)是第k层ABEMD时图像上(x,y)点的像素值，并可使S_D为0.2~0.3之间的数。

重复步骤(1)~(3)，直到满足给定的终止条件为止，得到第1层BIMF图像b₁(x,y)，用原图像减去b₁(x,y)得到第1层残差图像。对该图像重复步骤(1)~(4)，依次得到图像的N层BIMF图像和第N层残差图像。在上述过程中，极值点求解、平面插值和筛选的停止条件是本算法的核心，一般是进行5次分解，就可以得到纯净的大气光图像A，所以最终的结果表示为

     (6)

其中：b_k(x,y)为第k层BIMF图像；r₅(x,y)为经过5层分解后的趋势图像(大气光图像)。实际中的一些大气退化图像，其大气光照很难满足图像的局域平滑性，为了克服这一缺点，提高算法的鲁棒性，可以采用低通滤波平滑处理大气光照图像中的低频照度信息。

2.3  去雾图像生成

采用最暗原色处理思想^[7]，在获取粗略大气传输函数之后，利用Levin等^[12]提出的softmatting算法对其进行细化修正；最后在进行色彩域校正，得到最终的去雾图像。

(1) 大气传输函数细化。通过下式获取粗略的大气传输函数t₁：

           (7)

其中：Ω为自适应的图像子块；w是为了保持复原后图像的真实度引入的参数，通常在0~1之间取值，实验中取0.95；之后对粗略的大气传输函数t₁进行拉普拉斯矩阵修正，通过最优化下面的能量方程来细化t₁：

         (8)

其中：t为细化后的大气传输函数；λ为归一化参数；U为与图像同等大小的单位矩阵；L为拉普拉斯修正矩阵。对式(8)能量方程进行稀疏线性表示：

               (9)

其中：λ取10^-4，矩阵L的某一像素点(i,j)可表示为^[12]

  (10)

其中：△_ij是克罗内克函数；μ_k和Σ_k是窗口w_k中像素点的均值和协方差矩阵；|w_k|是窗口w_k中像素点的数量；是归一化参数；U₃是3乘3的单位矩阵；在进行运算时，将图像矩阵按列向量进行展开，转换为一维的向量，I_i和I_j表示一维向量中下标为i和j像素点的值。

(2) 去雾图像色彩校正。得到细化的大气传输函数之后，就可以根据下式获取初始去雾图像J(x,y)：

  (11)

其中：c表示图像的R，G和B三原色通道；A表示大气光图像；t(x,y)表细化的大气传输函数；t₀表示大气传输函数的下界(实验中取0.1)；I(x,y)表示原始图像。

然而，人眼对色彩变化比较敏感，处理过的图像较难恢复到人眼满意的舒适度。因此，存在一种基于视觉机制的色彩校正思路：人类视觉色彩感知的研究和统计结果表明，大量人眼色彩感知较好的图像，其R，G和B 3个分量之间有很强的相关性；本文基于Imagine Macmillan库统计了4组视觉效果良好的图像，求出了R，G和B 3个分量相关系数矩阵，在其图像融合算法中作为目标值^[13]。分量间相关系数及统计方差见表1，表中任意2个分量X和Y的相关系数定义为

  (12)

其中：和分别为X和Y均值，显然-1≤r≤1。因此色彩校正存在一种思想：寻求一个线性变换，将图像的RGB分量进行变换，使其分量间相关系数矩阵符合表1，这样便可以使输出色彩较符合人眼视觉。

表1  经过统计的色彩图像分量间相关系数

Table 1  Correlation coefficients for natural color images

结合以上分析，本文提出的色彩校正方法如下^[13]。

对J(x,y)中任一像素点m_xy=[m_R,m_G,m_B]^T，进行以下变换：

               (13)

其中：n_xy为校正后像素点向量；B为色彩域校正矩阵；C_m和C_n分别为校正前后图像色彩通道间协方差矩阵。为了求解色彩校正矩阵B，可先对正定矩阵C_m和C_n进行cholesky分解，得到C_m=Q_m^TQ_m，C_n=Q_n^TQ_n，易求得B=Q_m^-1Q_n。设分量间相关系数构成的相关系数矩阵为R_n，易知R_n与C_n存在以下关系：

   (14)

对于待校正图像的C_m可通过求得，其中；或者根据式(14)中关系求得。文献[13]中通过，并设σ_n1=σ_n2=σ_n3来求出式(14)中的σ_nk(k=1，2，3)，以保证运算前后功率相等。

实际上色彩在校正时需要保持原有各个分量功率比例关系，这样才不至于出现色偏，所以，求此标准差时，本文中并不平均分配，而是采用原有图像各分量比例分配标准差值。

由于目标分量间相关系数存在方差，因此，为使其更加符合统计值，本步骤采用均值加减方差作为另外2个分量间相关系数矩阵与R_n分别求出校正后的3幅图像，之后求平均得到最后的校正图像，校正结果如图4所示。

图4  去雾图像

Fig. 4  Haze removal images

本算法所处理的大气退化图像存在不同程度光照、对比度以及动态范围问题，采用暗原色理论，并且融入暗原色图像的中值滤波、大气光图像的自适应分解获取和色彩域的视觉校正来去云雾。图3所示为色彩校正前后的处理结果，从图3可以看出：本文色彩校正后的图像亮度适中，色彩饱和，细节清晰，信息丰富，适合人眼评定。

3  实验结果及性能分析

为了进一步说明算法的适用性和有效性，选取3组受不同程度光照因素、对比度因素以及动态范围较大而导致图像视觉效果差的图像进行处理^[14]。分别采用何恺明的算法^[7]和本文算法进行对比实验，如图5~7所示。由图5~7可以得出：

(1) 图5中，何恺明的算法是对整幅图像进行修补，可以看出去雾后的图像整体亮度偏低，特别是岩石区域，细节不够分明；而本文处理结果对岩石区域的估计更加的有效，色彩较为分明，更能凸显出场景目标的层次感。

(2) 图6中，对2种算法处理后的图像进行了局部区域放大，可以看出本文算法对图像局部细节信息的保真度较高。

(3) 图7所示是对大气退化比较严重的1幅图像进行处理。可以看出：在何恺明的算法结果中^[7]，目标物信息被噪声掩盖，并且色彩失真严重；而本文处理的结果虽然图像整体色彩偏蓝，但基本恢复出了原始图像中的信息，色彩显示也比较稳定，进一步说明了其在图像动态范围压缩、细节凸显以及恢复色彩信息上的能力。

除了以上主观的比较之外，本文还对上述3组实验结果进行了客观的比较分析。选用图像的均值、方差、信息熵和清晰度^[15]作为其评价的标准，均值反映图像的明暗程度，均值适中图像增强效果最好；方差反映图像的对比度，方差越大，灰度级越分散，图像对比度越大；信息熵反映图像中包含信息的丰富程度，信息熵越大，说明其包含的信息量越大；清晰度g反映图像的清晰程度，清晰度越大，图像越清晰，容易观察，定义为

     (15)

式中：m×n为图像的大小；△I_x和△I_y分别为像素点在x和y方向上的差分。结果如表2~4所示。

图5  “悬崖”处理结果

Fig. 5  Haze removal results of “cliff”

图6  “城市”处理结果

Fig. 6  Haze removal results of “city”

图7  “标牌”处理结果

Fig. 7  Haze removal results of “scutcheon”

由表2~4可以看出：经本文算法处理后的图像，在均值、方差、信息熵以及清晰度方面均比经何恺明的算法^[7]处理的优，尤其是在对浓雾进行处理时(如表4所示)，本文算法的评价值比何恺明的算法更加能够反映出图像的本来面貌。

表2  图像“悬崖”客观评价指标表

Table 2  Image quality assessment of “cliff”

表3  图像“城市”客观评价指标

Table 3  Image quality assessment of “city”

表4  图像“标牌”客观评价指标

Table 4  Image quality assessment of “scutcheon”

4  结论

(1) 针对大气退化图像对比度和分辨率下降、色彩偏移及亮度变化的特点，本文提出一种可用于复杂气象条件下的DADI方法。

(2) 通过ABEMD估算大气光，以求解大气退化模型，并且引入了色彩校正机制，使得到的实验结果在主、客观的认知上均达到了令人满意的效果。

参考文献：

[1] 南栋. 针对大气退化现象的图像增强技术研究[D]. 西安: 空军工程大学航空航天工程学院, 2011: 1-2.

NAN Dong. Research on image enhancement technology about the phenomenon of atmospheric degradation[D]. Xi’an: Air force Engineering University. College of Aeronautics and Astronautics Engineering, 2011: 1-2.

[2] 朱淼良, 钱徽. 自然景物中大气退化模型的研究[J]. 计算机辅助设计与图形学学报, 2001, 13(9): 793-799.

ZHU Miaoliang, QIAN Hui. Exploring atmospheric degradation model of landscape[J]. Journal of Computer Aided Design & Computer Graphics, 2001, 13(9): 793-799.

[3] 马时平, 张明, 毕笃彦, 等. 一种细节保持的Retinex图像增强算法[J]. 西安电子科技大学学报, 2010, 37(3): 541-546.

MA Shiping, ZHANG Ming, BI Duyan, et al. Novel detail preserving Retinex algorithm for image enhancement[J]. Journal of Xidian University, 2010, 37(3): 541-546.

[4] 李权合, 毕笃彦, 何林远, 等. 退化过程模拟模型及其在图像增强中的应用[J]. 西安电子科技大学学报, 2011,38(6): 185-192.

LI Quanhe, BI Duyan, HE Linyuan, et al. Degradation process simulation model and its use in image enhancement[J]. Journal of Xidian University, 2011, 38(6): 185-192.

[5] Fattal R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3): 1-9.

[6] Tan R. Visibility in bad weather from a single image[C]//Proceedings of 26th IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, 2008: 1-8.

[7] He K, Sun J, Tang X. Single image haze removal using dark channel prior[C]//Proceedings of 27th IEEE Conference on Computer Vision and Pattern Recognition. Miami, 2009: 1956-1963.

[8] 方帅, 王勇, 曹洋. 单幅雾天图像复原[J]. 电子学报, 2010, 38(10): 2279-2284.

FANG Shuai, WANG Yong, CAO Yang. Restoration of image degraded by haze[J]. Acta Electronica Sinica, 2010, 38(10): 2279-2284.

[9] Nunes J C, Niang O, Bouaoune Y, et al. Bi-dimensional empirical mode decomposition modified for texture analysis. Scandinavian Conference on Image Analysis[C]//Proceedings of 13th IEEE Scandinavian Conference on Image Analysis. Berlin, 2003: 171-177.

[10] 南栋, 毕笃彦, 许悦雷, 等. 基于自适应特性二维经验模式分解的Retinex彩色图像增强[J]. 计算机应用, 2011, 31(6): 1552-1555.

NAN Dong, BI Duyan, XU Yuelei, et al. Retinex color image enhancement based on adaptive bidimensional empirical mode decomposition[J]. Journal of Computer Applications, 2011, 31(6): 1552-1555.

[11] Vincent L. Morphological grayscale reconstruction in image analysis: Applications and efficient algorithms[J]. IEEE Transactions on Image Process, 1993, 2(2): 176-201.

[12] Levin A, Lischinski D, Weiss Y. A closed form solution to natural image matting[C]//Proceedings of 24th IEEE Conference on Computer Vision and Pattern Recognition. New York, 2006: 61-68.

[13] Tsagaris V, Anastassopoulos V. Multispectral image fusion for improved RGB representation based on perceptual attributes[J]. International Journal of Remote Sensing, 2005, 26(15): 3241-3254.

[14] He K, Sun J, Tang X. Single image haze removal using dark channel prior[EB/OL]. [2009-06-01]. http://personal.ie.cuhk. edu.hk/~hkm007/cvpr09/.

[15] Jobson D J, Ahman Z, Woodell G A. The statistics of visual representation[C]//Reichenbach S E. Visual Information Processing XI. Orlando: SPIE, 2002: 4736-4343.

(编辑  杨幼平)

收稿日期：2012-12-17；修回日期：2013-03-14

基金项目：国家自然科学基金资助项目(61175029)；国防科技重点实验室基金资助项目(9140c610301080c6106, 9140c6001070801)；航空科学基金资助项目(20101996009)；博士后特别资助项目(2012T50879)；博士后基金面上资助项目(2012M512144)

通信作者：南栋(1987-)，男，陕西西安人，博士研究生，从事计算机视觉与图像处理研究；电话：18066620881；E-mail：nd.tian_53@163.com