DOI: 10.11817/j.issn.1672-7207.2015.10.024
基于人眼视觉机理的雾霾图像质量提升算法
周理，毕笃彦，何林远，柏航
(1. 空军工程大学 航空航天工程学院，陕西 西安，710038；
2. 中国人民解放军63981部队 计量测试队，湖北 武汉，430000)
摘要：针对目前主流去雾算法结果尚未达到人眼视觉愉悦度且消耗计算资源大等不足，以人眼视觉特性规律为指导，运用亚当斯区域曝光理论与非下采样Contourlet多尺度分析工具，在HSV彩色空间中提出一种雾霾背景下的彩色图像质量提升算法。该算法采用最大视觉显著度作为中度灰基准，模拟人眼控制瞳孔曝光程度，适度拉伸亮度分量的动态范围；鉴于雾霾遮掩图像大量细节特征，仿照人眼多频信道分解特性，将处理后的亮度分量纳入改进的非下采样Contourlet滤波器组以凸显图像边缘信息；依据颜色恒常性原理，色调分量保持不变，通过统计彩色图像各分量间的先验信息，融合亮度与色调分量，构造线性变换以校正饱和度分量，使各颜色分量间维持良好的相关性。实验结果表明：本文算法能有效提升雾霾图像的视觉效果，具有较好的实用性和较少的计算资源消耗。
关键词：图像去雾; 人眼视觉机理; 亚当斯区域曝光理论；非下采样Contourlet变换；线性变换
中图分类号：TP391.41 文献标志码：A 文章编号：1672-7207(2015)10-3726-07
Lifting hazy image quality algorithm based on the human visual mechanism
ZHOU Li1, BI Duyan1, HE Linyuan1, BO Hang2
(1. Engineering College, Air Force Engineering University, Xi’an 710038, China;
2. Measurement Test Team, 63981 Troops of the Chinese People’s Liberation Army, Wuhan 430000, China)
Abstract: Since the results of mainstream defogging algorithms are far to reach human visual enjoyment and exhaust plenty of computing resource, a lifting color image quality algorithm based on the human visual mechanism was put forward in HSV color space through the Adams zone system and the non-subsampled contourlet transform under hazy weather. According to the algorithm, by imitating the process of papilla exposure, the maximum visual saliency was considered as medium grey standard to pull up dynamic ranges of the V component properly. Large amounts of detail features covered under fog and haze were given, the V component was then brought into non-subsampled contourlet filters to outstand image edge information according to the multi-frequency channel decomposition of human eyes. The H component remained unchanged because of the color constancy theory, but the S component merging together with the other adjusted-well components was revised by linear transform which relied on the prior statistics of color image components to keep them in good correlation. The simulation reveals that the novel algorithm not only improves visual effects of hazy images, but also provides higher practicability and less computing consumption.
Key words: image defogging algorithm; human visual mechanism; adams zone system; non-subsampled contourlet transform; linear transform
近几年，雾霾天气从局部地区开始向全国各地蔓延，这不但对居民健康危害极大，而且使国家安全防务陷入了重大的隐患之中。由于摄像头无法穿透厚实的雾霾颗粒层实施监控，这便使得国家斥巨资搭建的覆盖各重点地区的监控系统形同虚设，安全形势令人堪忧。围绕雾霾背景下提高监控系统可视能力的研究，显然是解决目前国家安全隐患的重中之重。单幅雾霾图像处理技术从一开始就受到国内外计算机视觉领域众多学者的青睐，他们开展了阶段性的实验研究[1-2]。当前，对于雾霾背景下图像质量提升问题的解决途径可归纳为两大类。其中一类是基于图像复原的去雾方法，例如Tan等[3-5]提出的极具代表性的算法。该类算法在很大程度上依赖于大气散射模型的恰当建立，通过分析大气粒子的散射作用对成像的影响，采用某种有效的方式借助图像本身所包含的信息构造场景反照率和景深的约束条件，进而估算大气耗散函数。另一类是基于图像增强的去雾方法，代表算法有Retinex[6]与小波变换[7]。此类方法的主要特点是不以物理模型为基础，依据人眼视觉感受，提升图像质量，有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征，使图像与视觉响应特性相匹配。现有相关文献研究表明，影响监控设备成像的霾颗粒的光学特性与雾气中的水分子的光学特性大不相同，甚至不同类型霾其散射特性亦不尽相同。在物理模型建立的过程中需大幅修改或彻底重写大气传递图，且需进行大量计算机模拟实验和很大范围的实地测试。因此，基于物理模型的方法尚且不能满足雾霾消除的时效性要求，摒弃建立大气物理模型约束的图像增强类去雾技术则成为研究者突破难题的首选方案。其中，Retinex算法是一种经典的人眼视觉模型，阐述了色彩恒常性的相关原理，由此衍生了多种性能颇佳的去雾算法，Kimmel[8]变分框架模型则是其较成功的变异算法之一。虽然该方法取得了良好的反演效果，但仍存在颜色失真和局部光晕现象，且偏微分方程求解困难，计算量较大。而小波变换种类繁多，具有良好的多尺度和时频局部特性，在图像去雾方面应用十分广泛。此方法充分借鉴了小波良好的多尺度和时频局部特性，针对雾天频谱集中的特性进行处理，从而达到提高视见度的目的。尽管小波变换理论基础强，但现有算法仍存在全局或局部对比度低、偏色等问题。鉴于以上分析，在考量雾霾图像时频特性基础上，依据人眼对边缘特征敏感的特性，本文提出一种基于人眼视觉机理的单幅雾霾彩色图像增强算法，在充分利用亚当斯区域曝光理论对亮度分量的动态范围进行拉伸的同时，结合改进的非下采样Contourlet后小波变换突出边缘细节，并将结果纳入饱和度分量调整的约束条件中，保持各颜色分量间的相关性，取得了较好的效果。
1 人眼视觉机理特性
单纯将人眼比作照相机是不确切的，因为它并不是普通意义上的光学系统，还受到视觉中枢的调节，所以，将其比作能够进行图像处理的智能电视摄像机则比较合适。当观察图像时，人眼呈现出的反应特性可归纳如下[9]。
1) 瞳孔具有一定几何尺寸，能够控制光通量的大小，进而调节视网膜上锥状细胞和杆状细胞所受的激励强度。依靠这种机制，视觉细胞在不同状态下做出的感知反应就能更好地辨别外界的色彩信息。
2) 人眼对亮度的响应具有对数非线性性质，以达到其亮度的动态范围。由于人眼对亮度响应的这种非线性，在平均亮度大的区域，人眼对灰度误差不敏感。
3) 人眼存在同时对比效应，使得人眼对某个区域的亮度感觉既与自身属性有关，又与周围的背景亮度有关。
4) 在处理图像的过程时，人眼可类比为一个具有多频信道分解特性的信号处理模型。视网膜上存在许多独立的线性带通滤波器，使图像分解成不同频率段，且它们在对数尺度上是等宽度的。频段的带宽与分辨率息息相关，带宽越窄，分辨率越高。
5) 人的外周脑及视皮层对颜色处理实际上是三原色及四色对立学说的辩证统一过程。这实际上指出了人眼所具有的色觉向度特性，从根本上说，人对颜色的知觉是一种主观心理视觉。当人眼受到光激励时，将引起具有色调、亮度以及饱和度这3种心理性向度构成的色觉经验。其中，色调完全是由光的波长决定的，而亮度则与光的波幅与波长皆有关系。饱和度是指颜色的纯度，其值越大，对应的色彩越鲜艳。
2 本文雾霾图像质量提升算法
通过对比前人的研究成果，本文以人眼视觉机理为指导思想，结合雾霾图像频谱分布规律，在亮度区域适应性调整、高频亮度方向特征抽取以及饱和度校正等方面进行研究，提出了一种高效稳定的单幅雾霾图像增强算法。具体算法流程见图1。
图1 本文质量提升算法框架
Fig. 1 Flowchart of the proposed image enhancement algorithm in this paper
2.1 亮度分量增强策略
2.1.1 区域适应性调整
光波在穿透雾霾时，某些波段会出现严重的衰减。这种滤波效果降低了大气透射比，剩余的辐射波近似被全反射，引起了视线模糊。文献[10]实验证明：在雾霾出现前后，对同一景物拍摄对比发现前景亮度明显减弱，背景亮度却有所加强，景物图像的整体灰度级大幅度提升，从而导致图像泛白。鉴于此，根据前文的人眼视觉特性1)，本算法模拟瞳孔对光通量调节机制，运用亚当斯区域曝光理论将亮度图像合理调整，提升景物真实亮度特征。具体步骤如下。
1) 依据显示器光强分配原理，定义各个像素点的光强大小。不妨设光强分为p级，光强表达式为Yi，它们构成公比为p的等比数列，其中Y1的取值范围(0.01, 0.03)，Yp=1。对于256灰度级的图像而言，即p=256，当Y1=0.02时，借助等比数列公式，各个像素点的光强唯一确定。因此，进入瞳孔的光通量Q可以通过计算m×n图像的光强之和求得，如下式所示：
(1)
2) 根据人眼视觉特性2)，人眼亮度感觉与实际亮度呈对数关系，如下式所示：
(2)
式中：G为实际亮度；F为人眼感觉亮度；k与K0为常数。因而，借助式(2)可将实际亮度转化为人眼的感觉亮度。
3) 考虑到人眼视觉特性3)，选取中心-周围二者差最大的亮度为视觉显著度基准，为后续动态调整亮度范围作准备。选取3×3邻域为自身感觉亮度，扩展的5×5与3×3邻域之间覆盖范围为周边亮度，由于亮度空间具有线性伸缩性，自身与周边亮度感知差与亮度欧式距离成正比，利用下式计算自身与周边亮度差异性：
(3)
(4)
其中：k为中心区域贡献度系数；I(x，y)为中心区域各点亮度；I(i，j)为周围区域各点亮度；
表示中心区域像素与其耦合区域的欧氏距离。按照式(4)对邻域内亮度差值进行高斯归一化，γ即为区域亮度显著性最大的灰度。
4) 按照亚当斯区域曝光理论[11]，黑白照片的灰调可以用分区标尺表示，如图2所示。它是由一系列连续变化的11个不同的影调组成，标记为0区到10区。由于光强与灰度存在相互对应关系，按照平均法对所有像素点亮度所对应的灰度划分为11个区。其中，5区为中性灰(反光率为18%的灰板表现出的灰色阶调)，3区代表有细节的阴影部分，7区则为有细节的强光部分。
图2 亚当斯分区标尺图
Fig. 2 Picture of Adams zone scale plate
5) 仿照人眼视觉注意机制原理，以区域亮度显著性最大的灰度为中性灰，将各像素点灰度采用分区标尺度量，然后进行灰度拉伸，具体公式为
(5)
当像素点的灰度为中性灰时，该点将被赋予5区的灰色阶调；当像素点灰度大于或者小于中性灰时，更新后的像素灰度保留与中性灰的灰度差，同时右移或左移1.5区阶调。这样，通过灰度的增减实现曝光的调整，继而控制全域内光通量，还原真实景物的亮度信息。
2.1.2 高频方向特征抽取
由于图像大量信息隐藏于雾霾背景下，根据人眼视觉特性4)进行多尺度分解后，便可求得图像景物的边缘及拐点信息。因而，选择一种合适的多尺度分析工具模拟人眼多频信道分解特性显得十分重要。非下采样Contourlet变换[12](non-subsampled contourlet transform, NSCT变换) 是一种后小波工具，它继承了Contourlet变换的多尺度、多方向以及良好的空域和频域局部特性，变换后能量更加集中，能够更好地捕捉和跟踪图像中重要的几何特征。同时，NSCT变换又摒弃了Contourlet变换的采样环节，避免频率混叠，得到的各级子带图像与源图像具有尺寸相同特性，更容易找到各个子带之间的对应关系。然而，NSCT变换也存在以下不足：一方面，信息含量与分辨率成正比，在分解方向时应予以区分，以获得更多更高效的方向信息；另一方面，变换后的特征是由拉普拉斯金字塔分解后的每一层经方向滤波得到的，即滤波后的方向特征为拉普拉斯特征，带有一定的局限性。为此，本算法对高频亮度图像处理时进行如下改进。
1) 分辨的方向随层数减少。对原始图像分解形成的金字塔进行方向分解时，摒弃各尺度固定方向数的分解方法，利用扇形及象限滤波器组对每一层图像分量进行精细化划分，每层一次划分的方向数目分别为16，8及4，且所有层的方向将所在平面均等划分。此依照各层分辨率的高低不同区别处理，考虑了图像信息量对滤波器方向设计的制约，不仅提高了特征信息的获取，而且增强了算法的鲁棒性和准确性。
2) 方向特征由拉普拉斯、一阶及二阶导数组成，以贡献度加权重。为更好寻求图像细节尤其是边缘信息，在原有拉普拉斯特征基础上增加高斯金子塔中水平及垂直方向的一阶及二阶导数特征系数构成特征金字塔进行NSCT方向滤波。该特征金字塔描述奇异点的三维特征信息向量，包括一阶导数、二阶导数以及拉普拉斯特征。其中：
和
分别为水平和垂直方向一阶导数；
和
分别为水平和垂直方向二阶导数；
为高斯金字塔的第k层图像分量；
，
；平滑模板。考虑特征重要程度不一，应对其施以不同权重来表征其贡献度。而通过方向滤波后的系数表征边缘信息的强弱，强边缘对视觉敏感，故增加权重，反之降低。
(6)
(7)
(8)
(9)
显然，这种改进型多尺度分析工具在滤波时分辨的方向数目由分辨率与金字塔尺度共同决定，同时新增的三维特征向量按照贡献度加权，更精细划分边缘细节特征，克服了原始NSCT变换的不足。改进型NSCT采用非下采样特征金字塔滤波器(non-subsampled feature pyramid, NSFP)对图像进行多尺度分解，捕获包含三维特征信息的奇异点，然后由非下采样方向滤波器组(non-subsampled direction filter bank, NSDFB)将奇异点进行既定数目的方向分解，使分布在同方向上的点合成1个系数，继而连成线形结构，从而捕捉图像中的轮廓，如图3所示。此外，将通过变换后的多特征加权系数施以反变换，得到具备更多细节的亮度图像，并融合匹配颜色信息得到HSV图像，为后续饱和度分量处理作准备。
图3 改进型NSCT变换结构图
Fig. 3 Structure of improved NSCT transform
2.2 饱和度分量校正策略
由人眼视觉特性5)可知：色彩空间除了亮度属性，还包含了色调与饱和度分量。颜色恒常性理论表明物体自身颜色与外界条件无关，由其反射属性决定。在对颜色处理时色调分量不必调整，主要对饱和度分量适量调整。文献[13]指出：关于人类视觉颜色感知的研究和统计结果显示，大量人眼颜色感知较好的图像，其色彩分量之间有很强的相关性。故在色度和亮度分量确定的前提下，可构造一种线性变换，将图像的饱和度分量进行变换，使其分量间的相关系数矩阵与标准图像库的统计值相匹配以达到最佳视觉识别效果，确保图像颜色鲜艳，避免图像色偏失真。因此，为了有效提升图像的饱和度，提出了以下调整方案。
1) 统计30组视觉效果良好的m×n彩色图像，求出HSV各分量相关系数矩阵R，并作为后续的参考值，见式(10)。其中，矩阵中2个分量A和B的相关系数定义如式(11)所示。
(10)
(11)
式中：
与
为A和B的均值；
。
2) 不妨设向量
为待校正图像像素点向量，而校正后的像素点向量为
，构造线性变换
。由于亮度分量已校正且色度分量保持不变，故P矩阵形式如下所示：
(12)
其中：E为2阶单位矩阵，p为待定参数。
3) 待校正图像的颜色分量间协方差矩阵Cx与校正后图像分量间协方差矩阵Cy满足：
。显然，2个协方差矩阵是正定对称阵，可采用平方根法分解为：
与
，易求得
。
4) 校正后图像分量间协方差矩阵Cy可认为是R，而待校正图像的Cx求解可根据方差的定义，分别计算图像像素的自相关函数与数学期望，具体为
(13)
5) 在获得Cx与Cy后，结合步骤(3)相关参数之间的关系式，通过求解包含3个未知参数的方程组(14)可得到变换矩阵P。
(14)
6) 由p分量将原图像的饱和度分量校正，然后将其他2个分量与之合成，最终构成符合人眼视觉特性的彩色校正图像。
经本算法得到的饱和度分量对图像颜色分布描述更准确，速度更快，在一定程度上解决了色彩失真的问题，使得校正后的饱和度分布更接近人主观视觉感知。
3 仿真及结果分析
在VC2010中依据算法流程对4幅雾霾彩色测试图进行了实验，对比分析本算法与Kimmel和He这两类经典方法在视觉质量及处理速度方面的差异。从图4可见：本文方法比Kimmel及He算法恢复的结果更自然真实，整体色彩效果很好地满足人眼视觉愉悦性。其主要原因为Kimmel算法由于采用均匀平滑滤波与偏微分方程框架结合，不仅伴有图像细节扭曲与伪影效应现象，而且对于雾霾浓度较厚区域的效果并不明显，如图4(b)和(d)所示。He算法利用黑体的吸光特性提出暗原色理论，针对不同雾霾条件均需要估计大气传输图，造成算法鲁棒性较差，跟随性能不好，使得画面色彩整体偏暗，如图4(a)和(c)所示。而本文算法依据人眼视觉机理对亮度及饱和度分量分而治之：对亮度分量进行区域适应性调整，较好地拉伸亮度的动态范围，处理结果中的前景普遍明亮，整体亮度适中；抽取亮度分量的方向特征，凸显被雾霾掩盖的景物细节信息；统计图像颜色先验知识，构造线性变换校正饱和度，恢复景物丰富的自然色彩信息。因此，这种并行融合处理各颜色分量，获得了较理想的结果。表1所示为各算法处理单幅雾霾图像的耗时量，对比发现Kimmel算法的用时高达1 021 ms，He算法用时与之比缩短为其0.2倍，但依然保持在231 ms。本文算法则避免类似Kimmel算法里的偏微分方程求解环节，也无需He算法中时空复杂度较高的抠图算子，在整个处理过程中采用诸如分区标尺、NSCT以及线性变换等简洁的分析工具，使得计算成本大幅缩减，基本维持在100 ms以内。
此外，本文从图像整体和局部角度出发，分别采用图像熵[14]与平均梯度[15]作为客观质量评价指标。图像熵H表征了图像中灰度分布的聚集特征所包含的信息量，它反映了图像中平均信息量，计算式如式(15)所示。其中：pi为图像中像素值为i的像素点在图像中所占的比例。平均梯度
是指图像边界两侧附近像素值的变化率，它反映了图像微小细节反差变化的速率，计算式如式(16)所示。
(15)
(16)
其中：I(i，j)为图像的(i，j)像素值。统计各算法结果的质量评价值，将其绘制成图，横坐标表示四幅测试图的序号，纵坐标则分别代表图像熵和平均梯度等评价指标，单位为“比特”和“1”，如图5所示。从图5可见：两组对比算法对于图像质量的改善程度有限，均保持在0.5~1.0倍，而本文算法的提升效果最高达到3倍，处理性能远远领先对照组。其次，从各曲线的走势可明显看出：两类指标反映的结果几乎一致，即利用本文方法处理效果明显优于Kimmel及He算法，从而佐证了主观评价结论。
表1 算法处理耗时量统计
Table 1 Statistics of time consumption ms
图4 算法仿真效果图
Fig. 4 Results of different algorithms
图5 各算法质量评价曲线
Fig. 5 Quality-evaluating curves of different algorithms
4 结论
1) 利用人眼视觉注意机制中视觉显著度作为亚当斯区域曝光的中度灰基准拉升亮度分量的动态范围，其效果与视觉感受有较高的吻合度。
2) 改进的NSCT分析工具很好的凸显雾霾图像的细节信息，满足人眼对边缘特征敏感的需求。
3) 利用彩色图像先验知识纠正饱和度分量，使处理结果色彩更显自然，无色偏或者伪影效应。
4) 算法流程简单，处理速度具有明显的优势，能够达到工程应用的实时性要求。但是，由于景深越大，雾霾浓度越厚，图像信息被掩盖程度也随之加重，所以，本文算法对于远景雾霾区域的提升效果并不明显，这是下一步工作的重点研究方向。
参考文献：
[1] Jeong S, Lee S. The single image dehazing based on efficient transmission estimation[C]//IEEE International Conference on Consumer Electronics (ICCE). Las Vegas, NV: IEEE, 2013: 376-377.
[2] 禹晶, 李大鹏, 廖庆敏.基于物理模型的快速单幅图像去雾方法[J]. 自动化学报, 2011, 37(2): 144-149.
YU Jing, LI Dapeng, LIAO Qingmin. Physics-based fast single image fog removal[J]. Acta Automatica Sinica, 2011, 37(2): 144-149.
[3] Tan R. Visibility in bad weather from a single image[C]//IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, Alaska: IEEE, 2008: 1-8.
[4] Fattal R. Single image dehazing[J]. Proceedings of SIGGRAPH, 2008, 27(3): 1-9.
[5] He K, Sun J, Tang X. Single image haze removal using dark channel prior[C]//Proc of 27th IEEE Conference on Computer Vision and Pattern Recognition. Washington DC, USA: IEEE, 2009: 1956-1963.
[6] JIN Xuebo, BAO Jia, DU Jingjing. Image enhancement based on selective-Retinex fusion algorithm[J]. Journal of Software, 2012, 7(6): 1187-1195.
[7] 迟健男, 张闯, 张朝晖. 基于反对称双正交小波重构的图像增强方法[J]. 自动化学报, 2010, 36(4): 476-487.
CHI Jiannan, ZHANG Chuang, ZHANG Chaohui. Image enhancement based on anti-symmetrical biorthogonal wavelet reconstruction[J]. Acta Automatica Sinica, 2010, 36(4): 476-487.
[8] Kimmel R, Elad M, Shaked D, et al. A variational framework for Retinex[J]. International Journal of Computer Vision, 2003, 52(1): 7-23.
[9] Granrath D J. The role of human visual models in image processing[J]. Proceedings of the IEEE, 1981, 69(5): 552-561.
[10] Kil T H,Lee S H,Cho N I. A dehazing algorithm using dark channel prior and contrast enhancement[C]//IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Vancouver, BC: IEEE, 2013: 2484-2487.
[11] LIAO Yuyi, LIN Jzausheng,TAI Shenchuan. Color balance algorithm with Zone system in color image correction[C]//International Conference on Computer Sciences and Convergence Information Technology (ICCIT). Seogwipo: IEEE, 2011: 167-172.
[12] TONG Ying, ZHAO Meirong, WEI Zilong. Adaptive threshold nonlinear image enhancement algorithm based on NSCT transform[C]//The Proceedings of the Second International Conference on Communications, Signal Processing, and Systems Lecture Notes in Electrical Engineering. Switzerland: Springer International Publishing, 2014: 279-286.
[13] Tsagaris V, Anastassopoulos V. Multispectral image fusion for improved RGB representation based on perceptual attributes[J]. International Journal of Remote Sensing, 2005, 26(15): 3241-3254.
[14] 杨作廷, 阮萍, 翟波. 基于图像熵的高动态范围场景的自动曝光算法[J]. 光子学报, 2013, 42(6): 742-746.
YANG Zuoting, RUAN Ping, ZHAI Bo. Auto-exposure algorithm for scenes with high dynamic rang based on image entropy[J]. Acta Photonica Sinica, 2013, 42(6): 742-746.
[15] GONG Hu, SHI Qiang. Image quality assessment based on the mean gradient of edge preserve index[C]//2011 International Conference on Information, Services and Management Engineering. Wuhan, China: Scientific Research Publishing, 2011: 1436-1441.
(编辑 陈爱华)
收稿日期：2015-03-13；修回日期：2015-06-20
基金项目(Foundation item)：国家自然科学基金资助项目(61372167)(Project (61372167) supported by the National Natural Science Foundation of China)
通信作者：周理，博士研究生，从事图像增强、图像分割研究；E-mail：zhouli_5120801@163.com
