DOI: 10.11817/j.issn.1672-7207.2016.06.020
亮度保持和细节增强的红外图像增强方法
凡遵林，毕笃彦，马时平，何林远
(空军工程大学 航空航天工程学院，陕西 西安，710038)
摘要：针对红外图像对比度低和细节信息少的特性，提出一种能保持亮度和增强细节的方法。改进的自适应双边滤波将图像分成基本层和细节层，在基本层利用基于高斯混合模型的直方图规定化实现亮度保持，在细节层利用人眼视觉特性自适应选取增强函数来增强较弱细节并保护原图像中的清晰边缘不失真，再恢复到原来灰度空间。研究结果表明：该算法可保持整体明暗视觉效果，同时，原图像中较暗和较亮处的细节都可得到有效增强。
关键词：红外图像；双边滤波；高斯混合模型；亮度保持；细节增强
中图分类号：TP391 文献标志码：A 文章编号：1672-7207(2016)06-1967-06
Method for infrared image with brightness preservation and detail enhancement
FAN Zunlin, BI Duyan, MA Shiping, HE Linyuan
(Institute of Aeronautics and Astronautics, Air Force Engineering University, Xi’an 710038, China)
Abstract: To alleviate the problems of low contrast and less detail of infrared images, a novel algorithm for infrared image enhancement was proposed. An adaptive bilateral filter was employed to extract a base component and a detail component from the original image. Then luminance on the base component was adaptively modified based on Gauss mixture model to persevere brightness. Meanwhile, the detail component was enhanced by a scale adaptive strategy that could emphasize features with low contrast and protect the strong contrast features from distortions. The results show that by the proposed algorithm, the details in both brighter and darker regions of the original images are enhanced and preserved.
Key words: infrared image; bilateral filter; Gauss mixture model; brightness preservation; detail enhancement
随着红外技术的不断发展和进步，红外成像系统以其较强的抗干扰能力、远距离及昼夜工作适应性、良好的隐蔽性等优点被广泛应用在目标探测、精确制导、光学遥感、夜间导航及其他民用领域。然而红外图像的低对比度严重影响了红外图像对目标的探测和识别精度，成为了限制红外技术进一步发展与应用的瓶颈，寻求有效的技术手段破解该难题成为红外成像领域的重要发展方向[1]。目前，对红外图像增强方法可分为传统的空域和频域图像增强处理、基于直方图的增强处理以及新型图像增强处理。传统的空域图像增强处理是对图像灰度空间分布实现细节增强，是直观易理解的处理方法。ZOU等[2]提出了基于UM (unsharpen mask)方法，采用非线性滤波器的图像基频细节分离技术，将细节图像自适应地增强，但存在过增强和细节部分的噪声被放大等问题。传统频域图像增强处理是通过频域高通滤波器提取属于图像高频成分的目标边沿或轮廓细节，进行增强处理提升对比度。刘涛等[3]在贝叶斯最大后验推论和最小均方误差准则下提出了一种基于卡尔曼滤波的红外图像增强方法，在去除非均匀噪声同时提高了对比度，但过度的高频增强会使图像产生伪像。传统的HE(histogram equalization)方法的作用是从统计学的观点为提高图像对比度，改变图像中灰度概率分布，使其均匀化。对图像中由少量相近灰度像素组成的小目标或细节纹理特征无法实现有效的增强，且易造成细节信息的损失甚至丢失潜在的目标，因此，很多学者提出了基于HE算法的改进方法。谢文达等[4]对HE改进方法系统地归纳为3大类：1) 方程式改良型。吕宗伟等[5]提出基于直方图亮度保持算法，利用累积分布函数将直方图分割成几个子直方图进行均衡，但对于较好对比度图像的增强效果不明显。2) 概率密度函数重塑类型。吴成茂[6]从图像最优化对比度出发，提出直方图均衡化的最优化数学模型及其增强方法，改变直方图概率密度函数的形态，更具有普适性，但仍然存在低对比度细节丢失的问题。3) 空间处理类型。对比度抑制自适应直方图均衡[7] (contrast limited adaptive histogram equalization, CLAHE)能够把平坦区域的细节部分也凸显出来，但存在过度增强的现象。近年来，模拟人眼视觉特性的新型图像处理方法取得了较好的效果，这也是未来红外图像增强重要的研究方向。蒋敏等[8] 针对人眼的敏感性与空间频率相关的特点，保留了小波变换多尺度的特性且具有更好的方向辨识能力，对低对比度的影像特征也具有较好的细节增强效果。金小贤等[9]分析人类视觉系统的全局和局部自适应调节原理及人眼视网膜神经节细胞感受野的传输特性，提出一种仿生图像增强算法，该算法可有效地提升区域亮度对比和亮度梯度信息。针对红外图像特性和模拟人眼视觉特性在增强方面的优越性，本文作者提出一种新的自适应双边滤波，将原图像分成基本层和细节层，基于混合高斯模型将基本层分成几个子图像分别进行直方图规定化来保持整体亮度，在细节层利用人眼视觉特性自适应增强图像纹理和细节，形成一种有效的红外图像增强算法。
1 传统的HE算法及分析
一幅数字图像，其离散的表达形式为
(1)
式中：灰度级范围为[0，L-1]；rk为第k级灰度；nk为图像中灰度为rk的像素个数；Pr(rk)为第k级灰度级上的概率密度。
数字图像的直方图均衡变换函数sk可表示为
(2)
处理后，图像像素灰度的动态范围增加，图像的对比度和视觉效果得到提高，但会带来以下缺点。
1) 均衡后图像的平均亮度与输入图像的亮度无关。变换后图像的灰度级Gk范围为[G0，GL-1]，均衡后的图像中各灰度级Gk有近似均匀的概率密度：
，则变换后的平均亮度为
(3)
其中：E(·)为数学期望，式(3)表明均衡后的亮度均值与输入图像亮度无关，总是在其灰度范围的中值附近。
2) HE法对图像对比度呈现全局性拓展，故在细微部分的处理上容易丢失部分原图细节。当直方图均衡化时，相邻灰度级rk和rk+1合并到增强后的图像的灰度级s上。假设
，
(4)
，故
(5)
式中：
，
和
分别为对应灰度级rk，rk+1和s上的概率密度分布。
式(5)与式(4)的结论相矛盾，即假设不成立。当直方图均衡时，小细节被合并到其他灰度级时，图像的信息熵必然会减少，后面的实验数据也能证明。
2 本文算法
直方图均衡又可分为全局直方图和局部直方图2大类。全局直方图增强是一对一的，即原图中灰度级相同的像素映射为同一结果，其优点是计算速度快，能保持很好的整体明暗视觉效果，但会造成信息丢失；局部直方图增强不是一对一映射，比全局映射更灵活，可以增强所有局部对比度，如CLAHE算法，几乎保持所有的可视细节信息，但不会关注整体明暗效果，甚至会添加不同程度的噪声。人眼对场景中细节信息非常敏感，而整体的明暗印象通过图像的整体统计信息来解决明暗对比度更为合理。为此，提出一种将空间信息与统计信息相结合的算法。
2.1 自适应双边滤波器
给人带来接近真实场景的视觉感受，既要保持可视细节信息，又要体现整体明暗视觉效果，但这是矛盾的要求，而双边滤波能较好地分解两者之间的矛盾。它是一种非线性边缘保持滤波器，输出结果为输入像素的加权平均，每个像素的权值同时依赖于空间域中的高斯函数和灰度域中的影响函数[10]。对于像素P来说，双边滤波输出结果为：
(6)
(7)
其中：s为邻域Ω内的像素；Is为像素值；Ws为权值核函数f和g的归一化系数；设σf和σg分别为高斯函数f和g的偏差，性能测试中取2和1。
(8)
(9)
(10)
其中：IR(x，y)为输入的原始红外图像的灰度值，Ir(x，y)为对IR(x，y)进行以10为底的对数运算后的图像灰度值；Fb(·)为式(6)的双边滤波运算；
为输出结果作为基本层，细节层
定义为原图像与基本层灰度值之差。经过双边滤波将原图像分解基本层
和细节层，基本层表示整体亮度，细节层表示局部的细节信息。在图像变化平缓的区域，邻域的亮度相差不大，双边滤波转化为高斯滤波；在图像变化剧烈的区域，由于亮度变化很大的像素被降低了权重，所以，输出结果是中心点附近亮度相近于像素点的亮度平均。与高斯函数相比，双边滤波输出的结果，既实现了图像的平滑处理，又能够保持图像的边缘信息。这样可以将较大的对比度留在基本层，而细节层仅保留局部较小对比度的信息。
但是文献[10]采用固定的对数底进行处理，会导致处理后图像亮区和暗区的细节丢失。为了使输入的灰度级[0,1]在对数变换输出实现图像灰度级映射的合理变化，应当构建不同底数的对数函数，图1所示为不同底数的对数映射曲线。从图1可以看出：当像素处于暗区，用小的底数可以映射输出较宽范围的对数值(左图最上面的曲线)；像素处于亮区应该压缩其幅度，使用较大的底数(右图最下面的曲线)。基于上述思想，提出如下把像素点亮度作为输入变量的底数计算公式：
(11)
其中：Cmax和Cmin用来确定底数的范围，分别取2和10；Ip为像素p的亮度；Imax和Imin为图像的像素最大和最小值。修改式(8)得
(12)
图1 不同底数的对数映射曲线
Fig. 1 Logarithmic function curves of different base numbers
2.2 基于GMM的直方图规定化
由于红外图像的直方图有明显的峰存在，多数情况下为单峰或双峰[11]。但文献[11]采用单一的高斯函数实现直方图规定化，导致原红外图像的直方图为多峰或者不存在的峰值时，会出现严重的失真。采用高斯混合模型(Gauss mixture model, GMM)，其概率分布模型p(y|θ)[12]为
(13)
其中：αk为正系数，且
；
，
为高斯分布密度，
称为第k个分模型。通过迭代条件模式(iterative condition model, ICM)求解基于马尔科夫随机场模型(Markov random field，MRF)进行图像分割优化问题，可以将一幅图像分割成k个子图像，对每个子图像进行直方图规定化。根据原子图像的信息求出灰度平均值μk和方差
，并通过这2个参数估计输出子图像的灰度平均值
和方差
，并根据和构成高斯函数规定化输出子图像的直方图，即：
(14)
(15)
式中：e0定义为扩展系数，增强细节e0应大于1，取值太大会导致细节过增强，本文e0取为1.5，其他参数与式(1)具有相同的物理意义。对k个子图像按式(14)和式(15)进行规定化，再将规定化后的k个子图像合并。当k=1时，亮度保持效果与文献[11]有相同的处理效果，只考虑灰度直方图单峰的情况；当k为无穷大时，变换成为像素点运算，不具有亮度保持的优势，所以取k为6。
2.3 基于视觉特性的局部对比度增强函数
在背景光强度为I的均匀光照区域，若存在1个亮度为I+ΔI的光斑，则这个光斑能被人眼察觉的条件是ΔI大于某个值，这个刚好能被人眼分辨的亮度差叫做刚可分辨亮度差(just noticeable difference, JND)，ΔI和I的比叫做阈值亮度比(threshold versus intensity, TVI)。在低背景亮度和高背景亮度之间的相当宽的背景亮度范围内满足韦伯定律，ΔIc/I称为韦伯比，其中ΔIc为在背景亮度为I的条件下可辨别亮度增量的50%。ΔIc/I较小表示可辨别强度较小的百分比变化，意味着亮度辨别能力较好，ΔIc/I较大则反之。lg(ΔIc/I)作为I的对数函数，其通常形状如图2所示。由图2可以看出：在低照度情况下，韦伯比较大，亮度辨别力差，随着照度增加，韦伯比下降，亮度分辨力得到改善。因此，模拟人眼主观视觉有区别地处理不同亮度背景下的细节，能解决强边缘处过增强和平坦区欠增强的问题。
基于双边滤波的自适应细节增强为
(16)
其中：
为局部对比度提升函数；
为细节增强后图像，根据前面分析可知的取值很关键，直接影响细节增强效果。
利用韦伯比曲线模拟构造局部细节调整函数，目的是根据背景光照分量进行相应的细节增强，拟合相似的细节调整函数曲线，根据图3所示，λ取0.85。
(17)
考虑到在实际图像增强中，对于原本梯度大的地方， 视觉效果本身就比较清楚而不需要增强，对于原图像梯度小的地方，才是真正需要强调的信息，故而进一步防止边缘过增强，构造以细节层取值强度为变量的对比度限制函数k(x，y)，用1个随着细节层信息增大而衰减的关系来描述，但不能小于 1。
(18)
其中：λ1＞0反映了细节的最大放大倍数, 而λ2＞0反映了放大系数随细节增大的衰减速度。
图2 JND与背景亮度的关系
Fig. 2 Relationship between JND and background luminance
图3 细节调整函数曲线
Fig. 3 Function curves for details adjustment
为综合考虑图像背景亮度和细节信息，最终的局部对比度提升函数为细节调整函数和对比度限制函数的乘积为
(19)
采用模拟人眼视觉特性和抑制细节过增强的局部对比度增强函数，可使高对比度地方增强较少，增强图像结果总体比较柔和，视觉效果不至于太锐化，对处于暗区和亮区且细节不明显的像素点具有较强的增强，同时可抑制细节的过增强。
和
分别为和归一化后的变量。
最后，为了恢复到原来的亮度空间，用和式(11)的结果C(p)进行指数函数操作，用
表示经过自适应增强后的亮度，即
(20)
3 实验结果与分析
从FLIR System网站上选择3幅典型红外图像进行实验，从上至下分别为具有复杂背景的红外图像、暗区细节少的红外图像及亮区细节少的红外图像，如图4所示。从亮度保持和细节增强2方面将本文算法与其他增强算法相比较，包括传统的HE算法、反锐化掩模算法(UM)以及文献[7]的CLAHE算法。
3.1 亮度保持
用AMBE(absolute mean brightness error)[13]衡量亮度保持的效果，计算公式为
(Xm为输入图像的亮度，Ym为输出图像的亮度)。对上述4组图像的测试结果如表1所示为AMBE的计算结果。从表1可以看出：UM算法和本文算法都能较准确地保持输入图像的亮度，HE算法的保持效果最差，尤其是其中存在大量暗区或亮区的图像，而本文算法亮度保持效果较好的原因是对其基本层进行基于GMM的直方图规定化。
3.2 细节增强
用熵衡量图像在暗区和亮区的细节信息变化，计算公式为
。比较表1中各算法处理结果的熵，HE算法处理易使细微部分的细节丢失，其熵明显降低；文献[7]的熵有所增加，原因是平坦区的细节显著增强，甚至在边缘附近出现晕轮现象；UM算法容易在边缘处出现过增强的现象，因此熵比本文算法的熵小。如图4所示的矩形方框内，传统的HE算法的复杂背景区域成了大片的高亮度区域，暗区和亮区的细节完全被掩盖；UM算法整体对比度较差，在复杂背景区域和暗区的细节增强不明显，且在亮区出现了不希望的斑点；文献[7]算法整体对比度较好，但在暗区会出现“意外”的细节使细节模糊化，在复杂背景区域分不清目标和背景。
图4 不同类型红外图像处理的实验结果
Fig. 4 Experiment results of different algorithms
表1 图4中各分图的AMBE和熵
Table 1 AMBE and entropy of images in Fig. 4
4 结论
1) 提出了一种自适应的双边滤波，在分解的基本层和细节层分别进行基于混合高斯模型的直方图规定化和基于韦伯比曲线特性的细节增强，解决了保持整体明暗视觉效果和增强可视细节信息的矛盾。
2) 通过与经典增强算法的比较验证了本文算法具有亮度保持和细节增强的优点，处理后图像的整体对比度得到显著提高，不存在淹没和模糊化暗区和亮区细节的现象，提升了细节的清晰度，适用于低噪声的红外图像。但本文没有对具有较大噪声的红外图像增强进行研究，增强红外图像同时抑制强噪声是接下来重要的研究方向。
参考文献：
[1] DAI Shaosheng, LIU Qiang, TANG Huaming, et al. Study on an infrared image enhancement algorithm by using lateral inhibition of human visual system[J]. Applied Mechanics and Materials, 2014, 696(2): 92-98.
[2] ZOU Chao, CHEN Qian, LIU Ning, et al. Display and detail enhancement for high-dynamic-range infrared images[J]. Optical Engineering, 2011, 50(12): 154-163.
[3] 刘涛, 赵巨峰, 徐之海. 基于卡尔曼滤波的红外图像增强算法[J]. 浙江大学(工学版), 2012, 46(8): 1534-1539.
LIU Tao, ZHAO Jufeng, XU Zhihai. Enhancement algorithm for infrared images based on Kalman filter[J]. Journal of Zhejiang University (Engineering Science), 2012, 46(8): 1534-1539.
[4] 谢文达, 邱竣鸿, 王垒. 实际且快速的图像对比度增强方法[J]. 计算机研究与发展, 2013, 50(4): 787-799.
XIE Wenda, QIU Junhong, WANG Lei. A practical and efficient contrast enhancement method[J]. Journal of Computer Research and Development, 2013, 50(4): 787-799.
[5] 吕宗伟, 唐治德, 周林. 利用累计分布函数的亮度保持均衡算法[J]. 计算机辅助设计与图形学学报, 2011, 23(9): 1495-1503.
LU Zongwei, TANG Zhide, ZHOU Lin. Brightness preserving histogram equalization based on cumulative distribution function[J]. Journal of Computer Aided Design & Computer Graphics, 2011, 23(9): 1495-1503.
[6] 吴成茂. 直方图均衡化的数学模型研究[J]. 电子学报, 2013, 3(3): 598-602.
WU Chengmao. Studies on mathematical model of histogram equalization[J]. Acta Electronica Sinica, 2013, 3(3): 598-602.
[7] 魏锐, 徐亮. 受限直方图均衡化的低频DCT系数重变换算法[J].实验室研究与探索, 2015, 34(5): 16-20, 35.
WEI Rui, XU Liang. Low frequency DCT coefficients retransformed algorithm of contrast limited adaptive histogram equalization[J]. Research and Exploration in Laboratory, 2015, 34(5): 16-20, 35.
[8] 蒋敏, 刘士建, 李丹. 镜像曲波掌部静脉影像增强方法[J]. 红外与毫米波学报, 2012, 31(1): 57-60.
JIANG Min, LIU Shijian, LI Dan. Palm vein image enhancement based on mirror-extended curvelet transforms[J]. Journal of Infrared and Millimeter Waves, 2012, 31(1): 57-60.
[9] 金小贤, 李卫军, 王守觉, 等. 一种基于视觉特性的仿生图像增强算法[J]. 计算机辅助设计与图形学学报, 2010, 22(3): 534-537.
JIN Xiaoxian, LI Weijun, WANG Shoujue, et al. An algorithm for biomimetic image enhancement based on human visual property[J]. Journal of Computer Aided Design & Computer Graphics, 2010, 22(3): 534-537.
[10] AN S J, BOUSSAID F, BENNAMOUN M, et al. Quantitative error analysis of bilateral filtering[J]. IEEE Signal Processing Letters, 2015, 22(2): 202-206.
[11] LO T Y, SIM K S, TSO C P. Infrared image enhancement using adaptive trilateral contrast enhancement[J]. Pattern Recognition Letters, 2015, 54: 103-108.
[12] ABDOLI M, SARIKHANI H, GHANBARI M, et al. Gaussian mixture model-based contrast enhancement[J]. IET Image Processing, 2015, 9(7): 569-577.
[13] LU Y A, XIE F Y, LIU T L, et al. No reference quality assessment for multiply-distorted images based on an improved bag-of-words model[J]. IEEE Signal Processing Letters, 2015, 22(10): 1811-1815.
(编辑 刘锦伟)
收稿日期：2015-06-15；修回日期：2015-07-30
基金项目(Foundation item)：国家自然科学基金资助项目(61372167)(Project(61372167) supported by the National Natural Science Foundation of China)
通信作者：毕笃彦，博士，从事图像处理、模式识别和人工智能；E-mail：biduyan@126.com
