DOI： 10.11817/j.issn.1672-7207.2019.07.015

基于伪高动态范围的图像拼接预处理方法

吴亮红,孙亮,周博文,张红强,卢明

（湖南科技大学 信息与电气工程学院，湖南 湘潭，411021）

摘要:在恶劣照明场景下，要提高基于特征的图像拼接过程中特征匹配准确度，图像增强是关键，为此，提出一种基于伪高动态范围(pseudo high dynamic range，P-HDR)的图像增强算法作为图像拼接的预处理方法。首先，通过单幅图像生成多重虚拟亮度图像，并进行色调映射生成伪高动态范围图像；然后，采用加速鲁棒特征(speeded up robust features，SURF)算法检测预处理后待拼接图像的特征点并执行近似最近邻搜索(fast library for approximate nearest neighbors，FLANN)算法和随机抽样一致性(random sample consensus，RANSAC)算法对其特征点分别进行粗匹配和精匹配。研究结果表明，在恶劣照明环境下，所提预处理方法可以提高特征匹配准确度。

关键词:图像增强；伪高动态范围；加速鲁棒特征；特征匹配；图像拼接

中图分类号:TP391    文献标志码:A     文章编号:1672-7207(2019)07-1619-07

Image stitching preprocessing method based onpseudo high dynamic range

WU　Lianghong, SUN　Liang, ZHOU　Bowen, ZHANG　Hongqiang, LU　Ming

(School of Information and Electrical Engineering, Hunan University of Science and Technology, Xiangtan 411021, China)

Abstract: In the extreme illumination scenario, image enhancement is a key part to improve the feature matching accuracy in feature-based image stitching. Based on this, a pseudo high dynamic range(P-HDR) image enhancement algorithm was proposed as a preprocessing method for image Mosaic. The algorithm first generated multiple virtual luminance images from a single image, and then performed tone mapping on multiple virtual luminance images to generate pseudo high dynamic range images. Thereafter, the speeded up robust features(SURF) algorithm was used to detect the feature points of the stitched image after preprocessing, and the feature points were roughly matched and finely matched by the fast library for approximate nearest neighbors(FLANN) algorithm and the random sample consensus(RANSAC) algorithm, respectively. The results show that the proposed preprocessing method can improve the feature matching accuracy in the extreme illumination.

Key words: image enhancement; pseudo high dynamic range(P-HDR); speeded up robust features; feature matching; image stitching

图像拼接是计算机视觉研究中的热点问题，该技术已广泛应用于医学图像处理^[1]、虚拟现实^[2]、机器人视觉^[3]等领域。图像拼接就是将某一环境下拍摄到的2幅或多幅图像经过图像处理拼接成1幅视角更广的全景图像技术。图像拼接可以通过基于灰度信息特征、相位相关和变换模型等方法来实现，其中，由于基于图像特征点的匹配方法能够在光照变化、拍摄角度变换等变化下表现出较强的可靠性和鲁棒性，被大量应用于图像拼接中。例如，BAY等^[4]提出的加速鲁棒特征(speeded up robust features，SURF)算法采用Hessian矩阵检测图像特征点具有尺度、光照、旋转等不变特性，使得图像特征匹配具有较强的稳定性。然而，在恶劣照明场景下，图像特征匹配准确度非常低。由于图像特征匹配是基于检测到的边缘、角落等特征来进行匹配，所以，尽可能多地检测出特征点是解决图像特征匹配准确度低的有效方法。为了能够检测出更多的特征点，通常在图像拼接预处理部分采用能够提高图像对比度并且增强待拼接图像中边缘、角落的图像增强方法，如TU等^[5]提出直方图均衡化应用于图像特征匹配，经实验验证，直方图均衡可以明显提高特征点的数量；DAUD 等^[6]提出一种基于直方图均衡的改进预处理方法，该方法提高了恶劣光照情况下图像特征匹配的准确度；贾银江等^[7]提出一种锐化滤波器来增强图像细节，以此增加特征点数量；ZHANG等^[8]采用直方图匹配的方法改善图像质量，并可以改善光照变化时的图像拼接效果。以上研究主要采用图像增强算法作为图像特征匹配和图像拼接的预处理方法，提高了匹配准确度，但同时造成图像噪声增多，从而影响匹配效率和拼接时间。为此，本文作者提出一种基于伪高动态范围(pseudo high dynamic range，P-HDR)的图像增强算法作为图像拼接的预处理方法。该算法首先通过单幅低动态范围(low dynamic range，LDR)图像生成多重虚拟亮度图像，然后对多重虚拟亮度图像进行色调映射生成伪高动态范围图像。在恶劣照明场景下，本文提出的图像增强算法可以明显增强图像边缘、角落和提高对比度，检测到的特征点数量增多，能有效抑制图像噪声，提高图像特征匹配准确度。

1 P-HDR图像增强算法

本文提出图像增强算法，即通过单幅图像生成伪高动态范围图像，利用该算法增强待拼接图像，以改善图像质量。图1所示为该图像增强算法的流程框图，主要由3步组成。

1) 通过RGB到YUV颜色空间变换，从输入图像S中提取亮度信息图像L，然后根据Retinex理论将亮度信息图像分解成环境的照明量I和反射量R ^[9]。

图1　图像增强算法流程框图

Fig. 1　Flow chart of image enhancement algorithm

由于加权最小二乘滤波器(weighted least square，WLS)与传统高斯滤波器相比，可以防止光晕伪像，因此，本文采用加权最小二乘滤波器得到照明量I。

2) 调整反射量并生成对应不同虚拟曝光值的多重虚拟照明量。为了调整反射量，提出一种选择性调整反射比例方法，增强相对明亮区域的细节，从而提高图像对比度。同时，使用虚拟曝光值比例函数生成多重虚拟照明量{I_k}。

3) 由调整后的反射量和多重虚拟照明量{I_k}生成多重虚拟亮度图像{L_k}，并对多重虚拟亮度图像进行色调映射处理，最后得到增强后的伪高动态范围图像。

1.1　图像分解

首先将输入图像S从RGB颜色空间转换到YUV颜色空间以获得作为人眼感知物体的亮度信息。Y分量的物理意义是像素点的亮度，将Y分量进行归一化后得到亮度信息图像L：

L=1.0×(0.3×C_R+0.59×C_G+0.11×C_B)/255        (1)

式中：C_R，C_G和C_B分别为输入图像RGB颜色空间的3个分量(红、绿、蓝)。

根据Retinex理论，人眼感知物体的亮度取决于环境的照明和物体表面对照射光的反射，数学表达式为

(2)

式中：(i, j)为像素位置；R为图像信息的反射量；I是用滤波器G滤波L得到的照明估计量。由于高斯核通常会在明亮背景和暗前景的边界附近产生光晕伪影^[10]，因此，本文采用加权最小二乘滤波器代替高斯滤波器以减少光晕伪影。加权最小二乘滤波器是一种边缘保持平滑的滤波器，能够满足与亮度信息图像L类似又尽可能平滑的要求。

加权最小二乘滤波器数学模型^[11]为

(3)

式中：u为滤波器输出；λ为第1项和第2项之间的平衡参数；下标p表示像素位置。式(3)中，第1项(u_p-L_p)²是为了使输出图像u与输入亮度信息图像L越相似越好，第2项是通过最小化偏导数来抑制纹理的平滑项和，a_x,p(L)和a_y,p(L)为平滑权重。

1.2　调整反射量和生成多重虚拟照明量

1.2.1　选择性调整反射量比例　

为了增强图像暗区域中的细节清晰度，需要调整照明量。然而，在明亮区域下，增加照明又可能使图像像素饱和，这样会使图像细节信息损失^[12]，因此，在相对明亮的区域中，调整照明量不能充分增强图像细节清晰度。本文在处理图像明亮区域时，没有采用遍历像素的照明均衡方法，而是采用当照明量大于某个阈值时进行调整反射量的方法，这样可保证明亮区域的图像细节更清晰。

反射量为

(4)

式中：m_I为照明量I的平均值；γ=0.6。因此，当像素I(i, j)的照明值大于平均值m_I时，则将I(i, j)视为较明亮像素，并且将该像素的反射量增加倍。

1.2.2　生成多重虚拟照明量　

由于本文使用的是未知曝光值的单幅亮度信息图像L，为了生成多重虚拟照明量，采用Sigmoid函数作为虚拟曝光值的比例函数：

(5)

式中：为[0, 1]范围内的虚拟曝光值；m_I为照明量I的平均值；σ_s为Sigmoid函数的平滑因子，本文取值为1.0；，r为控制比例函数的自适应幅度；M为初始照明量I的最大值。

本文设计4种不同的虚拟曝光值，加上初始照明量平均值m_I，即可获得一组虚拟曝光值(k=1, 2, 3, 4, 5)，其中，=0.25，ν₂=(ν₁+ν₃)/2，=m_I，ν₄=(ν₃+ ν₅)/2，ν₅=0.75。

将图像的初始照明量I乘以f(ν_k)作为新的照明量，这样便可以生成多重虚拟照明量I_k(k=1, 2, 3, 4, 5)，即

I_k=(1+f(ν_k))I(i, j)                     (6)

1.3　色调映射

通过调整后的反射量和多重虚拟照明量I_k生成多重虚拟亮度图像L_k(k=1, 2, 3, 4, 5)：

(7)

然后，对多重虚拟亮度图像L_k进行色调映射^[13]，从而获得增强伪高动态范围图像：

(8)

式中：[0, 1]，为该范围内的校正系数，本文β取为1.0。

1.4　图像增强效果对比

为了验证本文提出的P-HDR图像增强算法的有效性，对1幅恶劣环境照明场景下的图像进行增强处理，其结果如图2所示，其中，图2(a)所示为原始图像，图2(b)所示为增强后的图像。由图2可见：本文提出的图像增强算法可增强图像暗区域的边缘，提高图像对比度。

图2　恶劣照明场景下的图像增强效果

Fig. 2　Image enhancement effects in extreme illumination scenario

2 基于SURF算法的图像拼接

2.1　SURF特征点检测和特征描述符构建

SURF特征点检测是利用盒子滤波器建立尺度空间，在不改变原图像大小的条件下不断改变盒子滤波器的模板大小，与原图像在不同方向上进行卷积计算，从而形成多尺度斑点响应的金字塔图像。利用这一金字塔图像，即可进行斑点响应极值点的搜索^[14]，从而检测出图像的特征点。

SURF特征点检测是基于Hessian矩阵，给定图像I中的像素点I(i, j)，则尺度为σ的Hessian矩阵H(I, σ)定义如下：

(9)

式中：为高斯二阶微分在点处与图像的卷积，与具有类似的含义。SURF算法在进行卷积时采用盒子滤波器来近似高斯滤波。通过Hessian矩阵检测到的特征点构建特征描述符，每个特征点沿着主方向建立64维的特征描述符^[15]。图3所示为沿主方向描述的待拼接图像的特征点。

图3　采用SURF在待拼接图像中检测到的特征点

Fig. 3　Feature points detected by SURF in image to be stitched

2.2　图像特征匹配

由于SURF算法检测到的特征点具有尺度、光照、旋转等不变特性，所以，通过比较特征描述符高维空间的欧氏距离，即可判断2个特征点是否对应于场景中的同一个位置^[16]。对于待拼接的2幅图像，若检测到的2个特征点的欧式距离最近，则认为这2个特征点是待拼接的2幅图像相同场景部分中的同一位置。本文采用快速近似最近邻搜索(FLANN)算法^[17]进行粗匹配得到待拼接图像的特征点对。当完成粗匹配后，特征点对仍然存在一些错误的匹配对。为了进一步提纯特征点对，采用随机抽样一致性算法^[18](RANSAC)进行精匹配。RANSAC算法通过误差函数来计算实际异常值，从而剔除错误的特征点对。图4所示为图像拼接的特征匹配效果。

图4　图像特征匹配效果

Fig. 4　Image feature matching effect

2.3　图像拼接

通过计算匹配特征点对的透视变换矩阵来进行图像拼接。根据透视变换矩阵，可以将待拼接图像映射到一幅投影图像上。由于待拼接图像存在亮度、色度等差异，所以，在拼接图像的拼接处采用加权平权算法^[19]进行图像融合。图5所示为基于SURF算法的图像拼接效果。

图5　基于SURF算法的拼接图像

Fig. 5　Stitched image based on SURF algorithm

3 实验验证及分析

本文实验平台为Microsoft Visual Studio 2015，Python3.6.5和OpenCV3.4.1，计算机CPU为Inter(R) Core(TM) i5-8300M (2.30GHz)，内存为8 GB。图6所示为恶劣照明场景下的待拼接图像1和图像2。由图6可见：待拼接图像整幅区域的细节清晰度很低，严重影响拼接效果。

图6　待拼接图像

Fig. 6　Images to be stitched

本文实验分为4个阶段。

1) 通过预处理方法增强待拼接图像。为了与其他方法进行比较，该阶段有5种预处理方法：a) 无图像预处理；b) 文献[5]中方法；c) 文献[7]中方法； d) 文献[8]中方法；e) 本文预处理方法。

2) 采用SURF算法检测待拼接图像的特征点。

3) 采用FLANN算法和RANSAC算法对特征点进行图像特征匹配。

4) 根据匹配的特征点对计算透视变换矩阵，然后进行图像拼接。实验中，记录检测到的特征点数量、匹配特征点对数量、特征匹配准确度和拼接时间，然后对记录的数据进行比较和分析。

由不同预处理方法检测到的特征点数量对比见 表1。由表1可知：采用不同预处理方法得到的增强图像都会使检测出的特征点数量增多；检测出的特征点数量增多证明这些预处理方法提高了图像对比度，增强了图像中的边缘、角落。

表1 不同预处理方法检测到的特征点数量对比

Table 1　Comparison of the number of feature points detected by different preprocessing methods个

不同预处理方法的特征匹配实验结果见图7。在每幅图像上，红色点代表检测到的特征点，蓝色线代表特征匹配的特征点对。由图7可知：与其他预处理方法相比较，待拼接图像采用本文预处理方法进行增强，在暗区域边缘能检测出更多的特征点数量，这能有效抑制增强后的图像噪声。

图7　不同预处理方法的特征匹配效果

Fig. 7　Feature matching effects of different preprocessing methods

表2所示为不同预处理方法对4组测试图像进行拼接的定量评估结果。由表2可知：采用预处理方法增强待拼接图像后可以提高特征匹配的准确度；本文预处理方法与其他方法相比，具有更多的特征点对数量且特征匹配准确度更高；文献[5]中方法尽管检测到的特征点数量增多且提高了特征匹配的准确度，但粗匹配的特征点对数量与其他预处理方法相比少很多，说明该方法没有有效地抑制图像器噪声，检测出的特征点有很大部分是图像噪声，严重影响特征匹配效率，拼接时间过长；文献[7]中方法由于检测出的特征点数量少，特征匹配特征点对数量较少；文献[8]中方法由于没有图像去噪，在进行特征匹配过程中增加了大量的错误特征点对，严重影响准确度。对比表2中第1组和第4组数据可以发现：文献[⁵]与文献[⁸]中方法不稳定、鲁棒性差。

表2　基于SURF的不同预处理方法对图像拼接的定量评价

Table 2　Quantitative evaluation of image stitching based on SURF with different preprocessing methods

以上实验结果表明：在恶劣照明场景下，本文提出的预处理方法在图像拼接方面有着更好的拼接效果：特征点对数量平均提升15.37%，特征匹配的准确度平均提升9.413%，拼接时间平均缩短6.26%。

4 结论

1) 针对恶劣照明场景下图像拼接过程中特征匹配准确度低的问题，提出一种有效方法来提高图像特征匹配的准确度。采用图像增强算法来改善图像质量是解决特征匹配准确度低的有效方法。

2) 提出一种P-HDR图像增强算法来改善图像质量。该图像增强算法采用单幅图像生成伪高动态范围图像的方式，使得增强后的图像边缘更加明显，图像对比度提高。

3) 本文提出的基于伪高动态范围的图像拼接预处理方法可以有效地提高图像拼接的特征匹配准确度。该方法在基于特征的图像拼接方面比现有预处理方法具有更好的效果，可应用于任何图像拼接系统如智能手机、视频监控和医学图像处理等系统，特别是在恶劣照明场景下，能够可靠地进行图像拼接。

参考文献：

[1] WANG Lejing, TRAUB J, HEINING S M, et al. Long X-ray image stitching using camera augmented mobile C-Arm[C]//. Medical Image Computering and Computer-Assited Intervention: MICCAI 2008. Heidelberg, Berlin: Springer, 2008: 578-586.

[2] IBRAHIM N, WAHAB N A. Developing and evaluationg a virtual tour protoype using photo stitching technique[C]// Proceedings of the Second International Conference on Computer Engineering and Applications. Bali Island, Indonesia: IEEE, 2015: 390-393.

[3] KIM M D, UEDA J. Real-time image de-blurring and image processing for a robotic vision system[C]//Proceedings of the Processing for a Robotic Vision System Automation. Seattle, USA: IEEE, 2015: 1889-1904.

[4] BAY H, TUYTELAARS T, VAN G L. SURF: speeded up robust features[C]//Computer Vision: ECCV 2006. Heidelberg, Berlin: Springer, 2006: 404-417.

[5] TU Liangping, DONG Changqing. Histogram equalization and image feature matching[C]//Proceedings of the 6th International Congress on Image and Signal Processing. Hangzhou, China: IEEE, 2013: 443-447.

[6] DAUD M M, KADIM Z, YUEN S L, et al. A pre-processing approach for efficient feature matching process in extreme illumination scenario[C]//Proceedings of 3rd International Conference on Image Processing Theory, Tools and Applications. Istanbul, Turkey: IEEE, 2012: 275-279.

[7] 贾银江, 徐哲男, 苏中滨, 等. 基于优化SIFT算法的无人机遥感作物影像拼接[J]. 农业工程学报, 2017, 33(10): 123-129.

JIA Yinjiang, XU Zhenan, SU Zhongbin, et al. Mosaic of crop remote sensing image from UAV based on improved SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(10): 123-129.

[8] ZHANG Jing, CHEN Guangxue, JIA Zhaoyang. An image stitching algorithm based on histogram matching and SIFT algorithm[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2017, 31(4): 1754006.

[9] 李红, 吴炜, 杨晓敏, 等. 基于主特征提取的Retinex多谱段图像增强[J]. 物理学报, 2016, 65(16): 61-76.

LI Hong, WU Wei, YANG Xiaomin, et al. Multispectral image enhancement based on Retinex by using structure extraction[J]. Acta Physica Sinica, 2016, 65(16): 61-76.

[10] ZHANG Erhu, YANG Huiyun, XU Maiping. A novel tone mapping method for high dynamic range image by incorporating edge-preserving filter into method based on Retinex[J]. Applied Mathematics & Information Sciences, 2015, 9(1): 411-417.

[11] FARBMAN Z, FATTAL R, LISCHINSKI D, et al. Edge- preserving decompositions for multi-scale tone and detail manipulation[J]. ACM Transactions on Graphics, 2008, 27(3): 67.

[12] 朱恩弘, 张红英, 吴亚东, 等. 单幅图像的高动态范围图像生成方法[J]. 计算机辅助设计与图形学学报, 2016, 28(10): 1713-1722.

ZHU Enhong, ZHANG Hongying, WU Yadong, et al. Method of generating high dynamic range image from a single image[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(10): 1713-1722.

[13] KIM K, BAE J, KIM J. Natural HDR image tone mapping based on Retinex[J]. IEEE Transactions on Consumer Electronics, 2011, 57(4): 1807-1814.

[14] 陈艺虾, 孙权森, 徐焕宇, 等. SURF算法和RANSAC算法相结合的遥感图像匹配方法[J]. 计算机科学与探索, 2012, 6(9): 822-828.

CHEN Yixia, SUN Quansen, XU Huanyu, et al. Matching method of remote sensing images based on SURF algorithm and RANSAC algorithm[J]. Journal of Frontiers of Computer Science & Technology, 2012, 6(9): 822-828.

[15] 吴一全, 淘飞翔, 曹照清. 利用双树复小波变换和SURF的图像配准算法[J]. 系统工程与电子技术,2014, 36(5): 997-1003.

WU Yiquan, TAO Feixiang, CAO Zhaoqing. Image registration algorithm based on dual tree complex wavelet transform and SURF[J]. Systems Engineering and Electronics, 2014, 36(5): 997-1003.

[16] SUJU DA, JOSE H. FLANN: fast approximate nearest neighbour search algorithm for elucidating human-wildlife conflicts in forest areas[C]//Proceedings of the 4th International Conference on Signal Processing. Chennai, India: IEEE, 2017: 1-6.

[17] ZHEN Yumei, SUN Zhen, LI Junbao, et al. An airborne remote sensing image mosaic algorithm based on feature points[C]// Proceedings of the Sixth International Conference on Instrumentation & Measurement, Computer, Communication and Control(IMCCC). Harbin, China: IEEE, 2016: 202-205.

[18] ZHAO Ye, HONG Richang, JIANG Jianguo. Visual summarization of image collections by fast RANSAC[J]. Neuro- computing, 2016, 172: 48-52.

[19] ZUO Yi, CHEN Yong, YOU Hua. A fast SIFT image mosaic algorithm based on wavelet transformation[J]. Journal of Chongqing Normal University, 2014, 31(3): 77-81.

(编辑  陈灿华)

收稿日期： 2018 -12 -17; 修回日期： 2019 -02 -25

基金项目(Foundation item)：国家自然科学基金资助项目(61603132, 61672226)；湖南省自然科学基金资助项目(2018JJ2137, 2018JJ3188)；湖南省科技创新计划项目(2017XK2302)(Projects(61603132,61672226) supported by the National Natural Science Foundation of China; Projects (2018JJ2137, 2018JJ3188) supported by the Natural Science Foundation of Hunan Province; Project(2017XK2302) supported by Science and Technology Innovation Plan of Hunan Province)

通信作者：吴亮红，博士，教授，从事智能优化算法及应用、机器视觉、智能机器人研究等; E-mail: lhwu@hnust.edu.cn