DOI： 10.11817/j.issn.1672-7207.2020.09.015
基于三次样条插值函数的3D激光图像去噪算法研究
谭文1，方淼1，段峰2，周博文1
(1. 湖南科技大学 信息与电气工程学院，湖南 湘潭，411201；
2. 广东嘉铭智能科技有限公司，广东 广州，510600)
摘要：针对USB-C产品尺寸AOI(automated optical inspection，自动光学检测)生产线上3D激光检测系统中因图像不清晰造成针脚平面度误判率高的问题，从激光原图像入手探究其原因，结合三次样条插值多项式的光滑性，研究基于三次样条插值函数的3D激光图像去噪算法。该算法过程为：首先分析3D激光测量仪获取图像的过程，从获得的图像中分离并提取2D信息；然后，对图像检测区域逐个判断可疑噪声点，再针对每一行以位置为横坐标、像素值为纵坐标，采用三次样条插值函数计算噪声点的实际像素。研究结果表明：所提出的算法与分数阶积分算法相比，能够在保留边缘特性和纹理信息的同时，更好地去除噪声；该算法实用性强，能减少误判，大大提高工作效率。
关键词：3D激光；去噪；三次样条插值；分数阶积分；平面度检测
中图分类号：TP391.41；U472.9 文献标志码：A 开放科学(资源服务)标识码(OSID)
文章编号：1672-7207（2020）09-2496-08
Research on 3D laser image denoising algorithm based on three splines inter polation function
TAN Wen1, FANG Miao1, DUAN Feng2, ZHOU Bowen1
(1. College of Information and Electrical Engineering, Hunan University of Science and Technology,Xiangtan 411201, China;
2. Guangdong Jiaming Intelligent Technology Co. Ltd., Guangzhou 510600, China)
Abstract: Aiming at the problem of high misjudgment rate of pin flatness caused by unclear image in 3D laser detection system of USB-C product size AOI(automated optical inspection) production line, according to the original laser image, a 3D laser image denoising algorithm based on three splines interpolation function was studied combined with the smoothness of cubic spline interpolation polynomial. Firstly, the process of acquiring image by 3D laser measuring instrument was analyzed, and then 2D information was separated and extracted from the acquired image. Then, the suspicious noise points were judged one by one in the image detection area. For each row, the position was the horizontal ardinate and the pixel value was the longitudinal coordinate. The cubic spline interpolation function was used to calculate the actual pixel value at the noise points. The results show that, compared with the recent fractional integration algorithm, the noise can be removed better by the proposed method which can retain edge characteristics and texture information.The proposed algorithm is practical, and it can reduce misjudgments and greatly improve production efficiency.
Key words: 3D laser; denoising; three splines interpolation; fractional integration; flatness detection
随着电子工业的飞速发展，电子行业竞争日趋激烈，加速了产品的更新换代，对制造精度的要求日益提升。由于3D激光扫描[1-2]是以获取被测物体轮廓数据为目的的一种成像技术，与一般 CCD(charge coupled device)成像相比，利用三维激光[3]扫描获取的图像纹理丰富，分辨率高，在实际生产生活中广泛使用。对USB-C转换接头的针脚平面度进行测量时，若针脚平面度误差超过限定范围，则将造成短路或开路故障，影响工件功能，为此，必须研发出具有智能视觉检测系统的生产线，解决手工线效率低、出错率高以及OGP(光学影像测量仪)速度慢等问题。在实际生产过程中，在激光图像获取(数字化过程)和传输过程中无法避免地受到光线条件、传感器温度、机械振动和噪声的干扰[4]，图像质量通常满足不了检测要求，继而影响一系列后续处理工序，如图像定位、分割、提取等，从而造成3D激光检测系统误判。为了减少误判率，提高激光图像质量，需要对图像进行去噪预处理。从20世纪开始，国内外研究者对图像去噪方法进行了研究，主要分为空间域去噪方法和频率域去噪方法两大类[5]。频率域方法采用傅里叶变换、小波变换[6]等技术将含噪图像从时域转换到频域，该方法的实质是将含噪图像转化为一系列低频和高频信号分析处理，由于图像中噪声信号和内容等细节特征分别分布在高频和低频部分，在频域内通过寻找图像中频谱的分布规律，对高、低频信号采用不同的处理方式，使噪声在图像中与内容等细节特征分开，从而达到去噪的目的。然而，在现实条件下，在图像的频谱中的高频部分仍有少量含细节特征的低频内容，在低频部分也存在含噪声的高频内容，因此，利用该方法去噪不仅噪声不能得到有效剔除，而且易造成部分图像内容细节丢失。空间域方法包括中值滤波、非局部均值滤波、各向异性扩散算法、双边滤波等非线性滤波方法和均值滤波、高斯滤波、各向同性扩散算法等线性滤波方法[7]，其中，均值滤波器去噪时，对图像的每个像素进行了相应的加权平均处理，导致图像边缘和纹理等特殊的特征区域模糊；AHMED等[8]提出了非局部均值去噪算法，利用图像的自相似性作为图像去噪的重要手段。此算法具有很好的去噪效果与很强的细节保持能力，但其运算效率偏低。各向异性扩散算法(PM)[9]运用热力学扩散的思想，在一定程度上保留了图像细节特征，但实质上该方法采用不同尺度的高斯滤波器进行滤波处理，不具有区分噪声和边缘信息的能力。中值滤波器[10]在保持了图像边缘信息的同时，也易使纹理信息丢失，导致视觉模糊。上述方法针对不同对象均存在一定缺陷，为此，刘彥等[11-12]针对激光图像提出了基于分数阶积分的去噪方法，在提高信号高频成分的同时，也在一定程度上保留了图像边缘细节以及纹理信息，效果明显。但在实际生产中，此方法难以避免局部失真，而且在如何快速、精准确定分数阶积分的阶数上存在一定难度。本文作者从复杂的激光图像特性出发，运用3D激光轮廓仪的扫描测量原理及成像技术，从3D激光测量仪中获取2D信息，提出一种基于三次样条插值函数的激光图像去噪方法，并验证其有效性和优越性。
1 3D激光轮廓仪的扫描测量原理与2D图像信息的提取
3D激光轮廓仪采用三角测量原理获取物体实际尺寸[13]，如图1所示。由扫描仪中半导体激光器经聚光透镜将1条激光光束照射在被测工件表面，形成1个光斑，把工件轮廓照亮，而在与激光器成某角度的另一端用相机采集轮廓线图像，如图2所示，其中，a和b分别表示成像透镜与参考平面及光电检测器之间的距离。被测工件随着机械上下移动，相机通过连续拍照采集，获得一系列轮廓线图像，最后将其拼接起来，不同高度用不同颜色表示，这样就形成了1幅立体图形。对于高精密测量系统，图像能进行精准定位至关重要，若定位不精确，则机器视觉测量系统即使精度再高，也无法满足测量要求。由于3D激光轮廓仪形成的并非普通灰度图像，而是具有深度信息的高度图像，因此，从3D图像中提取2D信息对于精准定位来说是最基础也是最关键的一步，关系到3D激光轮廓仪功能的正常发挥。
图1 激光三角法测量原理
Fig. 1 Principle of laser triangulation
图2 激光轮廓线图像
Fig. 2 Image of laser contour
从3D图像中提取2D信息过程[14]简述如下：由于三角测量自身特点，3D激光轮廓仪在图像采集过程中，某些部位的像素容易出现丢失现象，所以，首先采用插值法弥补丢失的像素，且有利于2D信息的提取。基于插值法弥补丢失的像素
为
(1)
其中：
，
，
，
，分别为以点
为中心的上下左右4个邻近点的像素；
和
为构造的基函数，
，
。
为了避免转换过程噪声的干扰，先用中值滤波器剔除高度图像中部分不感兴趣像素点，具体方法如式(2)所示：
(2)
其中：
是滤波前原图函数；为降噪之后的图像函数；
为邻域内像素坐标的集合；
为表示集合内坐标点的总数。
其次，将输入的高度图像运用空间变换转换为与之对应的高度数据灰度图像。最后利用灰度截取算法获取普通灰度图像，灰度截取算法为
(3)
式中：
表示高度图像中像素最大值。
至此，完成从3D高度图像中提取出2D灰度信息图像。为了达到更好的转换效果，满足实际测量精度要求，进一步采用高斯低通滤波处理算法进行预处理，即
(4)
其中：σ为标准方差。最后运用边缘检测算子进行特征提取，可以对特征进行更精确定位。高度图像转换成灰度图像效果如图3所示。由于3D激光轮廓仪高度方向精度为0.001 mm，故平面度测量精度可保持在0.01 mm以内。
图3 高度图像与其转换成灰度图像效果对比
Fig. 3 Effect comparison of height image converted into gray image
2 三次样条插值函数去噪算法
2.1 可疑噪声的检测与处理
漏检率和误检率是噪声检测算法[15]性能的评价指标，其中，漏检率为未被检测出的噪声像素数量与实际噪声像素数量的比值；误检率指本身未受到噪声污染但检测算法将其误判为噪声的像素数量与实际噪声像素数量的比值。性能优良的噪声检测算法其漏检率和误检率较低。分数阶积分算法在不区分噪声点与信号点的基础上，对图像中的每个像素进行积分掩膜处理，因为其处理了所有噪声点，故其漏检率为0，但该算法模糊了图像的细节，其误检率很高。针对这个问题，本文在进行去噪前，先对噪声点与信号点进行区分。
一般地，图像基本上由一系列灰度接近且连续的像素点构成，而噪声则以极值点的形式出现在图像中，但有一部分极值点并不是噪声点，而是图像上的边缘点(信号点)。为了在保留图像边缘信息的基础上更精确地检测噪声，本文引入导数的概念。设图像函数在某一点(i，j)处的邻域(3×3邻域)像素灰度如表1所示。
表1 3×3邻域像素灰度
Table 1 3×3 neighborhood pixel
要判断表1中
点是否为噪声点，只需计算此点与邻域像素点8个方向的导数，计算式如下：
(5)
其中：
(间隔
)。设阈值为T，若所有方向的
均小于T，则可将判断为信号点，否则该点为噪声点。若8个方向中部分大于T，部分小于T，则认为是可疑噪声点。针对可疑噪声点，将表1中窗口移至小于T的点，然后将此点作为中心，重新计算其8个方向的导数。若仍然存在超过2个小于T的点(除原起始点外)，则可判定原起始点为信号点。
2.2 基于三次样条插值函数去噪
随着计算机技术的发展，三次样条插值函数已广泛应用于计算机辅助设计、图形处理、地理信息系统、实验数据拟合以及计算机视觉等方面。
图4 三次样条插值函数
Fig. 4 Cubic spline interpolation function
三次样条插什函数如图4所示。三次样条插值函数[16]定义为：对
在区间
上给定一组节点
和相应的函数值
，若
满足：
ⅰ) 在每个子区间
上是不高于三次的多项式；
ⅱ) 
；
ⅲ) 
；其中，
。
则将满足条件ⅰ)和ⅱ)的函数称为节点
上的三次样条函数，若三次样条函数也满足条件ⅲ)，则称为三次样条插值函数。
由条件ⅰ)知，是
上的三次多项式，可表示为
(6)
式(6)中，要确定n个小区间上的样条函数，则需要确定4n个待定参数：
因此，必须要求4n个条件。由条件ⅱ)知，在每个内部节点
上应满足：
(7)
共有3n-3个条件，根据条件(ⅲ)可得n+1个条件，这样共有4n-2个条件。确定的其余2个条件，可以在区间端点
及
上各加上1个次边界条件，通常由实际问题确定。在本文研究过程中，因噪声的随机性排除周期性边界条件，为了保证函数的光滑性[17]，默认两端的一阶导数(见如式(8))作为另外所需的2个条件。
(8)
原则上，可以利用及其一阶、二阶导数在节点上的连续性和插值条件(ⅲ)与次边界条件，可列出含有4n个未知数的线性方程组，对其求解即可。但这样做工作量很大，在实际计算中很少应用。本文采用三弯矩法改进三次样条插值函数去噪算法[18]。
设
=
，由于为分段三次多项式，所以，在区间
上为线性函数，通过
与
作线性插值可得：
(9)
其中：
。
为了求出在
上的表达式，对上式积分2次，得
(10)
利用插值条件
，
确定积分常数
，解方程(10)可得
；
(11)
对式(11)求导，有
(12)
由式(11)可知，求的关键点在于确定
，利用样条节点处的光滑连续条件，即
(13)
联合式(12)和式(13)可知：
；(14)
；
(15)
根据式(13)~(15)，可得式(16)的n-1个方程：
(16)
其中：
。令
(17)
则可以将式(16)变为
(18)
式(18)中，n
1个方程有n+1个未知量
，分别联立边界条件式(8)及(14)和(15)可得如下2个方程：
(19)
(20)
令
=1，
，
，
，则从式(18)~(20)可得如下矩阵方程：
(21)
本文将噪声点处的像素视为未知量，由已知的信号点像素f(x)求解出噪声点的真实像素S(x)，从而达到去噪效果。根据式(17)中
和
的定义，方程(21)中系数矩阵每个主对角元素的模都大于与它同行的其他元素的模的总和，即严格对角占优[19]，该系数矩阵为非奇异矩阵，其解存在且唯一，故选择三次样条插值作为去噪函数时，噪声点不会存在多个真实像素值与之对应，而是一对一被替代，不存在振荡效应，也即不会出现失真现象，从理论上可以减少工作量并且可以达到很好的去噪效果。
3 实验结果与分析
3.1 实验对象
在3D激光平面度测量系统中找1张因噪声干扰而造成平面度误判的图像，对其提取2D信息处理，结果如图5(a)所示。因为检测受关注的区域为USB-C的4个针脚处，故只选取受关注区域作为研究对象，如图5(b)所示。在相同实验条件下，选择均值滤波、分数阶积分方法和三次样条插值函数方法进行去噪对比实验。
3.2 结果与分析
3.2.1 仿真评价
分数阶积分和本文去噪方法结果如图6和表2所示。从图6和表2可见：
图5 实验研究图像与区域
Fig. 5 Images and resions for experimental research
1) 均值滤波去噪效果明显较差，图像整体偏模糊。分数阶积分算法虽然能达到较好的激光图像去噪效果，但在针脚处出现失真，仍存在干扰噪声，将一些重要的像素点覆盖，边缘模糊；而由本文去噪方法所得图像干扰噪声点明显减少，去噪效果和保持边界的能力很强，可以容易地分辨图像特征。
2) 均值滤波和分数阶积分去噪直方图呈现灰度级较多，且分布不均，不能直观地体现边缘及纹理特性。而本文使用的方法灰级减少，灰度合并，明暗区分明显，在去除噪声的同时，能够保留较好的边缘和纹理信息，不会产生振铃。
3) 从图像质量客观评价标准[20]来分析，本文方法具有更高峰值信噪比和结构相似度，并且处理时间也有所减少(虽然均值滤波在运算时间上略快，但其去噪效果最差)。
图6 去噪仿真效果
Fig. 6 Denoising simulation results
表2 去噪性能指标对比
Table 2 Comparison of denoising performance indicators
3.2.2 实验结果与分析
分别将本文方法、分数阶积分、均值滤波这3种方法应用于AOI平面度检测系统生产线，得到如图7所示结果。由图7可见：
图7 去噪实践效果
Fig. 7 Effect diagrams of denoising practice
1) 分数阶积分的波形图比较散乱，像素分布区域平均值偏小，可见像素分布不规律；本文去噪的波形图中像素分布区域平均值较大，且像素数相对分布集中；均值滤波的波形都集中在右侧，图像分辨不出纹理，找不到边缘，因此，图像模糊。
2) 由本文方法所得像素灰阶差值较大，即黑白分明，虽然在一定程度上边缘处像素灰阶较接近，但完全不影响检测。
3) 本文方法所用像素灰阶明显高于分数阶积分和均值滤波中的所用像素灰阶，体现出本文方法的优越性。
3.3 去噪方法比对数据统计
去噪算法只有通过标定达到客户要求方可使用，真正代替原来的方法用于生产过程。表3所示为3D激光视觉检测系统连续测试去噪方法比对数据统计，其中，误判率是指客户利用标定仪器OGP从3D激光检测设备认定的不合格品中挑选出合格品所占的比率。从表3可见：本文去噪方法效果明显提升，生产效率大大提高，虽然还存在一定的误判，但满足客户误判率小于1%的要求。
表3 不同去噪方法的参数统计
Table 3 Parameter statistics of different denoising methods
4 结论
1) 提出一种三次样条插值函数的3D激光工业图像去噪方法。该方法理论分析结果与去噪仿真结果基本一致，表明本文方法能很好地去除噪声，获得理想的激光图像去噪结果。
2) 本文去噪方法能克服现有方法的不足，满足快速在线实时检测系统要求，提高了生产效率；同时，该方法对高精度、高速度、高要求的机器视觉在线检测系统研发具有一定的参考价值。
参考文献：
[1] 洪梓铭, 艾青松, 陈昆. 基于光纤激光的高精度三维视觉测量技术[J]. 红外与激光工程, 2018, 47(8): 89-96.
HONG Ziming, AI Qingsong, CHEN Kun. High-precision 3D vision measurement technology based on fiber laser[J]. Infrared and Laser Engineering, 2018, 47(8): 89-96.
[2] XU Jing, GAO Bingtuan, LIU Chuande, et al. An omnidirectional 3D sensor with line laser scanning[J]. Optics and Lasers in Engineering, 2016, 84: 96-104.
[3] 曲兴华, 戴建芳, 张福民. 基于激光测距的大尺寸测量应用研究[J]. 仪器仪表学报, 2009, 30(3): 481-485.
QU Xinghua, DAI Jianfang, ZHANG Fumin. Research on large-scale measurement application based on laser ranging[J]. Chinese Journal of Scientific Instrument, 2009, 30(3): 481-485.
[4] 杨柱中, 周激流, 郎方年. 基于分数阶微积分的噪声检测和图像去噪[J]. 中国图象图形学报, 2014, 19(10): 1418-1429.
YANG Zhuzhong, ZHOU Jiliu, LANG Fangnian. Noise detection and image de-noising based on fractional calculus[J]. Journal of Image and Graphics, 2014, 19(10): 1418-1429.
[5] MAFI M, MARTIN H, CABRERIZO M, et al. A comprehensive survey on impulse and Gaussian denoising filters for digital images[J]. Signal Processing, 2019, 157(4): 236-260.
[6] BARJ E M, AFIFI M, IDRISSI A A, et al. Speckle correlation fringes denoising using stationary wavelet transform:Application in the wavelet phase evaluation technique[J]. Optics & Laser Technology, 2006, 38(7): 506-511.
[7] TALEBI H, MILANFAR P. Global image denoising[J]. IEEE Transactions on Image Processing, 2014, 23(2): 755-768.
[8] AHMED B S, RACHID H, KAMEL E M. et al. Multispectral image denoising with optimized vector non-local mean filter[J]. Digital Signal Processing, 2016, 58(3): 115-126.
[9] GUO Zhichang, SUN Jiebao, ZHANG Dazhi, et al. Adaptive Perona–Malik model based on the variable exponent for image denoising[J]. IEEE Transactions on Image Processing, 2012, 21(3): 958-967.
[10] KRUPISKI R. Recursive polynomial weighted Median filtering[J]. Signal Processing, 2010, 90(11): 3004-3013.
[11] 刘彦, 蒲亦非, 周激流. 一种基于分数阶积分的数字图像去噪算法[J]. 四川大学学报(工程科学版), 2011, 43(3): 90-95, 144.
LIU Yan, PU Yifei, ZHOU Jiliu. A digital image denoising method based on fractional calculus[J]. Journal of Sichuan University(Engineering Science Edition), 2011, 43(3): 90-95, 144.
[12] 李博, 谢巍. 基于自适应分数阶微积分的图像去噪与增强算法[J]. 系统工程与电子技术, 2016, 38(1): 185-192.
LI Bo, XIE Wei. Image enhancement and denoising algorithms based on adaptive fractional differential and integral[J]. Systems Engineering and Electronics, 2016, 38(1): 185-192.
[13] 王晓嘉, 高隽, 王磊. 激光三角法综述[J]. 仪器仪表学报, 2004, 25(Z3): 601-604, 608.
WANG Xiaojia, GAO Jun, WANG Lei. Survey on the laser triangulation[J]. Chinese Journal of Scientific Instrument, 2004, 25(Z3): 601-604, 608.
[14] JIA Tong, SHI Yan, ZHOU Zhongxuan, et al. 3D depth information extraction with omni-directional camera[J]. Information Processing Letters, 2015, 115(2): 285-291.
[15] RANJBARAN A, HASSAN A H A, KHENG E S, et al. An edge detection based noise removal algorithm[J]. Computers & Electrical Engineering, 2014, 40(3): 769-784.
[16] KOUIBIA A, PASADAS M. An approximation problem of noisy data by cubic and bicubic splines[J]. Applied Mathematical Modelling, 2012, 36(9): 4135-4145.
[17] 赵蓝飞, 席志红. 基于三次样条插值的高动态范围成像方法[J]. 计算机辅助设计与图形学学报, 2015, 27(7): 1278-1289.
ZHAO Lanfei, XI Zhihong. High dynamic range imaging method based on cubic spline interpolation[J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(7): 1278-1289.
[18] 陈浩, 华灯鑫, 张毅坤, 等. 基于三次样条函数的激光雷达数据可视化插值法[J]. 仪器仪表学报, 2013, 34(4): 831-837.
CHEN Hao, HUA Dengxin, ZHANG Yikun, et al. Lidar data visualization interpolation method based on cubic spline function [J]. Chinese Journal of Scientific Instrument, 2013, 34(4): 831-837.
[19] 徐屹. 严格对角占优矩阵的迭代法[J]. 武汉理工大学学报, 2008, 30(9): 177-180.
XU Yi. Strictly diagonally dominant matrix of iterative method[J]. Journal of Wuhan University of Technology, 2008, 30(9): 177-180.
[20] 朱新山, 姚思如, 孙彪, 等. 图像质量评价: 融合视觉特性与结构相似性指标[J]. 哈尔滨工业大学学报, 2018, 50(5): 121-128.
ZHU Xinshan, YAO Siru, SUN Biao, et al. Image quality evaluation: fusion of visual characteristics and structural similarity indicators[J]. Journal of Harbin Institute of Technology, 2018, 50(5): 121-128.
(编辑 陈灿华)
收稿日期： 2019 -11 -08; 修回日期： 2020 -01 -27
基金项目(Foundation item)：国家自然科学基金资助项目(61603132) (Project(61603132) supported by the National Natural Science Foundation of China)
通信作者：谭文，博士，教授，从事机器视觉与图像处理研究；E-mail：1549760311@qq.com
