收稿日期： 2019 -09 -08; 修回日期： 2019 -12 -30
DOI： 10.11817/j.issn.1672-7207.2020.07.002
基于数字图像相关的旋转叶片全场测量
叶美图,梁晋,千勃兴,宗玉龙,龚春园
（西安交通大学 机械工程学院 机械制造系统工程国家重点实验室，陕西 西安，710049）
摘要:为了解决使用相关算法难以匹配变形前后叶片大角度旋转的问题，基于数字图像相关，提出一种稳定的用于旋转叶片全场变形的测量方法。首先，针对图像序列中参考图像与变形图像的相关匹配，使用SURF算法得到被测表面旋转前后的特征点对。然后，利用特征点对将变形图像反向旋转变换后得到校正图像。接着，对校正图像和参考图像使用数字图像相关进行匹配。最后，将匹配得到的校正图像上的目标节点再进行正向旋转变换，即可得到原变形图像上的对应节点坐标。对旋转匹配策略进行数值模拟验证，并对高速旋转下的换气扇叶片位移场和应变场进行测量。研究结果表明：所提旋转匹配策略的校正精度为±0.007 5像素，结合数字图像相关法能够进行旋转运动的位移和应变的全场、精确测量。
关键词:数字图像相关；旋转叶片；SURF算法；反向旋转；全场测量
中图分类号:TH741 文献标志码:A 开放科学(资源服务)标识码(OSID)
文章编号:1672-7207（2020）07-1757-10
Full-field measurement of rotating blades based on digital image correlation
YE Meitu, LIANG Jin, QIAN Boxing, ZONG Yulong, GONG Chunyuan
(State Key Laboratory for Manufacturing Systems Engineering, School of Mechanical Engineering, Xi'an Jiaotong University, Xi'an 710049, China)
Abstract: To solve the difficulty to match the images before and after deformation by digital image correlation(DIC) in the measurement of rotating blade, based on digital image correlation, a stable method for measuring the full-field deformation of rotating blades was presented. Firstly, for the correlation matching between the reference image and the deformed image in the left image sequence, SURF algorithm was used to obtain the feature point pairs before and after the rotation of the measured surface. Secondly, the corrected image was obtained by the inverse rotation to the deformed image according to feature points pairs. Thirdly, the corrected image with the reference image was matched by DIC. Finally, the coordinates of the corresponding nodes in the original deformed image was obtained by positive rotation of the matched target nodes on the corrected image. The proposed rotation matching strategy was verified by numerical simulation, and the measurement of displacement and strain fields of the ventilator blades during high-speed rotation were carried out. The results show that the correction accuracy of the proposed rotation matching strategy is up to ±0.0075 pixel, which is satisfied with the full-field and accurate measurement of rotation displacements and strains combined with digital image correlation.
Key words: digital image correlation; rotating blade; SURF algorithm; inverse rotation; full-field measurement
旋转叶片的运动跟踪与变形测量是一个值得关注的问题[1-6]，在风力叶片[2-3]或直升机桨叶[4-5]等旋转机械寿命预测中，对大扭矩、高速运动下叶片材料性能的判断有重要意义。由于传感器在大型或高速旋转叶片上不好布置，而且传感器建立的观测点有限，不能对整个叶片任意位置的位移与变形进行测量，因此，接触式传感器难以满足旋转叶片的测量需求。在叶片表面粘贴标志点[3]，双目相机同时采集图像，通过立体视觉计算标志点的空间位置进而求得位移的方法，比接触式传感器便利，但不能实现全场位移测量[5-6]，从而无法获取应变场，因此，这种测量方式对叶片运动时表面的受力分析作用有限。数字图像相关已经被广泛使用于非接触式全场变形与应变测量[7-12]。经典的数字图像相关[8]使用牛顿法迭代求解变形系数，只包容子区小角度旋转。如RIZO-PATRON等[4]针对直升机旋翼桨叶仅旋转至特定位置进行图像采集与匹配计算进行了模态分析。叶片在宏观上绕轴旋转，测量旋转至任意位置处的变形时，通过相关函数直接匹配很可能找不到变形前后的相似子区，导致匹配失败。为此，一般使用较高的图像采集频率，并且要求相邻变形状态旋转角度较小，使每个状态都与其前一状态进行匹配。但是这种匹配方式会产生累计误差。
目前，已有学者使用数字图像相关法对旋转变形的全场测量进行了研究。ZHANG等[9]考虑到圆周上像素的灰度之和不随旋转变化，选择具有十几层等距同心圆环作为匹配模板，每个圆环上的灰度均值作为向量的一个分量，在整像素搜索阶段，计算向量的相似性。匹配完成后，再结合曲面拟合法，能够得到变形前后比较准确的对应位置。WU等[10-11]使用图像特征点匹配先求解出大致旋转角度，在对旋转子区进行整像素搜索完毕之后，通过2步NR亚像素迭代求解出目标节点准确的位置和子区的旋转角度。将这些参数向相邻节点传递作为迭代初值依次执行下去。ZHONG等[12]将笛卡尔坐标内的旋转转化为极坐标内的平移。将参考子区和变形子区的形状定义为1个圆，用极坐标描述。再使用IC-GN迭代求解。
此外，直接使用数字相关进行旋转测量时，整像素位置和变形系数初值不容易确定，常见的解决方法就是使用特征点检测算法[13]或者直接贴标志点[14]求出参考图像和变形图像上的特征点对，假定物体的变形为仿射变形，使用RANSAC算法求解出比较可靠的仿射变换参数[15]，然后，利用仿射变换的参数得到目标子区中心处整像素的位置以及形函数中的变形系数作为初值进行迭代计算[16]。在此基础上，本文结合双目视觉和数字图像相关法，提出一种更简便稳定的叶片旋转时的全场测量方法。将旋转前后的图像进行SURF检测，认为前后状态图像近似存在投影变换，利用RANSAC算法筛选出准确点对。使用特征点对求解前后状态的旋转参数(旋转中心和旋转角度)，对变形图像进行反向旋转变换，校正后的图像再与参考图像匹配。匹配得到对应节点后，再对这些节点正向旋转复原，得到原变形图像上的对应坐标。这样，可靠地解决了子区旋转角度过大难以匹配的问题。最后，通过立体视觉重建，得到特征表面的空间坐标，实现跟踪与变形测量的目的。
1 旋转问题的匹配策略
常见的叶片测量方式如图1所示，当被测对象较小时，采用相机观测整个对象；而当叶片较大时，可以结合频闪仪只观测1个叶片。
图1 旋转叶片的2种测量视角
Fig. 1 Two perspectives of rotating blade
由于叶片旋转变形时，所有子区以近乎相同的角度和旋转中心进行旋转，而且旋转引起的位移远大于变形。因此，传统的数字图像相关法无法直接匹配大角度旋转的2个子区，在整像素和亚像素搜索阶段都会造成很大程度的不稳定。对于旋转前后的2幅图像(参考图像和变形图像)，先基于SURF检测得到2幅图像上的1组对应点，利用对应点求出旋转参数。根据旋转参数对变形图像进行反向旋转，然后进行子区匹配，可以避免大角度旋转和大位移造成的匹配失败，使散斑子区的追踪更稳定快速。匹配完成后，将校正图像上匹配得到的对应点正向旋转，得到它们在原变形图像上的坐标。利用高精度灰度插值函数，这种方法可以实现任意旋转角度下的子区匹配。
双目旋转变形匹配方案如图2所示，其中，θ1，…，θN为变形状态1～N的旋转角度。在基准状态左图像上划定散斑计算区域，与右图像匹配重建三维点作为观测点的基准位置。然后，依次匹配每个变形状态和基准状态：1) 根据2个状态计算的同名标志点对，求出2幅图像相对的旋转中心和角度，根据这2个参数将变形图像反向旋转(图2中路径a)。2) 进行正常的相关匹配(图2中路径b)。3) 将匹配得到的节点集合根据旋转参数再还原(图2中路径c)，从而左图像上的子区匹配完成，找到对应节点。4)在右图像上搜索左图像上的同名节点，匹配完成后进行三维重建得到观测点的变形位置(图2中路径d)。因为三维测量实验中，相机光轴与被测面法线的夹角不大于15°，接近正视，所以，能够通过旋转前后的特征点对计算出较准确的旋转角度。
图2 双目旋转变形匹配方案
Fig. 2 Matching scheme of binocular rotation deformation
平面上绕旋转中心
旋转角度
的坐标变换公式为
(1)
式中：(
，
)和(x，y)为旋转前后的图像坐标。
旋转叶片在转动时发生了刚体旋转和平移以及变形，可描述为仿射变换：
(2)
式中：
，
，
和
为旋转、拉压和剪切状态矩阵
的元素；
为平移系数。对于参考图像和变形图像检测得到的
对特征点坐标，代入式(2)可得
(3)
式(3)可简记为
，
；
；
；对应解为
。有了仿射变换参数后，旋转在整个仿射变换中占主要成分，可直接根据
估计出旋转角度。式(2)还可简化为
(4)
其中：
，
。旋转角度可根据和估计得出。
对照式(1)，可得
(5)
在(m1，m2，m3，m4)和(
，
)已知的条件下，求解式(5)，可得旋转中心为
(6)
通过式(1)对变形图像进行校正。根据反向映射的思路得到反向旋转后的图像[17]。匹配完成后，仍按照式(1)将匹配节点正向旋转复原。
2 数值模拟与精度评估
2.1 方法验证
使用高斯光斑模型[17-18]生成400像素×400像素的模拟散斑图像作为参考图像，施加正弦位移
后再绕着图像中心旋转136°得到变形图像。使用本文方法进行匹配计算。
对参考图像和变形图像进行SURF检测后计算旋转参数。SURF检测计算大变形前后的旋转参数如图3所示，其中，图3(a)所示为使用SURF检测得到的参考图像和变形图像特征点的对应关系。共得到286个特征点对，但是却存在误匹配点对。使用RANSAC算法经过仿射变换的筛选后，剩下119个正确的亚像素特征匹配对。由计算的仿射变换参数可得夹角为136.42°。可见，变形较大时仍然能得出较准确的旋转角度。
图3 SURF检测计算大变形前后的旋转参数
Fig. 3 Calculation of rotation parameters before and after large deformation by SURF detection
实际中可能还存在其他因素导致旋转角度求解的误差可能偏大。假设检测得到的旋转角度为127°，对变形图像顺时针旋转127°后，与参考图像进行匹配。使用加入线性光强的SSD (sum of squared difference)函数表征2个匹配子区相似性程度，使用双线性插值算法求解2个子区精确匹配时的图像灰度插值，使用一阶形函数表征运动和变形的模式[8]。子区半边长为15像素，步长为12像素，计算节点的规模为20×20，均布在整个图像上。各变形系数前后的迭代阈值设置为0.001，平均迭代3.7次收敛。匹配计算得到的位移场见图4。可见，子区在x方向位移场显示出正弦变形。
将匹配点逆时针旋转127°得到目标节点集。图5所示为旋转图像计算的位移场。由于变形引起的位移远小于旋转引起的位移，因此，x和y方向的位移场形状为近似平面。对这2个位移场的平方和求算术平方根，得到综合位移场(图5(c))，它显示出了节点集的旋转运动。
图4 匹配计算的位移场
Fig. 4 Calculated displacement field
图5 通过旋转图像计算得到的位移场
Fig. 5 Displacement field obtained by rotating image calculation
可见，本文提出的方法，能够正确得到匹配结果，对变形与大角度旋转问题具有普遍适用性。
2.2 精度评估
与传统的直接匹配方法相比，提出的方法对图像使用双三次插值进行了1次旋转校正。对原始散斑图旋转136°得到变形散斑图。通过所提出的方法计算得到位移场，其中图像反向旋转127°后匹配。设定的计算参数和节点与上节相同。将这些节点进行136°逆时针旋转得到的坐标作为真值，分析与所提出方法计算结果的偏差。图6所示为提出方法得到的位移场与理想位移场的偏差。x和y方向的位移场分别与图5(a)和图5(b)所示的相似，不再绘制。
图6 插值引起的匹配误差
Fig. 6 Matching error caused by interpolation
变形图像是对原始图像旋转而来，因此，匹配偏差应该减半。使用双三次插值后进行匹配的偏差为±0.007 5 像素，为10-3量级，能够满足双目匹配与重建的测量要求。
3 高速旋转叶片的测量
以转速约为1 380 r/min的换气扇为对象验证所提方法的可靠性。测量方案和实验现场如图7所示。试验使用2台约克v611高速相机，采集频率设为1 kHz，分辨率设为1 024像素×768像素，像元的长×宽为20 μm×20 μm，镜头焦距为35 mm，相机间距为37 cm，测量距离为80 cm，2台相机立体角为26°。使用2个功率为200 W的LED灯补光，叶片单个状态转过8.3°。取1个周期共44个状态进行计算。布置相机时，应使叶片的旋转中心大致位于左右图像的中心。
图7 试验测量方案
Fig. 7 Experimental measurement scheme
三维变形的测量步骤[7]如下：
1) 相机标定。使用基于摄影测量的相机自标定方法完成2个相机的参数标定。求解2个相机的内参数(包括镜头畸变、主点偏差和焦距)，右相机相对左相机坐标系的变换关系。
2) 特征制备与图像采集。使用白色油漆和黑色记号笔在叶片表面制作散斑。开始测量后，先采集1个静止状态作为基准状态，然后开启换气扇，待转动平稳后，双目相机同步采集1个周期的图像。
3) 特征匹配。对采集的图像，使用本文提出的思路匹配变形序列。
4) 三维重建。利用同一个状态下左右图像上的对应像点和双目相机的内外参数，重建所有节点的空间坐标。
5) 位移场和最大主应变场的计算[19-20]。
3.1 SURF检测与图像校正后的匹配效果
任取1个旋转状态，对该状态和基准状态下的左图像进行匹配。测试SURF检测提供旋转参数的能力以及图像校正后的匹配效果。使用SURF算子检测到的初始特征点数为267对。对于少量的错误匹配对，将叶片旋转前后的图像看作是旋转相机拍摄静止叶片。使用RANSAC估算基础矩阵，进而得到筛选后的点数为194对。旋转前后准确的特征点对用圆形标记并连接，如图8所示。匹配点全面覆盖公共区域的所有位置，不存在聚集抱团现象。根据匹配点对计算得到旋转角度为127.4°。实际的旋转角度大概为125°。可见，相机以小倾角观察小斜度的叶片，对旋转参数的求解影响不大。对变形图像顺时针旋转127°，在4个叶片上选择计算区域，子区尺寸为39×39，步长为10，总的节点个数为612，与基准图像相关匹配的结果如图9所示。虽然经过双三次插值，但是旋转角度2°左右的2幅图像已稳定地匹配。
图8 SURF检测配对旋转叶片前后的特征点
Fig. 8 SURF detection of feature points before and after paired rotating blades
图9 图像反向旋转变换后匹配
Fig. 9 Image matching after reverse rotation transform
3.2 三维位移场与应变场的计算效果
图10所示为1个周期内叶片上单点在不同方向的位移场。单点的匀速圆周运动在任意直线上的投影理论上为简谐运动，因此，3个方向的位移均呈现正弦曲线。4个节点的起始极角相差约90°，因此，这4条曲线的相位相差将近1/4周期。而它们位于不同的极径上，且标定时坐标轴的原点并未与旋转中心重合，因此，幅值不同。
图10 各叶片上单点的位移场
Fig. 10 Displacement fields of single point on each blade
选取周期内有代表性的3个状态，自上而下分别旋转83°，182°和265°。不同状态下计算区域的综合位移场及应变场如图11所示。由图11可知，叶片的位移与极径成正比；在各个旋转角度下的最大主应变基本一致，应变最大值约为0.35%。叶片在旋转过程中表面的最大主应变分布较均匀，并不沿径向增大。
图11 不同状态下计算区域的全场位移和最大主应变
Fig. 11 Full-field displacement and maximum principal strain on calculated region under different conditions
4 结论
1) 使用双目立体视觉和数字图像相关法，提出了一种用于旋转物体全场位移及应变的测量方法，解决了高速旋转叶片的变形测量问题。针对叶片大角度旋转之后的图像去相关问题，提出用SURF算法进行特征点对检测和利用RANSAC算法进行准确点对筛选的匹配策略，将大角度旋转变形测量问题转换为常规的变形测量问题。
2) 所提策略对变形与大角度旋转问题具有普遍适用性，变形较大时仍然能得出较准确的旋转角度，且使用双三次插值后进行匹配的偏差为±0.007 5像素，能够满足双目匹配与重建的测量要求。
3) 以转速约为1 380 r/min的换气扇为测试对象，通过所提旋转问题的匹配策略能够用于准确、鲁棒的旋转图像校正，并进一步通过数字图像相关匹配获得了扇叶旋转状态下的变形场和分布在4个扇叶上单点的位移、应变信息，证明所提方法能够用于旋转叶片的准确、全场测量。
参考文献：
[1] 何佳, 肖杨, 邓友汉, 等. 基于BEM的风力机叶片形变及气动性能[J]. 中南大学学报(自然科学版), 2017, 48(9): 2513-2519.
HE Jia, XIAO Yang, DENG Youhan, et al. Aeroelastic deformation and aerodynamic performance of wind turbine blades based on BEM[J]. Journal of Central South University(Science and Technology), 2017, 48(9): 2513-2519.
[2] 豆红尧, 周华飞, 秦良忠, 等. 风电叶片全场三维变形测试及分析[J]. 太阳能学报, 2015, 36(9): 2257-2262.
DOU Hongyao, ZHOU Huafei, QIN Liangzhong, et al. Test and analysis of full-field 3d deformation for a wind turbine blade[J]. Acta Energiae Solaris Sinica, 2015, 36(9): 2257-2262.
[3] OZBEK M, RIXEN D J, ERNE O, et al. Feasibility of monitoring large wind turbines using photogrammetry[J]. Energy, 2010, 35(12): 4802-4811.
[4] RIZO-PATRON S, SIROHI J. Operational modal analysis of a helicopter rotor blade using digital image correlation[J]. Experimental Mechanics, 2017, 57(3): 367-375.
[5] BARROWS D, OLSON L, ABREGO A, et al. Blade displacement measurements of the full-scale UH-60A airloads rotor[C]//29th AIAA Applied Aerodynamics Conference. Virgina, USA: AIAA, 2011: 1-16.
[6] GWASHAVANHU B, OBERHOLSTER A J, HEYNS P S. Rotating blade vibration analysis using photogrammetry and tracking laser Doppler vibrometry[J]. Mechanical Systems and Signal Processing, 2016, 76/77: 174-186.
[7] TANG Zhengzong. Three-dimensional digital image correlation system for deformation measurement in experimental mechanics[J]. Optical Engineering, 2010, 49(10): 103601.
[8] PAN Bing, ASUNDI A, XIE Huimin, et al. Digital image correlation using iterative least squares and pointwise least squares for displacement field and strain field measurements[J]. Optics and Lasers in Engineering, 2009, 47(7/8): 865-874.
[9] ZHANG Xiaochuan, CHEN Jinlong, WANG Zongtao, et al. Digital image correlation using ring template and quadrilateral element for large rotation measurement[J]. Optics and Lasers in Engineering, 2012, 50(7): 922-928.
[10] WU Rong, CHEN Yue, PAN Yanting, et al. Determination of three-dimensional movement for rotary blades using digital image correlation[J]. Optics and Lasers in Engineering, 2015, 65: 38-45.
[11] 吴荣,刘依,周建民. 数字图像相关用于测量风电叶片全场变形[J]. 仪器仪表学报, 2018, 39(11): 258-264.
WU Rong，LIU Yi，ZHOU Jianmin. Full-field deformation measurement of wind turbine blades using digital image correlation[J]. Chinese Journal of Scientific Instrument, 2018, 39(11): 258-264.
[12] ZHONG F, QUAN C. Digital image correlation in polar coordinate robust to a large rotation[J]. Optics and Lasers in Engineering, 2017, 98: 153-158.
[13] 张华俊, 李桂华, 刘程, 等. 基于SURF特征匹配的数字图像相关变形初值可靠估计[J]. 光学学报, 2013, 33(11): 101-106.
ZHANG Huajun, LI Guihua, LIU Cheng, et al. Reliable initial guess based on SURF feature matching in digital image correlation[J]. Acta Optica Sinica, 2013, 33(11): 101-106.
[14] 张红颖, 于之靖. 基于标志点匹配的散斑图像变形初值估计法[J]. 光学学报, 2017, 37(3): 131-137.
ZHANG Hongying, YU Zhijing. Initial displacement estimation method for speckle image based on marker matching[J]. Acta Optica Sinica, 2017, 37(3): 131-137.
[15] 雷玉珍, 李中伟, 钟凯, 等. 基于随机抽样一致算法的误匹配标志点校正方法[J]. 光学学报, 2013, 33(3): 205-212.
LEI Yuzhen, LI Zhongwei, ZHONG Kai, et al. Mismatching marked points correction method based on random sample consensus algorithm[J]. Acta Optica Sinica, 2013, 33(3): 205-212.
[16] 高亚东, 刘荣明, 王华明. 采用仿射变换的桨叶变形摄像测量Newton—Raphson算法[J]. 振动．测试与诊断, 2013, 33(3): 432-436.
GAO Yadong, LIU Rongming, WANG Huaming. Affine-transform-based Newton-raphson algorithm forVideoly measuring blade deformation[J]. Journal of Vibration,Measurement & Diagnosis, 2013, 33(3): 432-436.
[17] 毛建国, 张佩泽, 沈峘, 等. 基于反向映射法逆向描述数字散斑变形的方法[J]. 光电子: 激光, 2015, 26(12): 2433-2439.
MAO Jianguo, ZHANG Peize, SHEN Huan, et al. Reverse mapping for generating simulated deformed speckle patterns[J]. Journal of Optoelectronics: Laser, 2015, 26(12): 2433-2439.
[18] ZHOU Peng. Subpixel displacement and deformation gradient measurement using digital image/speckle correlation (DISC)[J]. Optical Engineering, 2001, 40(8): 1613.
[19] ZHOU Yihao, SUN Chen, CHEN Jubing. Adaptive subset offset for systematic error reduction in incremental digital image correlation[J]. Optics and Lasers in Engineering, 2014, 55: 5-11.
[20] HU Hao, LIANG Jin, TANG Zhengzong, et al. Digital speckle based strain measurement system for forming limit diagram prediction[J]. Optics and Lasers in Engineering, 2014, 55: 12-21.
（编辑 赵俊）
基金项目(Foundation item)：国家自然科学基金资助项目(51675404; 51421004) (Projects(51675404; 51421004) supported by the National Natural Science Foundation of China)
通信作者：梁晋，博士，教授，从事机器视觉及三维全场测量研究；E-mail：liangjin@mail.xjtu.edu.cn
