DOI: 10.11817/j.issn.1672-7207.2016.03.010

基于手指骨架提取的手形识别方法

李温温^{1, 2}，刘富¹，高雷¹

(1. 吉林大学 通信工程学院，吉林 长春，130022；

2. 白城师范学院 机械工程学院，吉林 白城，137000)

摘要：针对使用非接触式手形采集仪采集手形时，手掌图像的指根处轮廓会因手掌张开幅度不同而出现不同程度的变形，增加手形精确定位和手形识别的难度这一问题，提出一种不受指根处轮廓变形影响的手形识别算法。该算法首先提取出细化的手指骨架，其次拟合手指骨架并定位手指中线，然后提取与指根部无关的指形特征，最后，计算注册样本与待识别样本的差异特征统计值并进行判别决策。研究结果表明：本文提出的手形识别算法对指根处轮廓变形有着较强的鲁棒性，识别率可达99.62%。

关键词：手形识别；手指细化；骨架拟合；手指几何特征

中图分类号：TP 391          文献标志码：A         文章编号：1672-7207(2016)03-0777-07

A method of hand-shape recognition based on extraction of finger skeleton

LI Wenwen^{1, 2}, LIU Fu¹, GAO Lei¹

(1. School of Communications Engineering, Jilin University, Changchun 130022, China;

2. School of Mechanical Engineering, Baicheng Normal University, Baicheng 137000, China)

Abstract: When a non-contact hand shape acquisition instrument is used to collect hand shape, there will be a kind of deformation at different levels in the finger root contour because of the difference in open degree of palm, which increases the difficulty of the accurate positioning and recognition hand-shape. In order to solve this problem, a new method for hand-shape recognition was presented, which was not affected by the deformation of the finger root contour. Firstly, the thinning finger skeleton was extracted, and then the finger central axis and the binomial fitting finger skeleton were located. The finger geometric features unrelated to the finger root contour were extracted. Finally, the statistics of differences characteristic between the registered samples and identifying samples were calculated to recognize the hand shape. The results show that the proposed method is robust to the deformation of the finger root contour, and the recognition rate can reach 99.62%.

Key words: hand-shape recognition; finger refinement; fitting finger skeleton; finger geometric features

生物识别技术已经被广泛应用于身份认证领域。目前被成功用于身份识别的生物特征包括人脸、虹膜、步态、掌纹、指纹、手形等人体特征。但每种生物识别技术都有其局限性：虹膜识别和掌纹识别需要特定的采集环境和高分辨率的摄像头；步态识别的准确率较低；指纹识别的识别率高、设备体积小，虽然应用最为成熟，但是易受指纹磨损等因素的影响；手形特征因其具有采集方便、稳定性高等特点，在生物识别领域有重要的研究意义。现有的手形识别算法较多，大体分为2类，即基于手指和手掌几何尺寸的手形识别算法^[1-8]与基于手指轮廓差异的手形识别算法^[9-14]。虽然这2类算法所选用的手形识别特征不同，但都需要先定位手形。因此，手形定位的准确性直接影响了手形识别的准确率。常用的手形定位算法有6种：采用固定栓定位手形^[10-11]；利用手形轮廓到手腕中点或掌心点距离的极值，得出指尖点和指根点的手形定位算法^{[1-2, 11, 15]}；依据指尖点和指根点的曲率为局部最大值的手形定位算法^{[8-9, 13]}；拟合手指单侧轮廓的手形定位算法^[12-13]；基于手指和手掌最大内切圆的手形定位算法^{[9, 16-17]}；粗略定位指根点后，连接指根点和其向前(或向后)若干像素的轮廓点形成1条直线，认为在此段轮廓上离此直线距离最远的轮廓点为精确指根点的手形定位算法^[8]。以上的6种手形定位算法都能很好解决手形旋转、平移、缩放这3种仿射变换。但在手形采集时，手指张开程度不同会造成指根处轮廓变形，这种变形将会影响上述6种算法对手形定位的准确性，大大降低了手形识别的准确率。为很好地解决这个问题，本文作者提出一种通过拟合手指骨架来进行手形定位的算法，选取与指根处轮廓无关的手形特征，从而使手形识别不受指根处轮廓变形的影响，实验表明本文作者提出的手形识别算法有着较高的识别率。

1  手形定位

本文作者提出的手形定位算法主要分4步，即四指分割、手指细化、修正手指骨架及二项式拟合手指骨架。

1.1  四指分割

在手形图像识别阶段，由于大拇指的自由度相对较大，很难获得稳定的指形特征，因此，只提取小拇指、无名指、中指和食指这4根手指的指形特征。在图像预处理阶段，首先对采集到的图像进行二值化处理，然后采用文献[5]的手指分离算法将四指分割，分割结果如图1所示。

1.2  手指细化

表1所示为一些现有图像细化算法的优缺点比 较^[18-23]，细化算法缺陷如图2所示。针对手指图像特点，对基于模板匹配的细化算法进行了改进，在原有算法的基础上增加了1个先验模板和3个细化方程。改进后的算法不仅提高了图像细化的速度，也可保证细化取得令人满意的结果。

图1  四指分割结果

Fig. 1  Results of segmented fingers

1.2.1  先验模板

比较表1所列的图像细化算法可见：OPTA (one-pass thinning algorithm)算法需要判断每个像素点是否符合消除条件，而冯星奎等^[21-22]提出的改进算法虽然一次细化可消除多个像素点，但这2种算法保存模板的数目较多，图像细化时，在匹配消除模板和保存模板上，仍消耗了大量时间。针对这个问题，本文作者增加了1个先验模板(如图3所示)，可避免不能被消除的像素点在匹配消除模板上消耗大量的时间。

由于文献[21]中的消除模板可以解决图像细化过程中常遇到毛刺过多和纹线扭曲的问题，文献[20]中的保存模板数量较少，可减少图像细化的时间，所以采用文献[21]中的8个消除模板(如图4所示)和文献[20]中的2个保存模板(如图5所示)用于图像细化。

增加先验模板后本文的细化算法描述如下：

if (像素点与先验模板相匹)

   此像素点不能被删除；

else if (此像素点与任一消除模板相匹配)

      if (此像素点与任一保存模板相匹配)

        此像素点不能被删除；

else

   此像素点被删除；

end

    end

end

表1  现有的图像细化算法比较

Table 1  Comparison of existing image thinning algorithms

图2  细化算法缺陷示意图

Fig. 2  Schematic diagram of defects of thinning algorithms

图3  先验模板

Fig. 3  Prior template

图4  消除模板

Fig. 4  Remove templates

图5  保存模板

Fig. 5  Preservation templates

采用本文所描述的细化算法对整幅图像进行迭代细化，直至没有像素点被删除为止。但因消除模板和保存模板存在缺陷，使细化结果不完全，需对细化后的图像进一步细化。

1.2.2  进一步细化

为了使细化结果为光滑且连续的图像，本文设计了3个细化方程：

              (1)

             (2)

     (3)

其中：，变量的选取如图6所示。

图6  变量选取示意图

Fig. 6  Schematic diagram of x_i selection

从图像左上角开始，逐一扫描每个像素点，如果某像素点对应的G＞2且M+N＞0就认定此像素点为多余像素点，需要删除。

1.2.3  各种细化算法的比较

在Inter Daul-Core 2.66 GHz CPU，2 G内存PC机上进行算法的性能测试，利用Matlab 2010编程实现。图7所示为本文细化算法的实验结果。由图7可见：本文改进的细化算法细化结果令人满意，弥补了基于模板匹配细化算法的缺陷，细化结果改善了一些不光滑和间断的脊线；而与其他几种算法相比，主要的改进表现在执行时间上的明显改善。表2所示为各种算法执行的时间。由表2可知：本文改进的细化算法在执行时间上得到了很明显的改善。

图7  本文细化算法结果

Fig. 7  Result of thinning algorithms in this paper

表2  各种算法的执行时间

   Table 2  Running time of various algorithms     s

1.3  手指骨架的修正

因手指图像细化后得到的手指骨架在指根端是分叉的，所以需要对其进行修正，提取计算手指特征所需要的主要骨架。本文设计的修正算法步骤如下。

1) 通过计算每个骨架点的8个邻域内含有骨架点的数量找到分叉点。若其8个邻域内含有3个骨架点，则认为其为骨架的交叉点。

2) 从交叉点出发，长度最长的骨架分支为主要骨架，删除其他2个长度较短的分支。图8所示为修正前后的手指骨架对比。

图8  手指骨架修正示意图

Fig. 8  Schematic diagram of revise finger skeleton

3) 通过计算各点曲率，对个别弯曲的手指骨架进行修正。

少数手指图像细化后得到的手指骨架没有分叉，但在原有分叉点位置会出现明显的弯曲，即在手指骨架上存在1个曲率极小的点。通过观察可以发现，从曲率为极小值的骨架点出发，有2段手指骨架，长度较长的骨架为所需要的主要骨架应保留，长度较短的骨架已经偏离手指中轴线，应剔除。

骨架点曲率的计算如图9所示，计算手指骨架点曲率的公式为

           (4)

手指骨架上各点的曲率如图10所示，实验发现当手指骨架点曲率的最小值小于2.7时，可以认为这段手指骨架已偏离手指中轴线，应剔除。图11所示为修正弯曲的手指骨架结果。

图9  曲率的计算模型

Fig. 9  Calculation model of curvature

图10  手指骨架上各点曲率

Fig. 10  Curvature of finger skeleton points

图11  修正弯曲的手指骨架示意图

Fig. 11  Schematic diagram of revised finger crooked skeleton

1.4  定位手指中轴线

算法采用二项式曲线拟合算法拟合手指骨架，定位手指中轴线，拟合直线方程的计算如式(5)和式(6)所示。手指中线定位结果如图12所示。

        (5)

图12  手指中线定位

Fig. 12  Location of finger centerline

            (6)

式中：为第i根手指骨架上所有点的坐标；为手指骨架长度。

2  手形识别

2.1  手形特征提取

本文选取手指的宽度作为手形识别的特征，如图13所示，从手指中轴线的顶端开始，沿手指中线，每隔10个像素单位做中线的垂线，与手指两侧轮廓交点间的距离，即为手指宽度特征。提取到的手指特征向量为 (i=1, 2, 3, 4)，T_i为得到的指形特征数，为提取到的指形宽度特征。

图13  手指特征提取示意图

Fig. 13  Schematic diagram of feature selection of finger

2.2  手形识别计算方法

手形识别所选用的特征为注册手形与待识别手形之间差异的统计特征，C_i为手指宽度特征数的差异，计算方法为

                (7)

其中：M_i(1)为注册手形特征向量中第i个手指指形特征数；N_i为待识别手形的特征向量中第i个手指指形特征数。

手指宽度特征差异D_i的计算方法为

  (8)

其中：i=1, 2, 3, 4；j=1, 2, …，j不能等于是为了避免指根处轮廓变化较大而影响手形识别的准确率。

统计D_i(j)≥n的数为，n为设定阈值。

定义为2手指相似程度的度量，其值越小代表2个手指的相似程度越大。的计算方法为

             (9)

在手形识别实验中，当小于某个设定阈值时，可认为这2个手掌属于同一人，否则认为这2个手掌属于不同的人。

3  实验结果及分析

针对本文提出的手形识别算法，设计了手形采集仪器，其主要特点是手形平面与摄像头平面始终平行且距离固定，这样可以避免在每次采集手形时手形平面与摄像头平面夹角的变化而引起的图像变形。对于二维手形图像，算法能够解决手形旋转、平移和伸缩的问题，但对于因采集时夹角变化造成手形图像变形是无能无力的，所以应尽量避免。用上述仪器采集100个人每人10幅手掌图像，采用本文算法做手形识别 实验。

为了验证n的取值与识别率的关系，n分别取0.02，0.03，0.04，0.05，0.06和0.07这6个值，进行6组实验，对采集到的1 000幅手形图片进行499 500次匹配实验，其中类内匹配4 500次，类间匹配495 000次，得到n的取值与识别率的关系曲线(如图14)。由图14可知：当n=0.04，阈值取12时，识别率最高为99.62%。当n=0.04时，拒识率和误识率曲线如图15(a)所示。由图15(a)可以看出：当阈值取12时，拒识别率为0.81%，误识率为0.37%，类间数据和类内数据分布曲线如图15(b)所示。

图14  手形认证实验识别率曲线

Fig. 14  Accuracy curve of hand shape recognition

图15  n=0.04时实验结果

Fig. 15  Results of n=0.04

4  结论

1) 提出了一种基于拟合手指骨架的手形定位算法，对基于模板匹配的细化算法进行了改进，改进后的算法不仅提高了图像细化的速度，也保证细化取得令人满意的结果。

2) 设计提取出1组与指根处轮廓无关的手形特征用于手形识别，成功地解决了指根轮廓变形对手形识别准确性的影响。针对本文提出的手形识别算法，设计了手形采集仪器。经实验表明，本文算法的识别率高达99.62%。

参考文献：

[1] GUO J M, HSIA C H, LIU Y F, et al. Contact-free hand geometry-based identification system[J]. Expert Systems with Applications, 2012, 39(14): 11728-11736.

[2] JIANG X, XU W, SWEENEY L, et al. New directions in contact free hand recognition[C]// 2007 IEEE International Conference on Image Processing. Texas, USA: ICIP, 2007: II-389-II-392.

[3] XIN C, WU X, QIUSHI Z, et al. A contactless hand shape identification system[C]// The 3rd IEEE International Conference on Advanced Computer Control. Harbin, China: ICACC, 2011: 561-565.

[4] KANHANGAD V, KUMAR A, ZHANG D. A unified framework for contactless hand verification[J]. IEEE Transactions on Information Forensics and Security, 2011, 6(3): 1014-1027.

[5] ZHANG J, GAO W. Application of fuzzy algorithm based on distance in hand-shape dentification[C]// The 9th International Conference on Electronic Measurement & Instruments. Beijing, China: ICEMI, 2009: 2-818-2-821.

[6] 苑玮琦, 董茜. 基于手部尺寸特征的手形认证方法[J]. 光学学报, 2010, 30(10): 2994-2999.

YUAN Weiqi, DONG Qian. Hand shape verification method based on hand geometry feature[J]. ACTA Optica Sinica, 2010, 30(10): 2994-2999.

[7] KUMAR A, ZHANG D. Personal recognition using hand shape and texture[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2454-2461.

[8] 苑玮琦, 朱春艳, 柯丽. 手指宽度选取与识别率对应关系分析[J]. 光学精密工程, 2009, 17(7): 1730-1736.

YUAN Weiqi, ZHU Chunyan, KE Li. Analysis of relationship between finger width and recognition rate[J]. Optics and Precision Engineering, 2009, 17(7): 1730-1736.

[9] AMAYEH G, BEBIS G, EROL A, et al. Hand-based verification and identification using palm–finger segmentation and fusion[J]. Computer Vision and Image Understanding, 2009, 113(4): 477-501.

[10] SU C L. Finger shape expansion and recognition by wavelet transform[J]. Applied Mathematics and Computation, 2007, 190(2): 1583-1592.

[11] HU R X, JIA W, ZHANG D, et al. Hand shape recognition based on coherent distance shape contexts[J]. Pattern Recognition, 2012, 45(9): 2248-2259.

[12] ZHU Leqing. 2D finger shape recognition based on local zero-order moment features[C]// The 2nd International Congress on Image and Signal Processing. Tianjin, China: ICISP, 2009: 1-4.

[13] MA Y L, POLLICK F, HEWITT W T. Using b-spline curves for hand recognition[C]// The 17th International Conference on Pattern Recognition. Cambridge, UK: ICPR, 2004: 274-277.

[14] DUTA N. A survey of biometric technology based on hand shape[J]. Pattern Recognition, 2009, 43(11): 2797-2806.

[15] YORUK E, KONUKOGLU E, SANKUR B, et al. Shape-based hand recognition[J]. IEEE Transactions on Image Processing, 2006, 15(7): 1803-1815.

[16] BAKINA I, MESTETSKIY L. Hand shape recognition from natural hand position[C]// 2011 International Conference on Hand-Based Biometrics. Hong Kong, China: ICHB, 2011: 1-6.

[17] MESTETSKIY L, BAKINA I, KURAKIN A. Hand geometry analysis by continuous skeletons[C]// The 8th International Conference on Image Analysis and Recognition. Burnaby, Canada: ICIAR, 2011: 130-139.

[18] 竺乐庆, 张三元, 幸锐. 基于指节纹的个人身份自动识别[J]. 自动化学报, 2009, 35(7): 875-881.

ZHU Leqing, ZHANG Sanyuan, XING Rui. Automatic personal authentication based on finger phalangeal prints[J]. Acta Automatica Sinica, 2009, 35(7): 875-881.

[19] GONZALEZ R C, WOODS R E. Digital image processing[M]. Beijing: Publishing House of Electronics Industry, 2003: 650-653.

[20] CHIN R T, WAN HK, STOVER D L, et al. A one-pass thinning al-gorithm and its parallel implementation[J]. Computer Vision Graphics Image Processing, 1987, 40(1): 30-40.

[21] 冯星奎, 李林艳, 颜祖泉. 一种新的指纹图象细化算法[J]. 中国图象图形学报, 1999, 4(10): 835-838.

FENG Xingkui, LI Linyan, YAN Zuquan. A new Thinning Algorithm for Fingerprint Image[J]. Journal of Image and Graphics, 1999, 4(10): 835-838.

[22] 王家隆, 郭成安. 一种改进的图像模板细化算法[J]. 中国图象图形学报, 2004, 9(3): 297-301.

WANG Jialong, GUO Chengan. An improved image template thinning algorithm[J]. Journal of Image and Graphics, 2004, 9(3): 297-301.

[23] 王朋, 张有光, 张烁. 指纹图像细化的综合化算法[J]. 计算机辅助设计与图形学学报, 2009, 21(2): 179-182.

WANG Peng, ZHANG Youguang, ZHANG Shuo. A synthetically thinning algorithm for fingerprint image[J]. Journal of Computer-Aided Design & Computer Graphics, 2009, 21(2): 179-182.

(编辑  刘锦伟)

收稿日期：2015-03-27；修回日期：2015-05-11

基金项目(Foundation item)：国家自然科学基金资助项目(51105170)；吉林省科技发展计划项目(SC0701028) (Project(51105170) supported by the National Natural Science Foundation of China; Project(SC0701028) supported by the Scientific and Technological Planning Project of Jilin Province)

通信作者：刘富，博士，教授，从事计算机视觉及生物识别技术研究；E-mail: liufu@jlu.edu.cn