融合全局与局部特征的单样本人脸识别

王科俊，邹国锋，阎涛

(哈尔滨工程大学 自动化学院，黑龙江 哈尔滨，150001)

摘要：分别通过双向二维主成分分析和Gabor特征分块提取人脸的全局特征和局部特征，提出一种将全局特征和局部特征分类结果在决策层并行集成的单样本人脸识别方法。ORL人脸库上的实验结果表明：经过Gabor特征分块的第一级融合和全局与局部特征的第二级融合能很好地融合人脸的全局和局部信息，提高人脸识别系统的   性能。

关键词：全局特征；Gabor变换；局部特征；图像分块；加权并行集成

中图分类号：TP391.41          文献标志码：A         文章编号：1672-7207(2011)S1-0760-05

Integration of global and local feature for single sample face recognition

WANG Ke-jun, ZOU Guo-feng, YAN Tao

(College of Automation, Harbin Engineering University, Harbin 150001, China)

Abstract: A novel single sample face recognition algorithm based on parallel integration of classification results of the global and local features is proposed, where the global features are obtained by double two-dimensional principal component analysis and the local features are extracted by Gabor feature blocks. The experimental results on ORL face databases show that the global face and local information can be integrated well after the first level fusion by Gabor feature block and the second level fusion by global and local features, which improve the performance of face recognition system.

Key words: global feature; Gabor transformation; local feature; image block; weighted parallel integration

单样本人脸识别问题^[1]给人脸识别技术带来巨大挑战，近年来已成为人脸识别研究中的一个重要方向，并得到广泛关注。由于训练样本的有限性，单样本人脸识别的识别率不高，往往采用奇异值扰动的主分量分析进行样本扩充^[2]，将单样本问题转换为多样本人脸识别，提高识别率。文献[3]提出一种加权分块双向二维主成分分析(MW(2D)²PCA)的单训练样本人脸识别方法，通过提取人脸局部特征获得较好的识别效果。王科俊等^[4]将单训练样本人脸识别的方法概括为以下几类：基于几何特征的方法、样本扩张法、特征子空间扩展法、通用学习框架法、图像增强法、神经网络法和三维识别方法等。所以，要真正实现鲁棒、高效的单样本人脸识别，还需要解决大量的关键问题，需要研究高效的人脸特征描述方法和与之对应的高效、精确的分类识别方法。

描述人脸的特征分为全局特征和局部特征两大 类^[5]。研究发现，人类之所以具有优秀的识别能力，主要是由于人类的视觉感知系统在识别人脸时同时利用了人面部的全局信息和局部信息。全局特征包含面部图像的全部信息，反映人脸的整体属性，包括肤色、脸型、五官的分布等；局部特征对应了面部图像中的某一个有限局部区域，注重提取人脸局部的细节信息。

鉴于全局特征和局部特征所起的作用不同，本文作者提出一种综合考虑两类特征的单样本人脸识别方法。该方法分别通过双向二维主成分分析和Gabor特征分块提取人脸的全局特征和局部特征，在决策层将全局特征和局部特征分类结果并行集成给出识别结果。在ORL人脸库上进行实验测试，实验结果表明：经过Gabor特征分块的第一级融合和全局与局部特征第二级融合能很好地结合人脸的全局和局部信息，识别效果优于单一的全局和局部识别方法。

1  基于双向二维主成分分析的全局特征提取

在人脸识别中，主成分分析(PCA)^[6]是对原始空间的人脸图像，通过K-L变换投影到维数较小的特征空间，目标是将图像表示在一个最优坐标系中。此处“最优”是指达到最小重建误差或最小均方意义下的最优表达，保证了在最大保留原始信息基础上的数据降维，因此主成分分析被广泛地用于人脸图像全局特征的提取。二维主成分分析(2DPCA)^[7]是一种常用的子空间分析方法，是对主成分分析算法的有效改进，不必像主成分分析那样将原始图像矩阵转化为一维向量，而是直接从人脸图像矩阵出发来计算，在图像特征提取上更加简单、直观。本文作者采用文献[3]给出的双向二维主成分分析方法进行人脸的全局特征提取。

2  基于Gabor变换与图像分块的局部特征提取

近年来，研究者发现局部特征对光照、表情、遮挡等变化不敏感，因此被越来越多地用于人脸表示。文献[3]提出了一种对双向二维主成分分析获得的全局特征加权分块来提取人脸局部特征的方法，取得了较好的识别效果。但是这种方法是针对人脸的全局特征进行分块的，并不能真正地获得人脸各局部的信息。研究发现，多尺度多方向的Gabor变换能很好地提取人脸的局部特征，获得人脸的局部信息，同时充分利用人脸描述中面部器官的空间位置关系信息。所以，本文作者采用Gabor变换获得人脸局部特征，并将其和图像分块结合提出基于Gabor特征分块的人脸局部特征表示方法。该方法将高维Gabor特征划分为多个维数较低的子块，并对每个子块单独进行分类判断；最终，采用并行集成的方式对各个子分类结果进行集成，得到局部特征最终的分类结果。

2.1  局部Gabor特征提取

1985年，Daugman^[8]将一维Gabor小波扩展到二维情况，用以建模方向选择简单细胞的感受野。在图像处理和计算机视觉中，主要使用的是二维Gabor小波，可以表示为：

(1)

          (2)

式中：为给定位置的图像坐标；为Gabor滤波器中心频率；为滤波器方向选择性表示。采用8个不同方

向μ{0，1，2，3，4，5，6，7}，5个不同尺度ν{0，1，2，3，4}，最大中心频率k_max=π/2的Gabor滤波     器组。

图像Gabor特征的获得，可以通过将输入图像与Gabor小波滤波器组卷积得到。输入图像灰度值为I(x，y)，则图像I和Gabor核函数ψ_μ,ν的卷积定义为：

          (3)

式中：ν(0，…，4)，μ(0，…，7)；O_μ,ν(z)表示当尺度为ν和方向为μ时Gabor核函数的卷积图像。由于Gabor响应的幅值信息反映图像的能量谱，而这种能量谱是图像局部所具有的，在图像真实边缘附近具有良好的光滑性，这对于图像的匹配和识别来说具有重要意义，所以本文采用卷积图像的幅值响应作为最终的特征图像。

2.2  Gabor特征的分块

对1幅人脸图像进行Gabor变换，得到40幅Gabor人脸图像，称为Gabor脸；然后，针对每一幅Gabor人脸图像进行分块处理，即将空间位置相近的Gabor特征划分为同一组。

假设有3幅人脸图像C₁，C₂和C₃分别作为每一类人脸图像的标准样本。

(1) Gabor变换。分别对3类标准样本人脸进行Gabor变换，则每一幅可以得到40幅Gabor人脸图像，记为：C_1,0，C_1,1，C_1,2，…，C_1,39；…；C_3,0，C_3,1，C_3,2，…，C_3,39。其中，元素C_i,j表示第i类的第j幅Gabor人脸图像。

(2) 图像分块。针对所有Gabor人脸图像进行分块处理，以2×2分块为例，第1类人脸的第1幅Gabor脸C_1,1分为4块：C_1,1,0，C_1,1,1，C_1,1,2，C_1,1,3。根据这样的分块原则，所有的Gabor人脸都可以分为4块，C_i,j,k即为第i类的第j幅Gabor人脸图像的第k个子块。

(3) 构成特征子集。将每一类人脸图像分块得到的对应序号的子块图像进行集成，得到特征子集。比如分别将第1类人、第2类人、第3类人的第1幅Gabor脸的第1个分块C_1,1,0，C_2,1,0和C_3,1,0构成特征子集{C_1,1,0，C_2,1,0，C_3,1,0}。2×2分块下特征子集的构建示意图如图1所示。其中以每一类人第1幅Gabor人脸图像为例；其他39幅Gabor人脸图像特征子集的构建过程与图中方法完全相同。

图1  2×2分块状态下Gabor人脸图像子集构建示意图

Fig.1  Diagram of Gabor face image subset constructed state in 2×2

2.3  Gabor特征的融合识别

假设一幅原始待识别人脸图像经过Gabor变换之后的人脸图像为C₀，C₁，…，C₃₉，根据2.2节中介绍的分块原则，经过4×4分块可以得到一个40×16的特征向量组：

式中：C_i,j表示第i幅Gabor图像的第j个分块。

以10类标准人脸图像(每类人脸1幅标准样本)为例，经Gabor变换得到10×40幅Gabor特征图像，进行4×4分块可得到特征向量组：

式中：C_m,n,p表示第m类样本的第n幅Gabor图像的第p个分块。

然后，计算待识别样本和标准样本的Gabor图像分块矩阵之间的距离，并计算隶属度^[9-10]，得到下面的隶属度矩阵：

针对每一幅图像的隶属度矩阵按列进行求和得到如下结果：

式中：μ_i,j表示第i类第j幅图像的隶属度之和。然后，对上面得到的隶属度矩阵按行求和得到最终的一组向量[μ₀，μ₁，…，μ₉]^T，最后对这10个隶属度进行最终的排序，其中最大隶属度对应的类别标示就是判断的类属，即得到最终的分类识别结果。

3  全局与局部特征分类结果的融合

采用模糊综合的方法在决策层上对2种特征的识别结果进行融合。这种融合方法是一种在相似度层上的并行集成，整个融合系统的构建过程如图2所示。

对于全局特征的情况，可以计算得到待识别样本A_i与每一类标准样本A_j之间的距离d_ij；然后，将所有类别的距离求和，n为总类别数；最后，计算待识别样本A_i相对于每一类人脸的相似度(隶属度)。

               (4)

式中：υ_j为测试样本A_i对标准样本A_j的隶属度。局部特征分类得到的分类结果为μ_j。将全局分类器和局部分类器通过加权求和的方式进行并行集成，得到整体分类器的结果如下：

            (5)

式中：ω表示全局分类器在整体分类器中的权值。由于在人脸识别中全局特征中包含的判别信息要比局部特征少很多，所以应当给予它们不同的权值分布。在ORL人脸库上的实验结果表明，ω=0.25时，整体分类器的分类效果最好。

图2  总体分类器的构建过程

Fig.2  Construction process of overall classification

4  实验与分析

实验所用人脸库为ORL人脸数据库^[11]，包括40人，每人10幅，共400幅人脸图像，图像为256级灰度，尺寸为112×92(宽×高)像素；拍摄于不同时间，采用统一黑色均匀背景，一定范围内存在光照、面部表情变化(睁眼或者闭眼、微笑或者严肃)以及脸部细节变化(如是否戴眼镜)。所有的照片都是正面直立的，允许一定角度的头部倾斜和旋转。由于本文的目的是进行单样本人脸识别，所以实验中统一选取40类人每人的第1幅人脸图像作为标准人脸图像用于训练样本库，剩余的360幅图像用于测试。

4.1  基于全局特征的识别结果

主成分分析作为最经典的人脸识别方法之一，存在着计算量相对较大的缺点，研究者引进矩阵分析的方式，可以有效地降低计算量，加快人脸特征提取的速率，但是对于人脸识别率并没有根本性的提高。实验得到的主成分分析(PCA)的识别率为77.78%，双向二维主成分分析((2D)²PCA)的识别率为78.61%。

4.2  基于Gabor分块的识别结果

在Gabor分块的人脸识别中，唯一可以变动的就是Gabor特征不同的分块方式。对于图像的分块，可以采用不同的方法，但是考虑到所用人脸库中图像的大小都是112×92，所以能使用的分块方法只有2×2，2×4，4×1，4×2，4×4，如图3所示。

图3  不同的人脸图像分块方式

Fig.3  Different way of face image block

为了检验各种分块方法给人脸识别效果带来的影响，进行了实验对比，结果如表1所列。

表1  不同分块方式对人脸识别效果的影响

Table 1  Effect of different ways on face recognition

从实验数据可以看出，对于Gabor变换方法在各种分块方式下总体的识别效果良好，但图像分块方式影响识别率，其中，4×1和4×4这2种分块方式下的识别效果较好。实验结果表明：如果采用2×2分块，则分块的数量少，而子图像较大，那么就无法发挥分块方法对于姿态、表情和光照变化不敏感的优势。分块的数目也并不是越多越好，图像分得过细，就会丧失人脸图像的整体结构信息，而产生太多的冗余判断结果，加大了计算量却不一定得到好的识别 结果。

4.3  基于全局与局部特征融合的识别结果

将全局特征和局部特征的识别结果在决策层并行集成，全局分类器的权值会影响到最终的分类效果，所以，本文针对全局分类结果的权值取值进行了实验，图4所示为不同权值取值情况下的识别率对比。

图4  全局分类器的权值对识别率的影响

Fig.4  Impact of weight of global classification on recognition rate

实验可得，当权值ω在0.25左右时，识别效果是最好的，所以本文中将其设置为0.25。最终的识别率(最好状态下)对比情况如表2所列。

综合以上分析，基于全局与局部特征相融合的人脸识别方法，同时具有全局和局部单个分类器的识别效果，性能较好，在最终融合的整体分类器中识别率可以达到90%左右。这充分体现了在人脸识别中，从全局和局部出发改进人脸识别系统的思路是有效的，同样也进一步验证了生理学家和生物学家们对人类所具有的识别能力所做出判断的正确性。

表2  采用不同识别方法的识别率

Table 2  Recognition rate by different recognition methods

5  结论

本文提出了一种融合全局特征和局部特征的单样本人脸识别方法。将双向二维主成分分析用于全局特征的提取，获得人脸的整体特征；采用Gabor变换提取人脸的局部特征；同时，为了充分利用人脸的空间结构信息，本文提出了基于Gabor分块的特征提取与识别方法。ORL人脸库上的实验表明：基于局部特征的分类方法优于基于全局特征的分类方法，而将2种特征的识别结果进行有效融合之后，系统的识别性能具有很大的提高。在今后的工作中，有必要进一步研究更为有效的融合策略。多特征融合、多模态融合这都是未来生物特征识别技术研究的重要方向。

参考文献：

[1] TAN Xiao-yang, CHEN Song-can, ZHOU Zhi-hua, et al. Face recognition from a single image per person: A survey[J]. Pattern Recognition, 2006, 39: 1725-1745.

[2] Zhang D, Chen S, Zhou Z H. A new face recognition method based on SVD perturbation for single example image per person[J]. Applied Mathematics and Computation, 2005, 163(2): 895-907.

[3] 李欣, 王科俊, 贲晛烨. 基于MW(2D)²PCA的单训练样本人脸识别[J]. 模式识别与人工智能, 2010, 23(1): 77-83.
LI Xin, WANG Ke-jun, BEN Xian-ye. MW(2D)²PCA based face recognition with single training sample[J]. Pattern Recognition and Artificial Intelligence, 2010, 23(1): 77-83.

[4] 王科俊, 段胜利, 冯伟兴. 单训练样本人脸识别技术综述[J]. 模式识别与人工智能, 2008, 21(5): 635-642.
WANG Ke-jun, DUAN Sheng-li, FENG Wei-xing. A survey of face recognition using single training sample[J]. Pattern Recognition and Artificial Intelligence, 2008, 21(5): 635-642.

[5] 苏煜, 山世光, 陈熙霖, 等. 基于全局和局部特征集成的人脸识别[J]. 软件学报, 2010, 21(8): 1849-1862.
SU Yu, SHAN Shi-guang, CHEN Xi-lin, et al. Integration of global and local feature for face recognition[J]. Journal of Software, 2010, 21(8): 1849-1862.

[6] Turk M, Pentland A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1): 71-86.

[7] Yang J, Zhang D, Alejandro F, et al. Two-dimensional PCA: A new approach to appearance based face representation and recognition[J]. IEEE transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137.

[8] Daugman J. Uncertainty relation for resolution in space, spatial, frequency, and orientation optimized by two-dimensional visual cortical filters[J]. Journal of the Optical Society of America, 1985, 2(7): 1160-1169.

[9] Chiang J H. Aggregating membership values by a Choquet-fuzzy-integral based operator[J]. Fuzzy Sets and Systems, 2000, 114(3): 367-375.

[10] 尹洪涛, 付平, 孟升卫. 基于局部特征融合的人脸识别[J]. 测试技术学报, 2006, 20(6): 539-542.
YIN Hong-tao, FU Ping, MENG Sheng-wei. Face recognition based on local feature fusion[J]. Journal of Test and Measurement Technology, 2006, 20(6): 539-542.

[11] ORL人脸库. 剑桥大学AT&T实验室创建. [2004]. http://www.cl.cam.ac.uk/Research/DTG/attarchive/facedatabase.html.

(编辑 杨华)

收稿日期：2011-04-15；修回日期：2011-06-15

基金项目：国家“863”计划资助项目(2008AA01Z148)；博士点专项科研基金资助项目(20102304110004)

通信作者：王科俊(1962-)，男，吉林省吉林人，教授，博士生导师，从事生物特征识别与智能监控、神经网络、计算生物信息学等研究；          电话：13936459728；E-mail：wangkejun@hrbeu.edu.cn