人脸识别综述

人脸识别综述

聂祥飞

(重庆三峡学院物理与电子工程学院，重庆万州 404000)

摘 要：在生物特征识别中，人脸识别是最自然、最直接和最友好的手段，对人脸识别的研究具有很高的理论意义和实用价值．本文对人脸识别中的常用算法进行了回顾，并且对正面人脸识别中的两个主要研究热点——人脸光照补偿和人脸小样本问题进行了讨论.

关键词：人脸识别；光照补偿；小样本问题

中图分类号：TP391.4 文献标识码：A 文章编号：1009-8135（2009）03-0014-05

１ 引言

目前，在个人身份鉴别中主要依靠ID卡和密码等传统手段，这些传统手段的安全性能较低，都是基于“What he possesses”或“What he remembers”的简单身份鉴别，离真正意义上的身份鉴别“Who he is”还相差甚远．[1]依靠传统方法来确认个人身份越来越不适应现代科技的发展和社会的进步．生物特征识别技术给可靠的身份鉴定带来了可能．[2]最近，国际生物特征组织(IBG)对生物特征识别技术做了较详细的市场分析和预测，其结果显示，全球生物特征识别技术2009年的产值将为34亿美元，预计到2014年将超过93亿美元，[3]市场潜力非常巨大．

在所有的生物特征识别技术中，利用人脸特征进行身份识别是最自然、最直接和最友好的手段．与其它生物特征识别技术相比，人脸的获取非常容易，几乎可以在被采集对象无意识的状态下获取人脸图像，这样的取样方式没有“侵犯性”．自动人脸识别可以分为人脸检测[4]和人脸识别[5][6]两个过程．人脸检测就是对给定的图像，确定其中人脸的位置、大小等状态信息，人脸识别就是将现实空间的人脸图像映射到机器空间，并采取某种表示方式（如人脸的几何特征、代数特征和变换系数等）尽可能完整而准确地描述人脸，将待识别的人脸与已知人脸进行比较，根据相似程度对人脸的身份信息进行判断．这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程．[1]

虽然人类具有很强的检测和识别人脸的能力，但是要建造一个高性能的自动人脸识别系统却是一个极其复杂的课题．[5-6]人脸识别的性能受到人脸内在生理变化和外界环境变化的影响较大，这使得该课题极富挑战性．另外，人脸识别在身份鉴定、电子商务、视频监控、人机交互等领域具有广阔的应用前景，根据IBG的调查结果，目前人脸识别在整个生物特征识别市场中占有11.4%的份额．[3]

２ 人脸识别常用算法

早在20世纪60年代，人脸识别就引起了广大研究者的注意，上个世纪90年代以来，随着社会对人脸识别系统的迫切需求，人脸识别研究再次成为热门课题．当前世界各国有许多机构都在从事这方面的研究，并受到军方、警方以及许多大公司的高度重视和资助．目前常见的人脸识别基本算法可分为以下几类：基

收稿日期：2009-01-15

作者简介：聂祥飞(1973-)，男，云南宣威人，博士，重庆三峡学院副教授，主要研究图像处理与图像识别. 基金项目：本文系重庆市教委自然科学基金（KJ081115）和重庆三峡学院自然科学基金研究成果之一 -14-

重庆三峡学院学报 于几何特征的人脸识别、基于子空间分析的人脸识别、基于弹性图匹配的人脸识别、基于神经网络的人脸识别和基于隐马尔可夫模型的人脸识别等．

数据处理时，对于线性不可分样本，首先通过一个非线性映射将原空间样本映射到高维特征空间（也称核空间）中，使核空间中的样本变得线性可分，或者近似线性可分，然后在核空间中用线性方法对其进行分类处理，从而实现相对于原空间来说非线性的处理，在计算上并不需要明确计算非线性变换，只需要通过一个核函数来计算在核空间中两两向量间的内积即可．目前已应用于人脸识别中的非线性子空间方法有核主分量分析[14][15]、核Fisher判别分析[16]和核分量分析[17]等．

2.1 基于几何特征的人脸识别

在众多的人脸识别方法中，基于几何特征的方法是最早被用于人脸识别的．其基本原理是：人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每张人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重要特征．但是该方法稳定性不高，识别效果差．典型的算法有活动轮廓模型[7]和可变形模板模型[8]等．

2.2 基于子空间分析的人脸识别

子空间方法的基本出发点是寻找一个线性或非线性的空间变换，把原始图像数据映射到某个子空间，使数据在该子空间的分布更加紧凑．

Turk等[9]将主分量分析(PCA)方法应用于人脸识别，提出了经典的特征脸方法．该方法把人脸图像看成随机变量，将N×N的人脸图像通过行堆叠的方式转换成一个N×1的向量，减去均值向量后，采用K-L变换获得一组正交基，通过保留部分主分量，得到低维的人脸向量空间．

与PCA不同，线性判别分析(LDA)[10]是以样本的可分性为目标的，其基本思想是寻找一个投影方向，使训练样本投影到该方向时类内离散度最小而类间离散度最大．不过，LDA只有在训练集样本数较多时，性能才优于PCA．

实践表明，人类在识别物体时，主要依靠的是图像的相位谱信息，高阶统计量对图像识别来说非常有用．分量分析(ICA)[11]不但考虑了训练样本的一阶和二阶统计信息，还考虑了高阶统计信息，其基本思想是通过线性变换，从训练样本中找到一组互相的基（分量），并以此来描述样本数据．前面提到的PCA方法实际上是在二阶统计量上的去相关，而ICA则是在所有阶统计量上的去相关，从而使信号的二阶统计量和高阶统计量都得到了有效利用，ICA方法可以看成是PCA方法的泛化，在人脸识别中有广泛的应用．

在基于线性子空间的人脸识别中，实际上是把人脸图像中存在的表情、姿态及光照等复杂的变化进行了线性简化，因此不可能得到人脸充分的描述．而非线性子空间方法则是利用核方法来实现人脸识别．[12][13]该方法的基本思想是，在进行分类等

2

2.3 基于弹性图匹配的人脸识别

弹性图匹配(EGM)的理论基础是图匹配．用图来描述人脸，图的顶点表示人脸的局部特征点，边则表示面部特征之间的拓扑链接关系．匹配测度同时考虑顶点和边之间的距离，是一种考虑到识别目标局部特征点之间拓扑结构的局部特征匹配方法，典型的算法有Lades等[18]提出的利用动态链接结构(DLA)来进行人脸识别的算法：人脸由一组用边链接的节点构成，节点对应于面部特定的特征点，被称为基准点；边由节点间的距离来表示，节点由包含局部灰度分布信息的特征向量表示；人脸图像之间的相似度由所对应的弹性图之间的相似度来衡量．Wiscott等[19]在此基础上进行了改进，对每个节点采用一组图像特征来表示，从而增强了表达能力和适应性。一些后续的研究工作从特征分析、降维、算法比较等方面进一步发展了这种方法．

基于弹性图匹配的人脸识别方法考虑到了人脸的局部细节，保留了人脸的空间分布信息；而且在一定程度上可以忽略人脸从三维到二维投影引起的变形，但是，该方法在提取人脸特征时，本质上是将几个不同频段的信息捆绑成一个单一的向量，所以很难提取人脸的显著特征，且计算量较大．

2.4 基于神经网络的人脸识别

基于神经网络的人脸识别方法就是利用神经网络的学习能力和分类能力对人脸进行特征提取与识别．Lawrence等[20]采用卷积神经网络来进行人脸识别，由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果．Lin等[21]采用正反例样本进行强化学习，从而得到较为理想的概率估计结果，并采用模块化的网络结构加快网络的学习速度，这种方法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用．Meng等[22]先用PCA技术对人脸样本

-15-

聂祥飞：人脸识别综述 要包括：提取光照不变特征、光照变化的建模、光照条件标准化等．提取光照不变特征的基本思想是：提取人脸不随光照变化或至少对光照变化不敏感的特征，包括人脸边缘图、人脸灰度图像的二阶导数、人脸图像的二维Gabor变换等．对于光照变化的建模，其主要思想是在一个合适的子空间中表示光照引起的变化，然后对人脸的特征估计模型参数，如子空间投影法、商图像法、光照锥法和基于球面谐波基图像的方法等．光照条件标准化方法的基本思想是在人脸图像被识别之前消除光照变化的影响，如经典的直方图均衡技术、SFS技术、3D变形技术、对数域离散余弦变换[30]和对数域小波变换[31]等．

进行降维处理，然后利用LDA技术提取判别特征，最后用RBF神经网络分类判决，实验结果表明该方法具有较高的学习效率和识别性能．

神经网络的自学习功能非常强大，尽管对人脸识别的许多规律和规则进行显性的描述非常困难，但是神经网络可以通过反复学习的过程获得对这些规则的隐性表达，因此在提取人脸特征后进行分类识别时具有一定的优势．然而直接采用神经网络提取特征的方法一般需要庞大的输入节点，因此在训练时参数繁多，实现起来比较困难．

2.5 基于隐马尔可夫模型的人脸识别 在人脸识别中，人脸应当作为一个整体来描述，不仅要包括人脸各个器官的数值特征，还应当包括各个器官的不同表象和相互关联．而隐马尔可夫模型(HMM)提供了解决这一问题的方法，按照这种模型，观测到的特征被看成是另一组不可观测“状态”产生的一系列实现．因而可以将不同的人用不同的HMM参数来表征，而同一个人由于姿态和表情变化产生的多个观测序列可以通过同一个HMM模型来表征．

Samaria[23]最早提出了关于人脸的HMM模型，其用一个矩形窗从上到下对人脸图像进行采样，将窗内的像素点排列成向量，用灰度值作为观测向量．Nefian[24]提出利用二维离散余弦变换来提取特征作为观测向量，减少了参数存储量．Othman等[25]提出了低复杂度的2维HMM模型，更好地描述了人脸各个器官之间的关联，具有很高的识别率．基于HMM的人脸识别方法能够允许人脸有表情变化和较大幅度的头部转动，具有较高的识别率，但在提取特征和训练模型参数时需要较大的运算量．

３ 人脸识别的研究热点

目前的正面人脸识别算法主要适用于限定环境、限定类别数量条件下的应用，还远远不能发挥出人脸图像可在自然条件下获取和识别的优点，目前人脸识别的研究热点主要集中在非均匀光照补偿、小样本问题研究等方面．

3.1 人脸非均匀光照补偿

人脸图像在获取过程中存在许多不确定性，如光强、光源方向等．这些不确定因素使得面部图像的灰度深浅不均匀，人脸在局部的对比度差别较大，从而影响识别效果，使人脸识别率大幅度下降．[27]-[29]目前，解决人脸识别中光照问题的方法主

-16-

3.2 人脸小样本问题研究

在人脸识别中，由于人脸样本的维数一般都远远高于训练样本数，所以如果用线性子空间分析、核方法或流形学习等算法来分类判决时，往往会产生所谓的小样本问题．为了解决这个问题，最常用的方法是先使用主分量分析消除训练样本的类内散度矩阵和类间散度矩阵的零空间，从而实现对样本的降维处理，然后再进行分类判决．但是，人脸识别中的小样本问题常会使得PCA等特征提取算法对训练数据出现过配现象并影响识别效果．在人脸识别的核方法中，尽管KPCA比PCA能更有效的描述人脸的复杂变化，但它同PCA方法一样，得到的非线性主分量仍然是以所有样本的最优重建为目标的，所以对于分类也不一定是最优的．KFDA结合了核方法和线性判别分析的思想来提取非线性的判别特征，既有线性判别分析的特点，又能有效描述数据中复杂的非线性关系，因此从理论上来说应该比KPCA更适合于人脸识别问题．但是KFDA本质上是LDA在Hilbert核空间上的扩展，因此LDA方法存在的某些本质问题同样会出现在KFDA中，而且还可能更加突出，其中主要的问题包括奇异性问题、秩问题等．另外，当流形学习算法用于人脸识别时，为了得到较好的效果，在训练中，需要较多的训练样本来描述非线性流形结构．因此，在流形学习算法中，同样需要解决小样本问题．

最近，有学者提出了两维PCA[32]和两维LDA[33]

的概念来解决人脸识别中的小样本问题．其基本原理就是分别在人脸图像的行方向和列方向做一次PCA或LDA变换，在图像的行方向计算PCA（或LDA）变换时，相当于把人脸图像的每一行都当作一个的样本，而在图像的列方向计算PCA（或LDA）变换时，相当于把人脸图像的每一列都当作

重庆三峡学院学报 一个的样本．这样，和传统的PCA相比，等效于在减少样本维数的同时又增加了样本总数，避免了过匹配的问题，并且大大提高了计算效率，但是，在核方法和流形学习算法中如何克服小样本问题仍然需要进一步研究．

A

review[J].

Signal

Processing,

71(2),

1998:109-129.

[9]Turk M A, Pentland A P. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1):71-86.

[10]Lu J, Plataniotis K N, Venetsanopoulos A N. Face recognition using LDA-based algorithms[J]. IEEE

Trans.

on

Neural

Networks,

2003,

14(1):195-200.

[11]Bartlett M S, Movellan J R, Sejnowski T J. Face recognition by independent component analysis[J]. IEEE Trans. on Neural Networks, 2002, 13(6):1450-14.

[12]Vapnik V N（著）， 张学工（译）． 统计学习理论的本质[M]．北京：清华大学出版社， 2004．

[13]Taylor S J, Cristianini N．模式分析的核方法（英文版）[M]．北京：机械工业出版社，2005．

[14]Liu C. Gabor-based kernel PCA with fractional power polynomial models for face recognition[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2004,26(5): 572-581.

[15]Yang J, Frangi A F, Yang J Y, et al.. KPCA plus LDA: A complete kernel Fisher discriminant framework for feature extraction and recognition[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2005,27(2):230-244.

[16]Liu increasing

C.Capitalize techniques

on

dimensionality improving

face

for

[1]Jain A K, Ross A, Prabhakar S. An introduction to biometric recognition[J]. IEEE Trans. on Circuits and Systems for Video Technology, 2004,14(1):4-20.

[2]Prabhakar S, Kittler J, Maltoni D, et al.. Introduction to the special issue on biometrics: Progress and directions[J]. IEEE Trans. on Pattern Analysis

and

Machine

Intelligence,

2007,

29(4):513-516.

[3]http://www.biometricgroup.com/reports/public/market_report.php, 2009.

[4]Yang M H, Kriegman D J, Ahuja N. Detecting faces in images: A survey[J]. IEEE Trans. on Pattern Analysis

and

Machine

Intelligence,

2002,

24(1):34-58.

[5]Kong S G, Heo J, Abidi B R, et al.. Recent advances in visual and infrared face recognition — A

review[J].

Computer

Vision

and

Image

Understanding, 2005,97:103-135.

[6]Zhao W, Chellappa R, Rosenfeld A, et al.. Face recognition: A literature survey[J]. ACM Computing Surveys, 2003: 399-458.

[7]Olstad B, Torp A H. Encoding of a priori information in active contour models[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1996, 18(9): 863-872.

[8]Jain A K, Yu Z. Deformable template models:

４ 结束语

人脸识别在身份认证、电子商务、视频监控、人机交互等领域具有广阔的应用前景，对人脸识别技术的研究具有很高的理论意义和实用价值．尽管人脸识别的研究已经取得了很大的进展，目前人们已经提出了许多的算法，还有不少软件投入了商用，但是，在人类识别人脸的机理尚属未知的前提下，对人脸识别技术的研究还有很长的路要走．

参考文献：

recognition grand challenge performance[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2006, 28(5):725-737.

[17]Yang J, Gao X, Zhang D, et al.. Kernel ICA: An alternative formulation and its application to face recognition[J]. Pattern Recognition, 2005, 38:1784-1787

[18]Lades M, Vorbruggen J C, Buhmann J, et al.. Distortion invariant object recognition in the dynamic link architecture[J]. IEEE Trans. on Computer, 1993, 42(3):300-311.

[19]Wiskott L, Fellous J M, Kruger N, et al.. Face recognition by elastic bunch graph matching[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1997,19(7):775-779.

[20]Lawrence S, Giles C L, Tsoi A C, et al.. Face

-17-

聂祥飞：人脸识别综述 Analysis and Machine Intelligence, 1997,19(7):721-732.

[28]Georghiades A S, Belhumeur P N, Kriegman D J. From few to many: Illumination cone models for face recognition under differing pose and lighting[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2001,23(6): 3-660.

[29]Basri R, Jacobs D W. Lambertian reflectance and linear subspaces[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2003, 25(2): 218-233.

[30]Chen W, Er M J, Wu S. Illumination compensation and normalization for robust face recognition using discrete cosine transform in logarithm domain[J]. IEEE Trans. on Systems, Man, and Cybernetics, Part B: Cybernetics. 2006, 36(2):458-466.

[31]聂祥飞，谭泽富，郭军．应用小波变换的人脸光照补偿[J]．光学精密工程，2008，16(1)：150-155．

[32]Zuo W, Zhang D, Yang J, et al.. BDPCA plus LDA: A novel fast feature extraction technique for face recognition[J]. IEEE Trans. on Systems, Man, and Cybernetics — Part B: Cybernetics, 2006, 36(4): 946-953.

[33]Li M, Yuan B Z. 2D-LDA: A statistical linear discriminant analysis for image matrix[J]. Pattern Recognition Letters, 2005, 26: 527-532.

（责任编辑：余先伦）

recognition: A convolutional neural-network approach[J]. IEEE Trans. on Neural Networks, 1997, 8(1):98-113.

[21]Lin S H, Kung S Y, Lin L J. Face recognition/detection by probabilistic decision based nerual network[J]. IEEE Trans. on Neural Networks, 1997,8(1): 114-132.

[22]Er M J, Wu S, Lu J, et al.. Face recognition with radial basis function (RBF) neural networks[J]. IEEE

Trans.

on

Neural

Networks,

2002,

13(3):697-710.

[23]Samaria F. Face recognition using hidden Markov model[D]. Cambridge, University of Cambridge, 1994.

[24]Nefian A. A hidden Markov model-based approach for face detection and recognition [D]. Georgia, Georgia Institute of Technology, 1999.

[25]Othman H, Aboulnasr T. A separable low complexity 2D HMM with application to face recognition[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2003, 25(10):1229-1238.

[26]Timo A, Abdenour H, Matti P. Face description with local binary patterns: application to face recognition[J]. IEEE Trans. on Pattern Analysis

and

Machine

Intelligence.

2006,

28(12):2037-2041.

[27]Adini Y, Moses Y, Ullman S. Face recognition: The problem of compensation for changes in illumination direction[J]. IEEE Trans. on Pattern

A Review of Face Recognition

NIE Xiang-fei

( School of Physics and Electronic Engineering, Chongqing Three Gorges University, Wanzhou 404000)

Abstract:Face recognition is the most natural, direct, and non-intrusive method among biometrics recognition methods. The research of face recognition has very large theoretical and practical values. In this paper, common algorithms of face recognition are reviewed. In the last, the two main hot points of frontal face recognition research, face illumination compensation and face small sample size (SSS) problem, are discussed.

Key words:face recognition;illumination compensation;small sample size (SSS) problem

-18-