维普资讯 http://www.cqvip.com Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 ２００８，４４（３）８１ 基于样例学习的任意光照下的人脸３Ｄ重建方法 张军，戴 霞 ＺＨＡＮＧ Ｊｕｎ．ＤＡＩ Ｘｉ 西华大学数学与计算机学院，成都６１００３９ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｍａｔｈｅｍａｔｉｃｓ，Ｘｉｈｕａ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｕ ６ １ ００３９，Ｃｈｉｎａ Ｅ—ｍａｉｌ：ｍｅｃｃａ￣＠１６３．ｃｏｍ ＺＨＡＮＧ Ｊｕｎ。ＤＡＩ Ｘｉａ．Ｅｘａｍｐｌｅ—ｂａｓｅｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ｆｏｒ ３Ｄ ｆａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｎｄｅｒ ｖａｒｙｉｎｇ ｌｉｇｈｔｉｎｇ・Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２００８，４４（３）：８１－８４． Ａｂｓｔｒａｃｔ：Ｉｌｌｕｍｉｎａｔｉｏｎ ｃｈａｎｇｉｎｇ ｆｒｏｍ ｐｉｃｔｕｒｅ ｔｏ ｐｉｃｔｕｒｅ ｉｓ ｍａｉｎ ｂａｒｒｉｅｒ ｔｏｗａｒｄ ｆｕｌｌ ａｕｔｏｍａｔｉｃ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ａ ｎｏｖｅｌ ｍｅｔｈｏｄ ｔｏ ｈａｎｄｌｅ ｌｉｇｈｔｉｎｇ ｃｏｎｄｉｔｉｏｎｓ ｉｓ ｐｒｏｐｏｓｅｄ，ｗｈｉｃｈ ｃａｎ ｃｏｎｓｔｒｕｃｔ ａｎ ｉｍａｇｅ ｏｆ ｈｕｍａｎ ｆａｃｅ ｉｎ ｄａｔａｂａｓｅ ｕｎｄｅｒ ａｒｂｉｔｒａｒｙ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｎｄｉｔｉｏｎｓ ａｎｄ ａｌｓｏ ｃａｎ ｒｅｌｉｇｈｔ ｔｈｅ ｐｒｏｂｅ ｉｍａｇｅ ｔｏ ｎｏ ｓｈａｄｏｗ ｉｍａｇｅ ｏｆ ｈｕｍａｎ ｆａｃｅ．Ｗｅ ｃａｒｒｙ ｏｕｔ ｔｈｅ ｍｅｔｈｏｄ ｂｙ ｄｅ— ｃｏｍｐｏｓｉｎｇ ｔｈｅ“ｔｅｘｔｕｒｅ ｉｍａｇｅ’’ａｎｄ ｔｈｅ“３Ｄ ｓｈａｐｅ”ｂａｓｅｄ ｏｎ ｔｈｅ ｐｈＯｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ ｔｅｃｈｎｏｌｏｇｙ．ａｎｄ ｔｈｅｎ ｕｓｉｎｇ ｔｈｅ ｍｏｄｅｌ ｏｆ ｐｏｌｙ— ｈｅｄｒｏｎ ｔｏ ｇｅｔ ３Ｄ ｓｈａｐｅ ｏｆ ｈｕｍａｎ ｆａｃｅ ｂｙ ｌｅａｓｔ—ｓｑｕａｒｅｓ—ｆｉｔｔｉｎｇ．Ｔｈｅ ３Ｄ ｓｈａｐｅ ｃａｎ ｂｅ ｕｓｅｄ ｔｏ ｕｐｄａｔｅ ｔｈｅ ｔｅｘｔｕｒｅ ｔｏ ｃｏｎｑｕｅｒ ｔｈｅ ｉｎｆｌｕｅｎｃｅ ｏｆ ｃａｓｔ ｓｈａｄｏｗ．Ｗｈｅｎ ｔｈｅ ｐｒｏｂｅ ｉｍａｇｅ ｉｓ ｉｎｐｕｔｔｅｄ，ｔｈｅ ｌｉｎｅａｒ ｃｏｍｂｉｎｅ ｏｆ ｎｏｒｍａｌ ｖｅｃｔｏｒ ｆｉｅｌｄ ａｎｄ ｔｅｘｔｕｒｅ ｉｎ ｅｘａｍｐｌｅ— ｄａｔａｂａｓｅ ｃａｎ ｂｅ ｕｓｅｄ ｔｏ ｆｉｔ ｔｈｅ ｐｒｏｂｅ ｉｍａｇｅ ａｎｄ ｔｈｅｎ ｒｅｌｉｇｈｔ ｔｈｅ ｉｍａｇｅ ｏｒ ｒｅｃｏｎｓｔｒｕｃｔ ｔｈｅ ３Ｄ ｓｈａｐｅ ｏｆ ｈｕｍａｎ ｆａｃｅ ｉｎ ｐｒｏｂｅ ｉｍａｇｅ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｉｌ ＹａｌｅＢ ｄａｔａｂａｓｅ ｓｈｏｗ ｔｈａｔ ｔｈｉｓ ｍｅｔｈｏｄ ｃａｎ ｒｅｃｏｎｓｔｕｃｔｒ ｔｈｅ ３Ｄ ｓｈａｐｅ ｏｆ ｈｕｍａｎ ｆａｃｅ ｓｕｒｆａｃｅ ｉｎ ｐｒｏｂｅ ｉｍａｇｅ ｅｆｆｅｃｔｉｖｅｌｙ，ａｎｄ ｓｙｎｔｈｅｓｉｚｅ ｔｈｅ ｐｒｏｂｅ ｈｕｍａｎ ｆａｃｅ ｉｍａｇｅ ｕｎｄｅｒ ａｒｂｉｔｒａｒｙ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｎｄｉｔｉｏｎｓ． Ｋｅｙ ｗｏｒｄｓ：３Ｄ ｆａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ；ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ；ｅｘａｍｐｌｅ—ｂａｓｅｄ；ｍｏｄｅｌ ｏｆ ｐｏｌｙｈｅｄｒｏｎ 摘要：待匹配的人脸图像与数据库中的原型图像之间的光照差异是自动人脸识别的主要瓶颈问题之一。提出了一种基于样例学 习方式的３Ｄ人脸形状重建方法，既可以生成任意光照条件下的数据库中人脸图像，也可以对待识别图像进行重新光照，合成无阴 影的图像。该方法在建立人脸数据库时利用光度立体技术分离人脸图像的纹理和形状信息，并用多面体模型在最小二乘意义下恢 复其３Ｄ信息并更新法向量场以克服阴影误差，从而可以利用计算机图形学的方法合成任意光照务件下和小角度姿态改变时的人 脸图像；在识别时采用数据库中３Ｄ数据的线性组合形式对输入图像建模，以估计其３Ｄ信息，从而可以重新照明。在ＹａｌｅＢ人脸 数据库上的实验表明，在建立３Ｄ人脸数据库后，该方法可以快速恢复输入单幅图像中人脸的３Ｄ信息，并生成任意光照务件的该 人脸图像。 关键词：人脸３Ｄ重建；光度立体技术；基于样例学习；多面体模型 文章编号：１００２—８３３ｌ（２００８）０３—００８１－０４ 文献标识码：Ａ 中图分类号：ＴＰ３９３ １引言 人脸识别技术在安全、金融、法律、人机交互等领域具有广 阔的应用前景，因此得到了研究人员的广泛关注ｌｌ１。从最早Ｂｌｅｄ— ｓｏｅ问”和“线性对象类”思想的方法得到了充分的研究，并取得了 很大的进展。Ｂｅｌｈｕｍｅｕ— 从理论上研究了同一物体在所有光照 条件下成像的图像集合的性质，提出了光照锥（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｎｅ）的概念。Ｇｅｏｒｇｈｉａｄｅｓ［％）￣实践上实现了基于光照锥思想的 提出人脸识别方法以来，人们将注意力主要集中在２Ｄ图 像的识别上，并逐渐形成了若干分支，如人脸检测、人脸３Ｄ重 建、分类识别等１２｝。人脸３Ｄ重建的主要目的之一是排除光照、姿 态和表情等因素对人脸识别方法产生的影响。本文的主要目标 人脸识别方法，并为此构建了著名的ＹａｌｅＢ人脸数据库，其核 心思想是利用７幅光度立体人脸图像产生任意光照和姿态下 是寻找一种排除人脸成像的光照条件对人脸识别影响的方法。 Ｈａｌｌｉｎａｎ 提出了对任意光照条件下人脸曲面的子空间（Ｓｕｂ— ｓｐａｃｅ）表示方法，其主要思想是利用目标人的５幅光度立体图 的人脸图像。Ｂｌａｎｚｍ从“线性对象类”的角度提出了３Ｄ变形模 型的人脸重建方法，利用数据库中原型人脸的３Ｄ激光扫描数 据的线性组合去逼近给定人脸图像，虽然精度很高，但涉及到 一个几百个参数的复杂连续优化问题，迭代优化过程耗费了大 像的线性组合来表示该人的任意光照条件下的人脸图像。 Ｖｅｔｔｅｒ［４１以线性对象类（Ｌｉｎｅａｒ Ｏｂｊｅｃｔ Ｃｌａｓｓｅｓ）的思想用少数具 量计算时间，整个拟合过程在一台Ｐ４ ２ ＧＨｚ处理器的工作站 上大约需要４．５分钟。ＢｒｏｎｓｔｅｉｎｔＳｌ￣出了无需曲面重建的３Ｄ人 脸识别方法，以曲面梯度场信息提取曲面的几何不变特征用于 有代表性的物体的图像线性组合表示目标物体，并以线性变换 的形式产生目标物体在新角度下的观察图像。之后基于“子空 人脸识别。另外，基于球面谐波基图像［９１、基于商图像【 ｏｌ和基于 基金项甘：西华大学青年基金资助项目（Ｎｏ．ＱＯ６２２６ｏ８ ｏ 作者简介：张军（１９７８一），男，讲师，主要研究领域为计算机辅助设计；戴霞（１９７６一），女，讲师，主要研究领域为计算机辅助设汁。 维普资讯 http://www.cqvip.com Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 稀疏特征点变形…等以消除光照影响的人脸３Ｄ重建方法也是 研究的热点。 然而，上述方法一般都需要单个人脸的５幅以上人脸图 ，（ ． ）＝叩（ ， ）’Ｌ。ｎ（ ， ） （３） 三个光源方向线性无关保证了矩阵，Ｊ可逆，则 论上完全 可以从式（３）中得到人脸表面的向量场和纹理信息： １ 像［３，５，６，８－１０】，有些则需要足够多的样本人脸的３Ｄ激光扫描数 据ｌ１．４ｌ ，这在一般人脸数据库建立时部是比较繁琐的，而且太多 叼（ ，Ｙ）＝ｌｌ，Ｊ ｆ ｌ ｌｎ（ ，Ｙ）一— ，Ｊ ｆ （４） 卵【Ｘ，Ｙ Ｊ 图像拍摄时容易出现被拍摄者的轻微姿态改变，需要进行繁琐 的校准工作。同时，目前的方法有的过于复杂，汁算速度缓慢； 有的虽然计算速度很陕，但成像模型简单，无法合成点光源、 Ｐｈｏｎｇ光照模型或带阴影的真实感人脸图像；有的需要依赖待 识别人脸与数据库人脸间具有一定的相似程度才能建模。最 遗憾的是，人脸图像存在附加阴影（Ａｔｔａｔ＇￣ｈｅｄ Ｓｈａｔｔｏｗ）和自 投影（Ｃａｓｔ Ｓｈａｄｏｗ）现象 ，人脸光度立体图像中并不是每一个 像素部满足方程，故文献［１，３，４，６，９，１０１提出的方法部需要更 多的图像来补充阴影产生的信息丢失现象，一般至少需要５幅 图像（有的甚至需要９幅），这是目前光度立体技术的一个巨大 后，所有这些方法一般都需要进行主成份分析（ＰＣＡ），这会使 人脸数据库规模增大时重新计算一个大型矩阵的特征值和特 征向量，这也是目前３Ｄ人脸识别算法都局限于小规模人脸数 据库的原因之－－） 。 本文提出的方法折衷了文献『７】和文献［８】的方法复杂程度， 使用理论上最少图像数目１５１（３幅）光度立体图像进行３Ｄ人脸 数据库的建立，并采用多面体模型从向量场中快速恢复人脸表 面３Ｄ信息，使得３Ｄ人脸数据库的建立代价尽量小。对输入的 待识别人脸图像采用基于样例学习思想进行３Ｄ重建，即以数 据库中已有的人脸向量场场的线性组合表示待识别人脸的图 像，并在最小二乘意义下求解组合系数。由于这一步没有复杂 的计算机３Ｄ曲面成像计算，故可达到快速求解的目的。在得 到待识别人脸的向量场后，再利用多面体模型从向量场中恢复 其３Ｄ信息，并以计算机图形学算法人工合成其任意光照条件 下或小角度姿态改变的人脸图像。本文的最大特色是将最小二 乘逼近与３Ｄ重建分离，使得在最耗时的最小二乘求解时采用 线性模型以追求计算速度快，而相对简单的人工合成人脸图像 时采用非线『生模型以追求真实感，从而在速度和真实感之间找 到了一个合理的平衡点。 ２光度立体技术 Ｐｅｔｅ一斗详细研究了同一人脸在不同光照下的图像组成的集 合的特性并提出了“光照锥”（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｎｅ）的概念，认为 该集合为凸集。 想状况下，该集合可由３幅光源方向线性无 关的图像的线性组合形式表示。实际上，这３幅图像就是“光度 立体图像”——同一物体在不同光源下被一个固定摄像机拍摄 的多幅图像㈣。 ２．１向量场的恢复 假定人脸表面满足朗伯体表面反射模型（漫反射），则图像 中任意一点（ ，Ｙ）的灰度值可表示为： ｌ（ｘ，Ｙ）＝卵（ ，Ｙ）（ｎ（ｘ，Ｙ），ｚ） （１） 其中叼（ ，ｙ）是人脸表面在点（ ，ｙ）的反射率（纹理），ｚ＝（ 、ｆ ） 是光源方向，ｎ（ｘ，ｙｌ）＝（ｎ （ ，Ｙ），ｎ，（ ，Ｙ），ｎｚ（ｘ，Ｙ）） 为点（ ，，）的 单位法向量。 如果已知３幅光度立体图像：，Ｉ，，２，＾及其线ｆ生无关的光源 方向： ｒ ｒ ｒ ｒｌ ｌｉ：（Ｚ ，Ｚ．．，Ｚ．）ｉ＝１，２，３ 记为 缺陷。 本文提出的方法以多面体模型为基础，可以在丢失部分像 素向量场信息的情况下以最小二乘方法求得人脸表面的３Ｄ 信息，然后再以该３Ｄ信息来更新向量场信息，从而可以在保 持光度立体技术最少需要图像的幅数的前提下，保持算法的精 度和稳定性。 ２．２从向 场中重建曲面３Ｄ结构 本文采用了文献［１ １ １提出的基于多面体模型的从明暗恢复 形状方法，将人脸曲面看成是由三角形面片组成的，其中一个 三角形的三个顶点为 ＝（轴， ）、Ｐ。＝（ Ｙ 。）、 ＝（ Ｙ ， ），Ｎｏ、Ｎ。、Ｎ：表示三角形三个顶点的法方ｒ口Ｊ。三角形表面对应 的法方向定义为： Ｎ Ｎ ０Ｎｌ、＋Ｎ ＋Ｎ １｝３ 则三角形三个顶点的深度信息和其表面法方向之问的关系为： ｌＮ ＝（ｙｌ－７＂０）（Ｚ２－。（））一（。ｌ— ０）（７＂２－７＂０） ｛Ｎ、＝（。ｌ—。【１）（ 一 ０）一（ ｌ～ ０）（Ｚ２— 【１） （５） Ｊ ＝（ １一 ０ Ｊ（）＇２－ｙｏ）～（Ｙｌ～， ）（Ｘ２－－Ｘｆ）） 通过式（５）可以看出，这是关于深度信息Ｚ的一个线性方 程组，对多面体中所有的三角形都建立这样的方程组，就形成 了关于多面体各顶点深度信息的线性方程组。 如果图像的分辨率为Ｍ￣Ｎ，则一共有Ｍ￣Ｎ个未知的深度 信息，但有４（ １）（＾ １）个方程，这是一个超定的线ｆ生方程组。 将方程组写成矩阵的形式：ＡＺ＝Ｂ。Ａ为４（ 一１）（Ｎ－１）￣ＭＮ 的矩阵，曰为４（朋Ｌ１）（Ｎ－１）×１的列向量。则方程组可以通过如 下的形式解出最小二乘意义下的解： ：（Ａ，Ａ）一１・（ＡＴＢ） （６） 在建立人脸３Ｄ数据库时，本文利用式（４）可以将人脸３ 幅光度立体图像的表面向量场和纹理分离出来，然后在利用式 ｆ ６）得到人脸表面３Ｄ信息，最后再利用该３Ｄ信息更新人脸的 表面向量场和纹理信息。 ３特征点 配 在所有的人脸识别算法中，特征点匹配部扮演着重要的角 色ｌ¨Ｉ。目前主流的方法为ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｍｏｄｅ１）和ＡＡＭ （Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅ１）１１４１，但都是稀疏的特征点匹配方法。 针对基于样例学习思想的人脸３Ｄ重建一般需要进行最小二 乘拟合，密集的像素点对应是其先决条件，但大多数此领域的 文献都回避了这个问题，假没待识别人脸图像和数据库图像已 经过“预处理”而统一在一个尺度上。本文的研究重心同样不在 特征点的提取和标定上，但提出一种基于参数值对应的自动密 集像素点对应匹配的方法，此方法不需要对图像做预处理而天 然的做到像素点级别的匹配对应。 目前已有众多文献提出了精确标定眼睛位置的方法 Ｉ，本 文假设所有人脸的眼睛和嘴角的位置已经被标定，记为 ， 维普资讯 http://www.cqvip.com 张 军，戴 霞：基于样例学习的任意光照下的人脸３Ｄ重建方法 ， ｉ＝０，１，２，…，ｍ，其中 ０为待识别人脸的４个特征点， 式（１０）已经成为关于组合系数 的线性方程，将参数（ｕ， ）取 遍集合ＵｘＶ，其中 ＝ ｌｕ ＝ ＋ｉＡｕ，ｉ＝１，２，…，ｐ｝， ＝ 方程组： ｌ：Ｂｗ １，２，…，ｍ为数据库中各人脸的４个特征点，分别为两个眼睛 中心和两个嘴角。两幅图像的对应匹配并不要求其分辨率或者 ｏ＋ ｊａｙ，ｊ＝ｌ，２，…，ｇ｝则方程（１０）可形成关于组合系数 线性超定 姿态一致，所有匹配对应都在参数平面（“， ）上进行。即： ＿＿ ｝（“， ）ＨＰ （“ ， ）ｏｎｌｙ ｉｆ“＝“ ， Ｐ （“， ）＝“（ ＋（１一 ） ）＋（１一“）（ ＋（１一 ） ） “， ∈Ｒ ｉ＝１，２，…，ｍ√＝１，２，…，ｍ （７） Ｉ＝ 之所以选择４个特征点为两个眼睛中心和两个嘴角，是因 为对绝大多数人脸图像，这４个点所包围的区域受阴影影响比 较少，利于计算。图１给出的是实际最小二乘逼近时的待识别 １ １ 人脸图像（图１（ａ））和由数据库向量场线性组合出的合成人脸 图像（图１（ｂ））问参与计算的像素点分布示意图。其中最小二 乘拟合时“． 从０以０．１为精度取到１，人工合成图像时精度 提高至０ ０．Ｏｌ，“， ∈［＿Ｏ／，ＪＢ］， ＝０．５，／３＝１．５。 一■ 。 。 ；广＂ ， （ａ）待识别图像 （ｂ）人工合成图像 。 图１待识别图像 ４基于样例学习的人脸３Ｄ重建方法 肚 ≤＝＝ 。≤＝ ＝ 一＂。 本章讨论的主要问题是在给定一幅待识别的人脸图像时，Ｍ 如何排除其光照影响合成标准光照条件下的图像。进一步，如 何恢复给定人脸图像的３Ｄ信息。一般基于样例学习的方法都 ：≤＝： ： 是利用数据库中已有信息的线性组合来逼近给定图像的灰度 ： ｍ 值信息，本文提出的方法也隶属于这样的理论框架体系。 人脸识别的主要目的是判定给定人脸图像是否是数据库 已有人脸中的某一个，所以如果给定人脸图像是数据库中的已 知人脸，则一定能由数据中的信息表示。 设待识别人脸图像为／ｏ（ｘ，Ｙ），已事先标定了四个特征点： ｔＪ ， ， ， Ｒ一；已由本文第２章所述方法建立了３Ｄ人脸 数据库，含有ｍ个人脸的三维信息：高度信息ｚ（ ，Ｙ）、向量场 信息 （ ，ｙ）， （ ，Ｙ）， （ ，Ｙ）、纹理信息 （ ，ｙ）以及事先标 定了的特征点信息 ， ， ， Ｒ ，ｉ＝１，２，…，ｍ。 ４．１最ｐ１￣２２乘逼近 针对人脸识别的特殊目的，可以用如下方程来表示任意一 给定人脸图像： ，。（ 。， ）：∑ ‘（ ‘， ）（ ・ （ ‘， ） ＋ ・＾（（ ，， ）ｚ、＋ ｉ＝１ ・ （ ， ‘）１） （）其中：ｚ＝（ ，ｚ ｆ＝）为给定图像的光，。源方向８ ， ．为组合系数。式（８）已经使用了参数化匹配对应，即： ／ ）＼ ＝“（ 尸＝． ｌ＋（１ ） ）． ＋（１－ｕ）（ ＋（１ ） ）ｉ＝０，１，…，ｍ（９） ， 。由于ｚ＝（ ，ｚ ， ）是未知的，对方程（８）做一下变形，令 ＝ ＾ ＝ ｌｆｌ ＇＝ 正，则方程（８）重新写成： ，。（ 。，ｙＯ）：∑Ｔｉ（ ‘，埘 （ ‘， ） （ ‘， ）＋ （１０） ，，， Ｉ１ Ⅳ＝。 Ｉ ｌ； ｌＴ…１ Ｎ ＩＰｑ Ⅳ ｜ ｑ Ｊｐｑｘ３ｍ 『 ｗ，＝（ １１ Ｗ１２ Ｗ１３ Ｗ２Ｉ Ｗ２２ ２３ ＿ ‘ ｍ３ ） １ 在最小二乘意义下可求得组合系数： ｗ＝Ｂｑ （１２） 理论上，如果给定图像为数据库中已有Ｚ．Ｎ的图像，则应有： ， 』： 献 耕蝴 ） 输入图像的光照信息可以也是可以求得的： Ｌ （Ｗｎ Ｗ ＷＤ ） ｌｌ（Ｗ ｌ Ｗ＆ Ｗ ３ ）ｌ ｌ４．２基于样例学习的人脸３Ｄ重建方法 理论上能通过式（１ ２）得到的组合系数识别给定人脸图像， 但实际计算中图像不可避免的存在误差，所建立的３Ｄ人脸数 据库本身也存在误差，故无法做到严格的满足式（１ ３），故采取 迭代更新的方式逐渐逼近原图像。 （１）理论上有 一【ｌ（Ｗ 。 Ｗ Ｗ。 ）ｌ ｌｉ＝１，２，…，ｍ，则胙 （ 。， ，…， ）可以看成是初始３Ｄ人脸数据库中各个人脸 信息在输入图像中所占的权重，可初步估计出输入人脸的表面 向量场信息和纹理信息： Ｊ：∑Ｗｉ＂ ：∑Ｗｉ＂＾（ ｛ （１４） 『ｌ ：∑ ｉ＝１ ０：∑Ｗｉｉ＝１ ＂Ｔ‘ （２）在得到输入人脸的初始向量场和纹理信息后，通过方 程（１５）可以估计其成像是光源方向： ，。（ 。）＝ 。（ 。， ）（ （ 。） ＋ （ 。， ， ， ） ＋ （ 。，ｙＯ）ｆ＝） （１５） 式（１５）中令参数（“， ）取遍集合ＵｘＶ，则形成对光源方向１： （ ，ｚ ）的线性方程组，可在最小二乘意义下求解。 （３）估计出的光源方向又可以用式（８）来更新组合系数，即： ，。（ 。， ）＝∑Ｔｉ（ ， ）（ （ ， ）ｉｘ＋ ＾（（ ‘， ）２ ＋ ． （ ‘， ）１） 上式中令参数（“， ）取遍集合ＵｘＶ，则形成对组合系数 ： （ ，， ，…， ）的线性方程组，可在最小二乘意义下求解。 实验表明，如果输入图像是数据库中的人脸，则Ａ～Ｃ过程 的若干次循环可以取得较为满意的逼近结果。 最后，利用２．２节中的方法，即式（６），可从Ａ～Ｃ循环中得 维普资讯 http://www.cqvip.com
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 到向量场中恢复出输入人脸图像的３Ｄ信息，从而可绘制任意 光照条件和小角度姿态变化下的输入人脸图像，以便于２Ｄ人 脸识别算法加以识别。 ５实验结果 本文选择公开的人脸数据库ｙａｌｅＢ￣作为实验数据，该数据 库包含了ｌ０个人的不同光照条件下和不同姿态下的图像。数 据库中每个人在同一姿态下各有６４种光照条件下的成像图 像，每种姿态的图像总量为６４０张，占用１１３ Ｍ的存储空间。 将这ｌ０个人的正面６４０张图像作为研究对象，每个人选 一 ＇’ 图３光照条件为（３５。，４０。）的Ｂ０８号人脸输入图像 及最小二乘逼近重建Ｉ冬ｌ像 以刻画： ３张组成ｌ０组光度立体图像建立３Ｄ样例人脸数据库。所有实 验均在３．０ ＧＨｚ ＣＰＵ、１ Ｇ内存的计算机平台，Ｍａｔｌａｂ７．０编程 环境下进行。建立一个人的３Ｄ数据平均花费５ ｓ以内；对输入 图像以参数集选取Ａｕ＝Ａｖ＝０．０１的间隔精度的３Ｄ建模平均花 费１秒以内；参数集选取的间隔精度的３Ｄ建模平均花费２７ Ｓ 以内（时问消耗与输入图像的分辨率无关，只与匹配对应时的 参数集选取相关；建立的ｌ０人３Ｄ人脸数据库中向量场加上 纹理信息共占用１．２６ Ｍ的存储空间。需要说明是，本文在做实 验时并没有对Ｍａｔｌａｂ程序做任何优化，所以给出的计算时间 应为同样平台下较差的计算速度。 对ＹａｌｅＢ的ｌ０个人脸进行３Ｄ建模以得到一个样例３Ｄ 人脸数据库。图像中以纹理图像的非脸部区域置成黑色的手段 达到了合成图像的自动“裁边”目的。 为了在有限的篇幅里给出尽可能多的实验结果，对每个人 都给了不同的光照条件和不同的姿态，以全面显示本文方法的 实验表现。图２中第一排为原数据图像；第二排为重建的３Ｄ 结构；第三排为计算出的纹理图像；第四排为合成的在不同光 照下的图像；第五排为合成的在小角度姿态改变下的图像。图 ２中可以看到，提出的方法能提取出给定光度立体图像的人脸 ３Ｄ结构和纹理信息，进而能合成任意光照条件下或小角度姿 态改变条件下的人脸图像。其中Ｂ０２号和Ｂ０４号人脸的恢复 效果比较“扁平”，这是原光度立体图像在两侧（特别是耳朵附 近）有太多阴影造成的，今后将改进算法以克服这样的缺点。 图２样例３Ｄ人脸库 在对输入人脸图像３Ｄ重建时，最小二乘拟合步骤式 （１０）中从０以０．１为精度取到１，人工合成图像步骤式（１５）中 精度提高到０．０１， ＝０．５， １．５。图３中点状区域为以参数对应 匹配的像素点，误差统计为所有人工合成图像与原图像间参与 匹配点的误差。 从图３中可以看到，逼近图像与原图像非常相似，但原图 像上的阴影区域并没有在逼近图像上出现，原因是最小二乘逼 近是用的是朗伯体表面反射模型，其线性关系无法形成阴影。 为了比较逼近图像与原图像间的误差，将所有参与计算的像素 点间的准确率以如下公式进行计算，并以频率直方图的形式加 Ｉ ） 原图像中由于存在阴影，故一些像素灰度级非常接近０， 使得相对准确率大于１，故图４中给出了绝对误差的频率直方 图以全面显示逼近误差。 ９００ ８００ ７００ ６ｏ０ ５ｏ０ ４００ ３ｏ０ ２ｏ０ Ｉｏ０ ０ ０．１ ０．２ ０．３ ０．４ ０．５ ０．６ ０７ ０．８ ０．９ １ ０ 一 ０ ５０ １Ｏ０ １５０ ２００ ２５０ （ａ）准确程度的频率直方图 （ｂ）绝对误差频率直方图 冈４准确程度和绝对误差频率直方图 平均准确率为：７３．５５％，平均绝对误差为１ ９．７个灰度级。 初始组合系数为： ＝（０．２６４ ６，０．１３９ ３，０．２６１ １，０．２１４ ５，０．２０１ ５，０．０７５ ５， ０．２９７ １，０．１５４ ６，０．８４０ ８，０．１００ ５） 利用上述组合系数，采用４．２节所述的过程得到计算结果为： 真实光源为偏角３５。、仰角４０。，对应的单位向量为（一０．４３９ ４— ０．６４２ ８ ０．６２７ ５）；迭代３次后共耗时３５．２６６ ｓ，估计的光源 的单位向量为：（一０．４９６ ７—０．６２２ １ ０．６０５ ２）。误差ｅｒｒｏｒ＝ ｌｌ ｌｌＬ为６． ４９％ 。组合权系数为：ＩＩ ＩＩ ｌ ｌｎ ｌ ｌ＝（０．１８６ １，一０．０６９ ４，一０．１３５ ２，０．０４１ ４，０．１３４ ３， 一０．Ｏ１５ ７，０．２９６ ２，一０．０２３ ８，０．５０４ ６，０．０６８ ４） 合成的标准正面光源图像如图５所示。 图５囵 合成的标准正面光照图像 需要特别说明的是，本文方法并不是对每个人的６４幅光 照图像都能达到图５这样的效果。对一些极端偏离视轴的光源 方向的图像，由于丢失了绝大多数人脸部像素信息，本文方法 并不能达到满意的效果。 时，由于计算时需要对【 像灰度级 做归—化处理，故灰度值均衡化并不会对计算结果有明显的改进。 ６结论 针对人脸识别中的光照问题，本文提出了一种基于样例学 习的任意光照下３Ｄ人脸重建方法。第１步，采用３幅光度立 体图像建立人脸表面向量场，并借助多面体模型从人脸表面向 （下转８７页） 维普资讯 http://www.cqvip.com 徐皓：一种基于模糊神经系统的图像去噪方法 ２００８，４４（３）８７ 保留了细节。对图３（ｃ）和图３（ｄ）的数据分别用量化指标ＭＳＥ （ｍｅａｎ—ｓｑｕａｒｅｄ ｅｒｒｏｒ）来衡量．１（）ｌ： ＭＳＥ＝— ｉｖ／ Ｖ…１＝１ ｒ５结论 根据模糊神经系统的原理，设计并训练一个模糊推理系 （ｒ【ｍ，ｎ卜ｆｌｍ，ｎ】） （９） 统。规则的输入和输出隶属度函数参数由ＡＮＦＩＳ系统训练。训 练数据集由程序在计算机中自动生成，如此生成的数据是理想 数据，使训练结果更趋近理想情况。模糊神经系统可以应用于 表示去噪后的图像，ｔ表示未加噪声的目标图像。每个图像由 ＭｘＮ的矩阵表示。由于噪声是随机过程，在相同的实验条件 下，可能产生不同的结果。为使实验数据更准确，重复步骤（１）～ （６），共做６次实验，每次分别计算两种方法的ＭＳＥ值，求出６ 次ＭＳＥ的平均值。实验数据如表１所示。ＷＥＮＥＲ２方法的 图像去噪问题，在提高噪声抑制能力的同时减少了去噪对图像 造成的模糊与失真。在合理地选择隶属度函数、规则和训练数 据的前提下，与其它滤波方法相结合，会产生明显的增强效果。 （收稿日期：２００７年８月） ＭＳＥ为４４，ＮＦ方法的ＭＳＥ是２２。说明本方法确实能够提高高 斯噪声滤波器的滤波性能，降低图像的模糊程度。 表１两种斤法的ＭＳＥ值 参考文献： ［１］冈萨雷斯．数字图像处理［Ｍ］．２版一Ｅ京：电子工业出版社，２００６． ［２］飞思科技产品研发中心．ＭＡＴＬＡＢ ６．５辅助图像处理［Ｍ］．北京：电子 工业出版社，２００３． ｆ３］Ｒｕｓｓｏ Ｆ．Ｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｍｏｄｅｌ—ｂａｓｅｄ ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ［Ｊ］．Ｅｕｒａｓｉｐ Ｊｏｕｒｎａｌ ｏｎ Ａｐｐｌｉｅｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００４，１２：１８６１—１８６９． ｆ４］Ｙｆｉｋｓｅｌ Ｍ Ｅ．Ａ ｓｉｍｐｌｅ ｎｅｕｒｏ—ｆｕｚｚｙ ｍｅｔｈｏｄ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｔｈｅ ｐｅｒ— ｏｒｆｕｌａｎｃｅｓ ｏｆ ｉｍｐｕｌｓｅ ｎｏｉｓｅ ｆｉｌｔｅｒｓ ｆｂｒ ｄｉｇｉｔａｌ ｉｍａｇｅｓ［Ｊ］．Ｉｎｔ Ｊ Ｅｌｅｃ— ｔｒｏｎ Ｃｏｍｍｕｎ，２００５，５９：４６３—４７２． ［５］尹朝庆，尹浩．人工智能与专家系统ＩＭ］．北京：中国水利水电出版社，２００２． ［６］Ｓｕｇｅｎｏ Ｍ，Ｋａｎｇ Ｇ．Ｓｔｒｕｃｔｕｒｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｆｕｚｚｙ ｍｏｄｅｌ［Ｊ１．Ｆｕｚｚｙ ｓｅｔ ａｎｄ Ｓｙｓｔｅｍｓ，１９８８：２８—１５． ■■■■ （ａ）原始图像 （ｂ）噪声图像 （ｃ）滤波器滤 （ｄ）用本方法 波的图像 增强后的图像 【刳３实验图像 ｆ７］ＡＮＦＩＳ：Ａｄａｐｔｉｖｅ—Ｎｅｔｗｏｒｋ—Ｂａｓｅｄ—Ｆｕｚｚｙ ｉｎｆｅｒｅｎｃｅ ｓｙｓｔｅｍ［Ｊ１＿ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｓｙｓｔｅｍｓ，Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ，１ ９９３，２３：６６５—６７ １． ［８１ Ｉｏａｎｎｉｓ Ｋ Ｖ，Ｓｅｒｇｉａｄｉｓ Ｇ Ｄ．Ｐａｒａｍｅｔｒｉｃ ｉｎｄｉｃｅｓ ｏｆ ｆｕｚｚｉｎｅｓｓ ｆｏｒ ａｕ— ｔｏｍａｔｅｄ ｉｍａｇｅ ｅｎｈａｎｃｅｎ１ｅｎｔ【Ｊ］ Ｆｕｚｚｙ Ｓｅｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，２００６，１５７： ｌ１２６一ｌｌ３８． ［９］Ｉｍａｇｅ Ｄａｔａｂａｓｅｓ【ＤＢ／０ Ｌ１．ｈｔｔｐ：／／ｗ￣．ｐｒｅｎｈａｌ１．ｃｏｍ／ｇｏｎｚａｌｅｚｗｏｏｄｓ． ［１０］Ｐｅｔｒｏｕ Ｍ．数字图象处理疑难解析［Ｍ］ Ｅ京：机械工业出版社，２００５． ａｄｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｃｅｎｅｅ，１９９７，１９（７）：７３３—７４２． （上接８４页） 量场中恢复其３Ｄ结构，得到一个３Ｄ人脸重建的样例数据库； 第２步，对输入的待识别人脸图像，在经过参数匹配对应后采 用样例数据库中人脸向量场线性组合的形式拟合输入图像的 灰度级，并通过若干次从组合系数到光照方向再到组合系数的 循环更新来提高拟合精度；第３步，利用所得输入图像的人脸 ３Ｄ模型，以计算机图形学方法生成其任意光照条件下和小角 度姿态改变时的人脸图像以供２Ｄ人脸识别算法进行识别。在 ＹａｌｅＢ光照人脸数据库上的实验表明，该方法能快速恢复输入 图像中人脸的３Ｄ结构，并不需要对样例数据库或输入图像进 行预处理校准，仅需４个特征点标定即可完成密集像素点对应 匹配。 『５１ Ｂｅｌｈｕｍｅｕｒ Ｐ Ｎ，ｋｒｉｅｇｍａｎ Ｄ Ｊ．Ｗｈａｔ ｉｓ ｔｈｅ ｓｅｔ ｏｆ ｉｍａｇｅｓ ｏｆ ａｎ ｏｂｊｅｃｔ ｕｎｄｅｒ ａｌｌ ｐｏｓｓｉｂｌｅ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｎｄｉｔｉｏｎｓ？ｌＪ１．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８，２８（３）：１—１６． ｆ６１ Ｇｅｏｒｇｈｉａｄｅｓ Ａ Ｓ，Ｂｅｌｈｕｍｅｕｒ Ｐ Ｎ，Ｋｆｉｅｇｍａｎ Ｄ Ｊ．Ｆｒｏｍ ｆｅｗ ｔｏ ｍａｎｙ：ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｎｅ ｍｏｄｅｌｓ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｎｄｅｒ ｖａｒｉａｂｌｅ ｌｉｇｈｔｉｎｇ ａｎｄ ｐｏｓｅ『ＪＪ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａ— ｃｈｉｎｅ Ｉｎｔｅｌｌｉｃｅｎｃｅ，２００１，２３（６）：６４３—６６０． 『７１ Ｂｌａｎｚ Ｖ，Ｖｅｔｔｅｒ Ｔ．Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｉｔｔｉｎｇ ａ ３Ｄ ｍｏｒ— ｐｈａｂｌｅ ｍｏｄｅｌ『Ｊ１．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａ— ｃｈｉｎｅ Ｉｎｔｅｌｌｉｃｅｎｃｅ，２００３，２５（８）：１０６３—１０７４． 『８１ Ｂｒｏｎｓｔｅｉｎ Ａ Ｍ，Ｂｒｏｎｓｔｅｉｎ Ｍ Ｍ，Ｋｉｍｍｅｌ Ｒ，ｅｔ ａ１．３Ｄ ｆａｃｅ ｒｅｃｏｇｎｉ— ｔｉｏｎ ｗｉｔｈｏｕｔ ｆａｃｉａｌ ｓｕｒｆａｃｅ ｒｅｃｏｎｓｔｕｃｔｒｉｏｎｌＲ］ ｅｃｈｎｉｏｎ—Ｃｏｍｐｕｔｅｒ Ｓｃｉ— ｅｎｃｅ Ｄｅｐａｒｔｍｅｎｔ，２００３． 虽然与更为完备的３Ｄ变形模型相比，本文仅能恢复人脸 正面的３Ｄ结构，且精度有限，但作为针对“人脸识别”的重建 方法，由于采用了拟合和重建分离的策略，从而在计算速度和 合成图像真实感之问找到了一个合理的平衡点。 （收稿日期：２００７年７月） ［９］卿来云，山世光，陈熙霖，等．基于球面谐波基图像的任意光照下的 人脸识别『Ｊ１＿计算机学报，２００６，２９（５）：７６０—７６８． ［１０１ Ｙｕａｎ—ｋｕｉ Ｈ，Ｚｅｎｇ—ｆｕ Ｗ．Ａ Ｌｏｗ—ｄｉｍｅｎｓｉｏｎａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｓｐａｃｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｈｕｍａｎ Ｆａｃｅｓ ｆｏｒ Ａｒｂｉｔｒａｒｙ Ｌｉｇｈｔｉｎｇ Ｃｏｎｄｉｔｉｏｎｓ［Ｊ］． Ａｃｔａ Ａｕｔｏｍａｔｉｃａ Ｓｉｎｉｃａ，２００７．３３（１）：９—１４． 参考文献： ［１］柴秀娟，山世光，卿来云，等．基于３Ｄ人脸重建的光照、姿态不变人 脸识别ｌＪ１．软件学报，２００６，１７（３）：５２５—５３４ ［２］Ｓｃｈｅｅｎｓ￣ａ Ａ，Ｒｕｉｆｒｏｋ Ａ，Ｖｅｈｋａｍｐ Ｒ Ｃ．Ａ ｓｕｒｖｅｖ ｏｆ ３Ｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄｓ［Ｊ］．ＬＮＣＳ３５４６：ＡＶＢＰＡ ２００５：８９ １—８９９． ［３１ ＨＭｌｉｎａｎ Ｐ Ｗ．Ａ ｌｏｗ—ｄｉｍｅｎｓｉｏｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｈｕｍａｎ ｆａｃｅｓ ｏｒ ａｒｆｂｉｔｒａＬ＇ｙ ｌｉｇｈｔｉｎｇ ｃ０ｎｄｉｔｉｏｎｓ［Ｃ】，／Ｓｅａｔｔｋ ＵＳＡ：ＩＥＥＥ，１ ９９４． ［１ １］张军，彭国华，秦洪元，等．一种基于多面体模型的从明暗恢复物体 形状方法ｌＪ１．计算机工程与应用，２００４，４０（２０）：８０—８３． ［１２］Ｆｏｌｅｙ Ｊ Ｄ，ｖａｎ Ｄａｍ Ａ，Ｆｅｉｎｅｒ Ｓ Ｋ，ｅｔ ａｌ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ：ｐｒｉｎ— ｃｉｐｌｅｓ ａｎｄ ｐｒａｃｔｉｃｅ［Ｍ］．２ｎｄ ｅｄ．ＩＳ １．］：Ａｄｄｉｓｏｎ—Ｗｅｓｌｅｙ，１ ９９６． ［１３］Ｓｔｅｇｍａｎｎ Ｍ Ｂ．Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ：Ｔｈｅｏｒｙ，ｅｘｔｅｎｓｉｏｎｓ＆ ｃａｓｅｓ［Ｍ］．２ｎｄ ｅｄ．１ＭＭ Ｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｄｅｎｍａｒｋ．２０００． ［１４］柴秀娟，山世光，高文，等．基于样例学习的面部特征自动标定算法ｌＪｌ＿ 软件学报，２００５，１６（５）：７１８－７２６． ［１５］耿新，周志华，陈世福．基于混合投影函数的眼睛定位ｌＪｌ＿软件学 报，２００３，１４（８）：１ ３９４—１４００． ［４］Ｖｅｔｔｅｒ Ｔ，Ｐｏｇｇｉｏ Ｔ．Ｌｉｎｅａｒ ｏｂｊｅｃｔ ｃｌａｓｓｅｓ ａｎｄ ｉｍａｇｅ ｓｙｎｔｈｅｓｉｓ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｅｘａｍｐｌｅ ｉｍａｇｅ［Ｊ］ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ
