AAM
摘要
我们描述匹配的图像的外观的统计模型的一种新的方法。一个模型参数集控制形状模型和从一个训练集学习到的灰度变化模型。我们通过模型参数中的扰动及由此导致的图像错误之间的关系，提出一个高效的迭代匹配算法。
索引词——表观模型，可变模板，模板匹配 1 介绍
“合成翻译”方法在过去的几年里受到相当大的关注【3,6,11,14】，目的是为了通过外观参数模型生成尽可能相似的合成图像来解释新图像。一个目的是利用该模型实现鲁棒分割，能够解决图像模拟类的有效例证。一个合适的模型根据一个参数的紧凑集合（对高水平的场景解释是有用的），通过编码一个给定图像的外观，提供一个广泛应用的基础。
逼真图像的外观建模的合适方法以前就已经描述过，如：Edwards et al. [3]，Jones and Poggio [9]或 Vetter [14]。当应用于复杂可变的物体图像时（如：人脸），这些模型通常需要大量的参数（50-100个）。为了达到解释新图片的目的，需要在模型和图像之间找到最好的匹配。用标准的方法在这个高维空间里直接优化是可能的，但是很慢且容易陷入局部最小的困境。
以前我们已经展示过用统计外观模型匹配一幅图像时需要两步：首先用ASM去匹配一幅图像的边界特征，然后用一个单独的特征脸模型在一个标准形状框架里重建纹理（在图像意义里）。然而，这种方法不能保证达到从外观模型到一幅图像上的最佳匹配，因为在形状模型匹配里，一些小错误就可能导致一个标准形状纹理图用特征脸模型是不可重建的。
在本文里，我们展示了一个直接优化的有效方法，它同时匹配形状和纹理，从而产生一个快速、精确且有鲁棒性的算法。在我们的方法中，我们每次不尝试去解决直接优化问题，而是希望使模型适用于新图像。相反,我们利用了该优化问题每次都是相似的事实，能学习到这些脱机相似点。这使我们能够快速找到快速收敛的方向，即使搜索空间是高维的。这个方法与“不同分解”跟踪算法（[7]，
[8]，[13]）类似，但不同于跟踪一个单一变形物体，我们匹配一个符合该对象整个类的模型。
2 背景
几位作者描述了将形状和外观的变形模型匹配新图像的方法。Nastar等人【12】描述了使用了形状模型和强度景观的3D变形模型的强度变化。他们使用最接近点表面匹配算法进行拟合，这对初始化往往很敏感。Lanitis等人【11】和Edwards等人【3】使用边界查找算法（“主动形状模型”）来找到最佳形状，然后使用这个形状来匹配图像纹理模型。Poggio等人【6】【9】使用了一个光流算法来迭代地匹配形状和纹理模型。Vetter【14】采用一种通用的优化方法将真实的人脸模型与图像匹配。最后两种方法比较慢因为问题的高维性及测试模型拟合图像的质量的代价。
快速模型匹配算法在跟踪领域中已经得到了发展。Gleicher【7】描述了一个通过允许在各种转换（仿射、投影等）下变形的单一模板跟踪对象的方法。他选择尽量减少平方特征总数的参数并且基本上预先计算关于转换参数的不同向量衍生物。Hager和Belhumeur【8】描述了一个类似的方法，但是包括健壮内核和光照变化的模型。Sclaroff和Isidoro【13】扩展了跟踪变形对象的方法，使用目标有限元模型的低能量模式来建模变形。该方法已用于利用刚性圆柱模型跟踪头部【10】。
下面所述的主动表观模型是这种方法【4】【1】的扩展。比起跟踪一个特定的对象，我们的表观模型可以匹配任何一类变形的对象（例如，具有任何表情的任何人脸，而不是一个人脸的一个特定的表情）。为了迅速地匹配，我们预先计算模型与目标图像之间匹配的剩余衍生物，并用它们来计算在迭代匹配算法中更新步骤。为了使算法对整体强度不敏感，残差在一个规范化的参照系中计算。 3 表观模型
根据Edwards【3】等人的方法，我们的统计表观模型是通过将形状变化模型与纹理变化模型结合产生的。为了建立一个模型，通过“纹理”，我们指的是整个图像补丁的强度或颜色的模式。我们需要已注释图像的一个训练集，这里要求每个例子中对应点已标记。例如，为了建立一个人脸模型，我们需要标记了主
要特征点的人脸图像（图1）。我们采用Procrustes分析对齐点集（每个表示为一个矢量，x）并且建立一个统计形状模型【2】。然后，我们扭转每个训练图像，所以那些点就可以匹配平均形状，获得“自由形状补丁”（图1）。这是光栅扫描到一个纹理向量g，它通过线性变换来标准化，向量，和是g元素的均值和方差。标准化后，为
，其中1是一个
。特征分析
法是用于建立纹理模型。最后，形状和纹理之间的相关性会产生一个组合表观模型（详见【3】）。
图1标记的训练图像给出一种形状的免费补丁和一组点集
外观模型有参数c，控制形状和纹理（在模型框架中），根据
+
其中是平均形状，是一个平均形状的补丁的平均质地，Qs，Qg是描述训练集所得的变异模式的矩阵。
可以生成形状的图像帧，X，通过一个合适的转换点生成，x:X=St(x)。通常S(x)将是一个通过缩放描述的相似变换，s是平面旋转，和翻译函数（tx,ty）。对于现行排列和旋转能够用 (sx,sy)代表，其中Sx=(s*cos-1 ),Sy=s*sin ,动作参数矢量t=(sx,sy,tx,ty)T,对于恒等变换是0之后，并且
在图像帧的纹理是应用缩放和偏移的强度生成的，
gim
Tu(g)(u11)gu2，其中u是转变参数的矢量，定义了u=0时的一致转移
im和
一个完整的重建是通过产生平均形状补丁的纹理给予的，然后弯曲它以致模
型点位于图像点上，X。在下面描述的试验中，我们采用了基于三角插值的方法来定义一个连续映射。
在实践中，我们构造了一个基于高斯图像金字塔的多分辨率模型。这使得多分辨率匹配方法，从而提高速度和健壮性。对于每个金字塔的水平，我们建立了一个单独的纹理模型，抽样大量的的像素与图像中的目标区域的面积（像素）成正比。因此，在模型的第1层的像素是第0层的四分之一。为简单起见，我们在相同形状模型的各个层次使用同一组地标。虽然严格点的数量应减少在较低的分辨率，任何模糊的细节被纹理模型考虑到。在给定级别的外观模型，然后计算全局形状模型和该级别的特别纹理模型。 3.1 面外观模型
我们使用上面介绍的方法来建立一个面部外观模型。我们使用包含400张面孔的训练集，在68点左右的主要特点（图1）贴标签，并取样面部区域大约10,000的强度值。由此，我们产生一个外观模型，这需要55个参数来解释所观察到的变化的95％。图2显示了不同的C的前四个参数的影响，显示了身份、姿势和表情的变化，注意形状和强度变化之间的关联。 4 主动外观模型搜寻
我们现在讨论本文的核心问题：我们有一个新的形象来解释，一个如上所述的完整的外观模型和一个粗略初始的位置估计，方向和在模型中的比例应该被放置在一个图像中。我们需要一个有效的计划来调整模型参数，以便产生一种人工合成的例子，尽可能紧密的匹配图像。 4.1 建模的图像残差
外观模型参数c和形状转换参数t，定义了模型的位置在图像帧中的作用，x，它给出了被模型代表的图像修补的形状。在匹配过程中，我们采样图像在这个区域的像素gim和设计纹理模型框架，gs = Tu-1 =+
。当前模型纹理通过
给出。当前模型和图像（标准化的纹理帧的衡量）之间的差
5、用于面部的主动表观模型
我们运用了活跃的外观模型的训练算法 在第3.1节介绍面模型。
图2 不同的前四个面部模型参数的影响，C1—C4偏离平均标准差+-3
图5 用人脸模型对便宜的位置进行多分辨率搜索
该算法最小化误差向量的纹理,妥协的形状,导致全面改善纹理匹配。 图6显示平均每个像素强度误差(一个图像使用256 gray-levels反对这个
数量的迭代、平均通过一组搜寻一个决议。这个模型最初是被定义为5%的脸的宽度。虚线给出的平均重建错误使用显着的标志点，通过搜索获得了良好的效果。
图7显示了100多分辨率搜索的比例，它通过在x和Y增加到50像素（人
脸25%）给出的不同的初始位置正确地融合到一起。在最多20个像素（ 10 ％脸宽）初始位移时，该模型显示了良好的效果 7讨论与结论
我们已经证明一个迭代方案,统计外观模型匹配的新图像，该方法利用相关
性的错误学习模型参数和由此产生的残余纹理错误。给出一个合理的起始位置,
搜索收敛迅速可靠。该方法对可以充分利用上述的统计分析外观模型的任何类的对象定位的例子是有非常价值的。这包括对象具有形状和纹理的变化对应可以定义不同的例子。例如，该方法不能用于树等有很多不同分支的结构但可以用于有形状的变化但不是改变布局的各种机构。我们已经测试了该方法广泛的形象与医学图像的脸,[1],[5],并在其它领域取得了令人鼓舞的结果。虽然AAM搜索的速度比主动形状模型搜索较慢，过程往往要仅比ASM搜索更强大，因为所有的图像证据使用。
该算法已被形容为灰度图像，被延伸到彩色图像仅仅通过抽样每种颜色在每
个采样点(例如,三个值每个像素的一个RGB图像)。搜索算法的性质，也使得它适合在图像序列，它可以显示给健壮的结果[5]的跟踪对象。
