基于深度学习的形状建模方法

第４１卷第１期　２０１８年１月　计　算　机　学　报　ＶｏＬ　４１　ＮＯ．１　ＣＨＩＮＥＳＥ　ＪＯＵＲＮＡＬ　ＯＦ　ＣＯＭＰＵＴＥＲＳ　Ｊａｎ．２０１８　基于深度学习的形状建模方法　张　娟　汪西莉　杨建功　（陕西师范大学计算机科学学院西安　７１０１１９）　摘要在目标检测、图像分割、图像修复等应用中，一个好的目标形状模型有着非常重要的作用．与灰度、纹理、　边缘等底层的视觉特征相比，作为一种高层视觉特征的形状更有利于描述目标的全局视觉信息．一般在加人全局　形状信息的情况下算法的性能将有所提高．近年来，由于其具有卓越的学习数据中包含的内部结构的能力，深度学　习模型吸引了越来越多的关注．包含多层隐层单元的深度学习模型用于模拟人类大脑的认知机制，可以提取多层　数据特征和表示复杂的数据分布，学习到的多层抽象表示更有助于了解形状等数据的信息．针对复杂而又多变的　目标形状，该文基于深度信念网络和深度玻尔兹曼机构造形状模型，给出了各自的模型构造方法、模型训练方法以　及基于模型生成目标形状的方法．这两种模型是深层概率模型，能够充分利用底层特征和多层高层特征（越高层越　复杂）拟合关于训练集形状的概率分布，所以它们能够有效地建模形状．这类模型的一个关键特性是使用贪心逐层　训练快速地找到一组好的模型参数．该文的形状模型不仅能够很好地表达出训练集中的形状，还能够生成不同于　训练集中样本的形状．另外，当训练集中的形状是多类别时，此时涉及到的形状变化比较大，文中模型同样能够定　义形状所属的多峰分布．深度学习模型具有较强的形状表达能力，可以应用于生成形状、形状修复和去噪等多种任　务．该文在Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ和Ｃａｌｔｅｃｈｌ０１　Ｓｉｌｈｏｕｅｔｔｅｓ数据集上进行了实验，结果表明，和浅层的受限玻尔兹曼机　模型相比，深度学习模型能够更好地表达训练集形状，从包含多层非线性处理的深层结构中生成的形状看起来更　符合实际，且深度玻尔兹曼机模型生成的目标形状要比深度信念网络模型更为清晰．实验中以形状图形化结果和　形状相似性度量结果说明深度学习模型对训练形状的拟合能力较强，且具有较好的泛化能力．　关键词　形状建模；深度学习；受限玻尔兹曼机；深度信念网络；深度玻尔兹曼机　中图法分类号ＴＰ１８　ＤＯＩ号ｌＯ．１１８９７／ＳＰ．Ｊ．１０１６．２０１８．００１３２　Ｓｈａｐｅ　Ｍｏｄｅｌｉｎｇ　Ｍｅｔｈｏｄ　Ｂａｓｅｄ　ｏｎ　Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ　ＺＨＡＮＧ　Ｊｕａｎ　ＷＡＮＧ　Ｘｉ－Ｌｉ　ＹＡＮＧ　Ｊｉａｎ－Ｇｏｎｇ　（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｓｈａａｎｘｉ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ　７１０１１９）　Ａｂｓｔｒａｃｔ　Ｍｏｄｅｌｓ　ｏｆ　ｔｈｅ　ｏｂｊｅｃｔ　ｓｈａｐｅ　ｐｌａｙ　ａｎ　ｉｍｐｏｒｔａｎｔ　ｒｏｌｅ　ｉｎ　ｍａｎｙ　ｉｍａｇｅ　ａｐｐｌｉｃａｔｉｏｎｓ　ｓｕｃｈ　ａｓ　ｏｂｊ　ｅｃｔ　ｄｅｔｅｃｔｉｏｎ，ｉｍａｇｅ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｉｎｐａｉｎｔｉｎｇ．Ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｔｈｅ　ｇｒａｙ，ｔｅｘｔｕｒｅ，ｅｄｇｅ　ａｎｄ　ｏｔｈｅｒ　ｌｏｗ—ｌｅｖｅｌ　ｖｉｓｕａｌ　ｆｅａｔｕｒｅｓ　ｏｆ　ｔｈｅ　ｉｍａｇｅ，ｓｈａｐｅ　ａｓ　ｈｉｇｈ—ｌｅｖｅｌ　ｖｉｓｕａｌ　ｆｅａｔｕｒｅ　ｈｅｌｐｓ　ｔｏ　ｄｅｓｃｒｉｂｅ　ｔｈｅ　ｇｌｏｂａｌ　ｖｉｓｕａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ａｎ　ｏｂｊｅｃｔ　ｂｅｔｔｅｒ．Ｇｅｎｅｒａｌｌｙ，ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ａｌｇｏｒｉｔｈｍ　ｗｉｌｌ　ｂｅ　ｉｍｐｒｏｖｅｄ　ａｆｔｅｒ　ｇｌｏｂａｌ　ｓｈａｐｅ　ｉｎｆｏｒｍａｔｉｏｎ（ｅｘｐｒｅｓｓｅｄ　ｂｙ　ａ　ｇｏｏｄ　ｍｏｄｅ１）ｊｏｉｎｅｄ．Ｉｎ　ｒｅｃｅｎｔ　ｙｅａｒｓ，　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌｓ　ｈａｖｅ　ａｔｔｒａｃｔｅｄ　ｍｏｒｅ　ａｎｄ　ｍｏｒｅ　ａｔｔｅｎｔｉｏｎｓ　ｂｅｃａｕｓｅ　ｏｆ　ｔｈｅｉｒ　ｅｘｃｅｌｌｅｎｔ　ｌｅａｒｎｉｎｇ　ａｂｉｌｉｔｙ　ｏｎ　ｍｏｄｅｌｉｎｇ　ｄａｔａ　ｗｉｔｈ　ｉｎｔｒｉｎｓｉｃ　ｓｔｒｕｃｔｕｒｅ．Ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌｓ　ｃｏｎｔａｉｎ　ｍｕｌｔｉｐｌｅ　ｌａｙｅｒｓ　ａｎｄ　ｈｉｄｄｅｎ　ｐｅｒｃｅｐｔｉｏｎ　ｕｎｉｔｓ，ｗｈｉｃｈ　ａｒｅ　ｕｓｅｄ　ｔｏ　ｓｉｍｕｌａｔｅ　ｔｈｅ　ｃｏｇｎｉｔｉｖｅ　ｍｅｃｈａｎｉｓｍ　ｏｆ　ｈｕｍａｎ　ｂｒａｉｎ．　Ｔｈｅｙ　ｃａｎ　ｅｘｔｒａｃｔ　ｍｕｌｔｉ—ｌｅｖｅｌ　ｄａｔａ　ｆｅａｔｕｒｅｓ　ａｎｄ　ｒｅｐｒｅｓｅｎｔ　ｃｏｍｐｌｉｃａｔｅｄ　ｄａｔａ　ｄｉｓｔｒｉｂｕｔｉｏｎｓ．Ｔｈｅｙ　ｆｏｒｍ　ｈｉｇｈ—ｌｅｖｅｌ　ｄａｔａ　ａｂｓｔｒａｃｔ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｔｈｒｏｕｇｈ　ｃｏｍｂｉｎｉｎｇ　ｔｈｅ　ｌｏｗｅｒ　ｌａｙｅｒ　ｆｅａｔｕｒｅｓ．Ａ　ｄｅｅｐ　收稿日期：２０１６－０６—１５；在线出版日期：２０１６－１１—２１．本课题得到国家自然科学基金（４ｌ１７１３３８，４１４７１２８０，６１４０１２６５）资助．张娟，女，１９９２　年生，硕士研究生，主要研究方向为机器学习、图像处理．Ｅ—ｍａｉｌ：ｃｈｅｎｍｚｈａｎｇ　＠ｆｏｘｍａｉｌ．ｃｏｒｎ．汪西莉（通信作者），女，１９６９年生，博士，教　授，博士生导师，中国计算机学会（ＣＣＦ）会员，主要研究领域为智能信息处理、模式识别、图像处理．Ｅ—ｍａｉｌ：ｗａｎｇｘｉｌｉ＠ｓｎｎｕ．ｅｄｕ．ｃｎ．　杨建功，男，１９７４年生，博士研究生，讲师，主要研究方向为机器学习、图像处理．　张娟等：基于深度学习的形状建模方法　１３３　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌ　ｌｅａｒｎｉｎｇ　ｔｈｅ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ａｎｄ　ａｂｓｔｒａｃｔｉｏｎ　ｏｆ　ｍｕｌｔｉｐｌｅ　ｌｅｖｅｌｓ　ｉｓ　ｍｏｒｅ　ｈｅｌｐｆｕｌ　ｔＯ　ｍａｋｅ　ｓｅｎｓｅ　ｏｆ　ｄａｔａ，ｓｕｃｈ　ａｓ　ｓｈａｐｅ　ｉｍａｇｅｓ．Ｉｎ　ｖｉｅｗ　ｏｆ　ｔｈｅ　ｃｏｍｐｌｉｃａｔｅｄ　ａｎｄ　ｃｈａｎｇｅａｂｌｅ　ｏｂｊ　ｅｃｔ　ｓｈａｐｅ，ｗｅ　ｐｒｏｐｏｓｅ　ｔｗｏ　ｋｉｎｄｓ　ｏｆ　ｓｈａｐｅ　ｍｏｄｅｌｓ　ｂａｓｅｄ　ｏｎ　ｄｅｅｐ　ｂｅｌｉｅｆ　ｎｅｔｗｏｒｋ　ａｎｄ　ｄｅｅｐ　Ｂｏｈｚｍａｎｎ　ｍａｃｈｉｎｅ，ａｎｄ　ｔｈｅ　ｍｅｔｈｏｄｓ　ｏｆ　ｔｗｏ　ｍｏｄｅｌｓ　ｃｏｎｓｔｒｕｃｔｉｎｇ，ｔｒａｉｎｉｎｇ　ａｎｄ　ｓｈａｐｅ　ｇｅｎｅｒａｔｉｎｇ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ．Ｂｏｔｈ　ｏｆ　ｔｈｅｓｅ　ｔＷＯ　ｍｏｄｅｌｓ　ａｒｅ　ｄｅｅｐ，ｈｉｅｒａｒｃｈｉｃａｌ　ｐｒｏｂａｂｉｌｉｓｔｉｃ　ｍｏｄｅｌｓ　ｔｈａｔ　ｍａｋｅ　ｈｅａｖｙ　ｕｓｅ　ｏｆ　ｈｉｄｄｅｎ　ｕｎｉｔｓ　ｔＯ　ｍｏｄａｌ　ｈｉｇｈ—ｏｒｄｅｒ　ｄｅｐｅｎｄｅｎｃｉｅｓ　ｂｅｔｗｅｅｎ　ｔｈｅ　ｏｂｓｅｒｖｅｄ　ｕｎｉｔｓ，ｗｈｉｃｈ　ｃａｎ　ｍａｋｅ　ｆｕｌｌ　ｕｓｅ　ｏｆ　ｌｏｗ——ｌｅｖｅｌ　ｆｅａｔｕｒｅｓ　ａｎｄ　ｍｕｌｔｉ——ｌａｙｅｒ　ｈｉｇｈ——ｌｅｖｅｌ　ｆｅａｔｕｒｅｓ　ｏｆ　ｏｂｊｅｃｔ　ｓｈａｐｅ　ｔｏ　ｄｅｓｃｒｉｂｅ　ｔｈｅ　ｐｒｏｂａｂｉｌｉｔｙ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ｏｆ　ｔｒａｉｎｉｎｇ　ｓｅｔ．Ｔｈｅｙ　ｈａｖｅ　ｔｈｅ　ｐｏｔｅｎｔｉａｌ　ｏｆ　ｌｅａｒｎｉｎｇ　ｉｎｔｅｒｎａｌ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｔｈａｔ　ｂｅｃｏｍｅ　ｐｒｏｇｒｅｓｓｉｖｅｌｙ　ｃｏｍｐｌｅｘ　ａｔ　ｈｉｇｈｅｒ　ｌａｙｅｒｓ．Ｔｈｅ　ｋｅｙ　ｆｅａｔｕｒｅ　ｏｆ　ｔｈｅｓｅ　ｔＷＯ　ｍｏｄｅｌｓ　ｉｓ　ｇｒｅｅｄｙ　ｌａｙｅｒ—ｂｙ—ｌａｙｅｒ　ｔｒａｉｎｉｎｇ　ｔｈａｔ　ｃａｎ　ｂｅ　ｒｅｐｅａｔｅｄ　ｓｅｖｅｒａｌ　ｔｉｍｅｓ　ｉｎ　ｏｒｄｅｒ　ｔｏ　ｆｉｎｄ　ａ　ｇｏｏｄ　ｓｅｔ　ｏｆ　ｍｏｄａｌ　ｐａｒａｍｅｔｅｒｓ　ｑｕｉｃｋｌｙ，ｅｖｅｎ　ｆｏｒ　ｍｏｄａｌ　ｃｏｎｔａｉｎｓ　ｍａｎｙ　ｌａｙｅｒｓ　ａｎｄ　ｐａｒａｍｅｔｅｒｓ．Ｔｈｕｓ　ｔｈｅｙ　ｃａｎ　ｅｆｆｅｃｔｉｖｅｌｙ　ｍｏｄｅｌ　ｔｈｅ　ｓｈａｐｅ，ｔｈｉｓ　ｋｉｎｄ　ｏｆ　ｍｏｄｅｌ　ｎｏｔ　ｏｎｌｙ　ｃａｎ　ｅｘｐｒｅｓｓ　ｔｈｅ　ｓｈａｐｅ　ｏｆ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｓｅｔ，　ｂｕｔ　ａｌｓｏ　ｃａｎ　ｇｅｎｅｒａｔｅ　ｓｈａｐｅ　ｔｈａｔ　ｄｉｆｆｅｒ　ｆｒｏｍ　ｓａｍｐｌｅｓ　ｉｎ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｓｅｔ．Ｔｈｅ　ｓｈａｐｅ　ｃｈａｎｇｅ　ｉｓ　ｒｅｌａｔｉｖｅｌｙ　ｌａｒｇｅ　ｗｈｅｎ　ｔｈｅ　ｓｈａｐｅ　ｏｆ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｓｅｔ　ｉｓ　ｍｕｌｔｉｐｌｅ　ｃａｔｅｇｏｒｉｅｓ，ｔｈｅ　ｍｏｄａｌ　ｃａｎ　ａｌｓｏ　ｄｅｆｉｎｅ　ｔｈｅ　ｍｕｌｔｉ—ｍｏｄｅｌ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ｏｆ　ｔｈｅ　ｓｈａｐｅ　ｓｅｔ．Ａ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌ　ｈａｓ　ｓｔｒｏｎｇ　ａｂｉｌｉｔｙ　ｏｆ　ｓｈａｐｅ　ｅｘｐｒｅｓｓｉｏｎ　ａｎｄ　ｃａｎ　ｂｅ　ａｐｐｌｉｅｄ　ｉｎ　ｍａｎｙ　ｋｉｎｄｓ　ｏｆ　ｔａｓｋｓ　ｓｕｃｈ　ａｓ　ｓｈａｐｅ　ｇｅｎｅｒａｔｉｎｇ，ｓｈａｐｅ　ｃｏｍｐｌｅｔｉｏｎ，　ａｎｄ　ｄｅｎｏｉｓｉｎｇ．Ｗｅ　ｇｉｖｅ　ｓｏｍｅ　ｏｆ　ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｏｎ　ｔｈｅ　Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ　ｄａｔａ　Ｓｅｔ　ａｎｄ　Ｃａｌｔｅｃｈｌ０１　Ｓｉｌｈｏｕｅｔｔｅｓ　ｄａｔａ　ｓｅｔ．Ｔｈｅ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｔｈｅ　ｒｅｓｔｒｉｃｔｅｄ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅ　ｍｏｄｅｌ，ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｔｗｏ　ｍｏｄｅｌｓ　ｂａｓｅｄ　ｏｎ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｃａｎ　ｅｘｐｒｅｓｓ　ｔｈｅ　ｓｈａｐｅ　ｏｆ　ｔｒａｉｎｉｎｇ　ｓｅｔ　ｂｅｔｔｅｒ．Ｔｈｅ　ｓａｍｐｌｅｓ　ｇｅｎｅｒａｔｅｄ　ｆｒｏｍ　ｔｈｅ　ｄｅｅｐ　ｍｏｄｅｌｓ　ｉｎｖｏｌｖｉｎｇ　ｓｔｒｕｃｔｕｒｅ　ｏｆ　ｍｕｌｔｉ—ｌａｙｅｒ　ｎｏｎｌｉｎｅａｒ　ｐｒｏｃｅｓｓｉｎｇ　ａｒｅ　ｍｏｒｅ　ｒｅａｌｉｓｔｉｃ，ａｎｄ　ｔｈｅ　ｓａｍｐｌｅｓ　ｆｒｏｍ　ｔｈｅ　ｄｅｅｐ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅ　ｍｏｄｅｌ　ａｒｅ　ｍｕｃｈ　ｍｏｒｅ　ｃｌｅａｒ　ｔｈａｎ　ｄｅｅｐ　ｂｅｌｉｅｆ　ｎｅｔｗｏｒｋ　ｍｏｄｅ１．Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｉｎ　ｔｈｅ　ｇｒａｐｈｉｃａｌ　ｓｈａｐｅ　ａｎｄ　ｓｉｍｉｌａｒｉｔｙ　ｍｅａｓｕｒｅ　ｉｌｌｕｓｔｒａｔｅ　ｔｈａｔ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌ　ｉｓ　ｆｉｔ　ｆｏｒ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｓｈａｐｅ，ａｎｄ　ｔｈｅ　ｍｏｄｅｌ　ｈａｓ　ｂｅｔｔｅｒ　ｇｅｎｅｒａｌｉｚａｔｉｏｎ　ａｂｉｌｉｔｙ．　Ｋｅｙｗｏｒｄｓ　ｓｈａｐｅ　ｍｏｄｅｌｉｎｇ；ｄｅｅｐ　ｌｅａｒｎｉｎｇ；ｒｅｓｔｒｉｃｔｅｄ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅ；ｄｅｅｐ　ｂｅｌｉｅｆ　ｎｅｔｗｏｒｋ；　ｄｅｅｐ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅ　点集表示形状是一种最简单的方法，它基于标记点　引　日　在目标检测、图像分割和图像修复等应用ｌ＿１　分布模型，先选取一批已标记的训练形状，用形状边　缘位置、角点等一些关键点作为标记点描述形状，然　后使用主成分分析法等统计分析获得全局的形状模　中，目标的形状信息起到至关重要的作用，形状作为　一型＿５］，但其形状表示过于被动，需要对训练集中所有　的形状进行标注，要求从形状中选出的主要特征点　有相同的数量和位置，并且在求解过程中容易陷入　种高层的视觉特征，与图像中的灰度、纹理、边缘　等底层视觉特征相比，它描述的视觉信息有利于完　整地表达目标物体．若图像中存在噪声、背景和目标　特征比较相似、部分目标被遮挡等情况，形状作为先　验知识有助于得到较为完整且正确的目标，从而提　高目标检测或分割等的正确率．此外，形状在图像的　生成过程中也扮演着重要的角色　。］．一般来说，上　局部极值．用来表示形状属性常用的模型还有网格　结构的马尔科夫随机场或条件随机场Ｉ６］，网格结构　的马尔科夫随机场模型可以表示为由一元项和二元　项组成的能量函数形式，其中定义的二元能量项表　示相邻像素之间的依赖关系，也即是施加给相邻像　素之间局部区域强调形状的局部特征（平滑性　或连通性），但无法捕捉到凸性或曲率等更复杂的形　状属性，同时网格结构的马尔科夫随机场在表达全　述这些应用的效果能够通过使用更好的目标形状模　型得以改善．　目前，已经有很多方法来表示二维形状．用标记　１３４　计　算　机　学　报　局形状时受到一定的．另外一种方法是使用水　平集＿７　表示形状，其基本思想是施加足够的约束使　形状是有效的、真实的，同时允许捕获的可能的形状　要具有一定的灵活性．在水平集方法中采用符号距　离函数表示形状，在一个区域上确定一个点到区域　边界的距离并对其符号进行定义，点位于边界内部　为正，位于边界外部为负，位于边界上为０，这种方　法捕获目标形状的全局特征和关于目标形状的全局　变化（比如形状纵横比的变化）．但是这类方法的缺　点是在曲线的演化过程中，符号距离函数会发生震　荡，导致最终的曲线演化形状偏离真实的目标形状　轮廓．另外，当训练集中存在不同种类时，这种方法　不能有效地为形状建模，即不能拟合多峰分布，这使　得形状只能在一定范围内变化．　近年来备受瞩目的深度学习模型　能够通过组　合底层的特征形成高层的数据抽象特征进而模拟人　类大脑认知机制，且能够自动发现隐藏在数据中的　模式，具有强大的学习数据中包含的结构的能力，可　以使用这类模型来学习形状复杂的全局特征进而表　征形状．玻尔兹曼机（Ｂｏｌｔｚｍａｎｎ　Ｍａｃｈｉｎｅ，ＢＭ）＿ｇ　是　一种根植于统计力学的随机神经网络模型，基于能　量函数建模，其样本的分布服从玻尔兹曼分布．模型　由可见层和隐层组成，可见层由可见单元组成，隐层　由隐单元组成，其单元之间是全连接的，具有强大的　无监督学习能力，能够从复杂数据中学习到隐藏在　数据中的高阶特征，但是其学习时问很长，且不能够　精确计算出ＢＭ所表示的分布，同时从模型中得到　服从其定义的分布的样本也很困难．Ｓｍｏｌｅｎｓｋｙ＿１叨提　出受限的玻尔兹曼机（Ｒｅｓｔｒｉｃｔｅｄ　Ｂｏｌｔｚｍａｎｎ　Ｍａｃｈｉｎｅ，　ＲＢＭ）模型，模型包括一个可见层和一个隐层，它是　ＢＭ的一种特殊结构．相比于ＢＭ，ＲＢＭ模型去除　了同层单元之间的连接，即可见层与隐层单元之间　是全连接，可见层和隐层的层内单元之间无连接，这　使得高效快速的模型训练算法的出现成为可能，有　效地缩短了训练时间．尽管仍然无法有效计算ＲＢＭ　所表示的分布，但可以通过采样方法得到服从模型　所表示分布的样本．但是在训练样本和计算单元有　限的情况下，两层结构的ＲＢＭ模型对复杂分布的　表示能力有限．２００６年Ｈｉｎｔｏｎ等人口　提出深度信　念网络（Ｄｅｅｐ　Ｂｅｌｉｅｆ　Ｎｅｔｗｏｒｋ，ＤＢＮ）模型，通过构建　具有多个隐层的结构来学习更有用的高层特征．该　模型是一种生成模型，包括一个可见层和多个隐层，　模型可以使用极大似然估计方法来训练得到参数．　ＤＢＮ模型的最上面两层单元之间的连接是无向的，　构成一个无向二部图，较低的其它层单元之间的连　接是有向的，构成一个有向的ｓｉｇｍｏｉｄ置信网，其较　高层单元表示较低层单元之间的高阶关系．全局优　化ＤＢＮ往往是困难的、耗时的，为加快模型的训练　速度和获得更好的优化性能，Ｈｉｎｔｏｎ给出了模型训　练的一个高效算法——在全局训练整个模型之前，　先使用逐层训练算法用于预训练模型，即先训练较　低层模块后训练较高层模块，进行的是无监督训练．　文献Ｅｌ２］表明添加隐层在严格意义上能够提高模　型的建模能力，即深层模型相比于浅层模型有更　好的非线性函数表示能力．深度玻尔兹曼机（Ｄｅｅｐ　Ｂｏｌｔｚｍａｎｎ　Ｍａｃｈｉｎｅ，ＤＢＭ）模型是Ｓａ１ａｋｈｕｔｄｉｎｏｖ　等人＿１　于２００９年提出的另外一种深度学习模型，　模型包括一个可见层和多个隐层，可以看作由多个　ＲＢＭ堆叠而成．该模型与ＤＢＮ模型一样能够学习　到数据的多层次抽象特征，但ＤＢＭ与ＤＢＮ不同的　是ＤＢＭ是一个无向图模型，即层与层之间的连接　均是无向的．由于ＤＢＭ模型是深层结构，全局优化　ＤＢＭ模型也是很困难的，所以Ｓａ１ａｋｈｕｔｄｉｎｏｖ等人　提出了类似于ＤＢＮ模型的训练算法，将训练分成　了两个阶段：第１个阶段是预训练阶段，分别训练各　个子模块；第２个阶段是微调阶段，即在预训练的基　础上全局训练整个模型．同样，模型的训练也是无监　督的．目前已有研究将ＲＢＭ作为全局形状先验成　功地应用于图像分割问题，文献［１４］将ＲＢＭ模型　作为形状模型添加到条件随机场图像标记模型中提　供全局的形状约束，这种混合的模型比缺少形状先　验信息的传统模型减少了错误标记像素的个数，提　高了图像标记的正确率．文献［１５］是结合ＤＢＭ的　一种变形模型　］对先验形状建模方法提出的一种　变分分割模型，该方法是利用深度学习方法解决先　验形状的估计并作为先验形状加入到变分分割模型　中用以解决自然图像的分割问题，形状模型由一个　可见层和两个隐层组成，可见层与第１个隐层之间　是局部连接，第１个隐层与第２个隐层之间是全连　接，但是由于模型可见层与隐层间的局部连接，在使　用模型生成形状时目标形状的图像会出现接缝．　针对复杂而又多变的目标形状，本文提出两种　基于深度学习的形状表示模型，它们是由ＲＢＭ模　型扩展得到的ＤＢＮ和ＤＢＭ模型，模型各层之间均　是全连接，这两种模型通过训练样本训练得到模型　参数，用以表示形状和生成形状．文中根据不同模型　１期　张娟等：基于深度学习的形状建模方法　１３５　的结构特点，给出了各自的模型构造方法、模型的训　练方法，以及当用该类模型为形状进行建模时提出　了基于模型生成目标形状的方法．与传统的形状模　元九，间连接边的权重，ｎ　是第　个可见单元的偏置，　ｂｊ是第Ｊ个隐单元的偏置．关于可见单元　的概率　分布可通过求Ｐ（　，ｈ；０）的边缘概率分布得到．　型相比，这类模型不仅能够很好的表达出训练集中　的形状，还能够生成不同于训练集中样本的形状，且　形状符合实际．当训练集中的形状是多类别时，此时　涉及到的形状变化比较大，该类模型同样能够定义　形状所属的多峰分布．这样，在图像检测、图像分割　等应用中，即使在图像存在遮挡或噪声等情况下，形　状的全局特性也会使得目标结果符合实际．本文在　Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ和Ｃａｌｔｅｃｈｌ０１　Ｓｉｌｈｏｕｅｔｔｅｓ数据集　上进行了实验，结果表明深度学习模型具有较强的　形状表达能力，可以非常灵活地应用于生成形状、完　成部分缺失或被遮挡形状的修复、噪声情况下的去　噪等多种任务．　２深度学习模型理论　２．１受限玻尔兹曼机模型　ＲＢＭ是包含一个可见层和一个隐层的两层结　构且对称连接的概率图模型，如图１所示，层间全连　接、层内无连接．可见层包括ｍ个可见单元－ｏ一（　，　ｚ，…，　），表示观测数据，其中　表示第ｉ个可见　单元的状态；隐层包括　个隐单元ｈ＝＝＝（　，ｈ。，…，　ｈ　），可看作是从可见层数据提取的抽象特征，其中　ｈ　表示第Ｊ个隐单元的状态．　图１　ＲＢＭ模型结构　给定一组状态（　，　），ＲＢＭ模型定义的联合概　率分布为　Ｐ（　，　；　）一旦一　　；　，ｚ（，ｚ（　）一∑ｅ一　－Ｅ（ｖ，ｈ；Ｏ）（‘１）　其中：Ｚ（Ｏ）称为划分函数或者归一化常量；Ｅ（ｖ，ｈ；　）　是状态（　，　）所对应的能量函数，定义为　Ｅ（　，ｈ；　）＝一ＶＴＷｈ一口　一ｂ　ｈ　＝一∑∑Ｗ　ｈ　一　ｉ…１　１　∑　～∑　（２）　ｉ一１　ｉ＝１　其中：０一｛Ｗ，ａ，ｂ｝是模型参数，对于所有的ｉ∈　｛１，…，ｍ）和Ｊ∈｛１，…，　），Ｗ　是可见单元　和隐单　训练ＲＢＭＥ¨　模型的任务是求出模型参数的值　以拟合训练数据．给定一组训练数据Ｓ一｛ｚ　，…，　，…，　｝，ｋ一１，…，ｚ，假定这些训练数据是同　分布的，常用的方法是使用最大似然估计方法估计　模型参数，即　一ａｒｇｍａｘ　ｌｎ（Ｌ（　；Ｓ））　０　—ａｒｇｍａｘ　ｉｎ　ｌｌ　ｐ（ｘｋ；０）　＾一１　＝ａｒｇｍａｘ　ｌｎｐ（ｘ　；　）　（３）　０　＝１　为获得较好的模型参数值，使用随机梯度上升　法求ＲＢＭ在训练集上的对数似然函数ｌｎ（Ｌ（０；ｓ））　取最大值时对应的参数．其参数更新公式为　Ｗ—Ｗ＋△Ｗ，ＡＷ一（　ｈ，）ｄ　一（　ｈ　＞　［）ｄＥ１（４）　ａ—ａ＋△口，△口一（Ｖ　＞ｄａｔ　一（　＞ｍｏｄｅｌ　（５）　ｂ一６＋△６，２ｘｂ＝（ｈ，）　一（ｈ，）ｍｏｄｅｌ　（６）　其中：＜・）　表示经验分布下的期望；（・ｔｏｏ　表示　ＲＢＭ模型所定义分布下的期望．精确的最大似然　估计学习是很困难的，因为想要精确地计算第２项　期望的时间复杂度是０（２“　）．所以，Ｈｉｎｔｏｎ［】。］　于２００２年提出了一个快速学习算法——对比散度　（Ｃｏｎｔｒａｓｔｉｖｅ　Ｄｉｖｅｒｇｅｎｃｅ，ＣＤ）算法，该算法已成为　训练ＲＢＭ模型的一个标准算法．　由于ＲＢＭ模型的结构是层间全连接、层内无　连接，这也就意味着在给定可见变量状态的情况下　隐变量是相互的，同时在给定隐变量状态的情　况下可见变量是相互的．尽管ＲＢＭ模型所定　义的分布仍然无法精确计算，但通过从边缘概率分　布中采样可以得到服从ＲＢＭ模型所表示分布的　样本．　２．２深度信念网络模型　ＤＢＮ是包含一个可见层和多个隐层的概率图　模型，可见层由可见单元组成，隐层由隐单元组成，　每一个隐层都对应捕获其下面一层特征的更高阶的　抽象特征，能够更好地反映输入数据的内在结构信　息．ＤＢＮ是由两种不同的网络混合而成，最上面两　层形成一个无向网，其它较低层形成一个有向的　ｓｉｇｍｏｉｄ信念网络，构成一个概率生成模型，如图２　（ａ）所示，模型参数为单元之间连接的权重以及各单　元所对应的偏置．最底层表示观测数据，即模型的输　１３６　计　算　机　学　报　入．预训练时ＤＢＮ模型可以被视为由多个简单的　无监督模块（即ＲＢＭ）组成，其中每个子模块的隐层　可以作为下一个子模块的可见层输入，如图２（ｂ）所　示．这种结构特点也促使了一种快速的、逐层无监督　训练算法的提出，有效地避免了传统的深层网络训　练时导致的时间复杂度过高问题，每个子模型的训　练使用ＣＤ算法．相比于只有一个隐层的ＲＢＭ模型　而言，具有多个隐层的ＤＢＮ模型能够获取更多高　层的抽象特征来描述输入数据，另外理论结果表明　深层结构模型在表示训练数据所服从复杂分布的函　数时要比浅层模型更有效Ｅ１９］．　图２　ＤＢＮ模型结构及其对应的预训练模块　训练一个包含一层可见层单元与两层隐层单元　的ＤＢＮ模型，由模型定义的联合概率分布为　Ｐ（ｖ，ｈ　，ｈ　；０）一Ｐ（ｖＩ　ｈ　；　）Ｐ（　，ｈ　；０　）（７）　其中：　一｛　，０。），　是第１层ＲＢＭ的参数，　是第　２层ＲＢＭ的参数；　是可见单元，Ｐ（　ｌ　ｈ　；０　）表示　在给定隐单元状态的条件下获得可见单元状态的条　件分布，Ｐ（ｈ　，ｈ　；０。）是模型最顶层ＲＢＭ的联合分　布．条件分布Ｐ（　１　ｈ　；０　）和联合分布Ｐ（ｈ　，ｈ。；０　）　共同构成生成模型ＤＢＮ．由于同层单元间没有连　接，即层内单元之间是相互的，所以有：　Ｐ（　｛ｈ　；０　）一Ｉｌ　Ｐ（　１　ｈ　；０　）　（８）　１　，　Ｐ（ｈ　，ｈ。；０。）一　ｅ－　，ｈｚ　（９）　Ｚ－，　Ｌ，　其中Ｅ（ｈ　，ｈ　；０　）是顶层ＲＢＭ定义的能量函数．　ＨｉｎｔｏｎＥｕ　于２００６年提出了ＤＢＮ模型的一种　快速、无监督的训练算法，其训练过程分为两个阶　段：预训练阶段和微调阶段．在预训练阶段的一个关　键特性是逐层训练，将ＤＢＮ模型看作由多个ＲＢＭ　模块堆叠而成，通过自下而上的顺序训练各组成模　块来学习深层模型．同时，在模型的训练过程中该算　法也为执行近似推理提供了一个有效的方式，它利　用自下而上的传递推断出较高层隐单元的状态．其　预训练步骤为：　（１）以训练样本作为可见层数据　，随机初始化　模型参数　．采用２．１节中介绍的ＲＢＭ训练方式　训练第一个ＲＢＭ．　（２）固定第一个ＲＢＭ的模型参数　不变，将上　步中训练得到的隐层单元状态ｈ　作为下一个ＲＢＭ　的可见层数据，随机初始化模型参数　．构造较高　一层的ＲＢＭ并训练该ＲＢＭ．　（３）将训练得到的各ＲＢＭ模块的参数赋值给　ＤＢＮ模型．　用一次只训练一个模块的方式训练ＤＢＮ模型　是有效的，但不是最优的．所以，在微调阶段使用基　于梯度算法优化策略的对比ｗａｋｅ—ｓｌｅｅｐ算法［　。　对　整个模型的参数进行全局调优，得到最终的模型参　数，以预训练得到的模型参数作为该阶段的初始值．　ＤＢＮ的子模型除了最顶层的ＲＢＭ外，其它ＲＢＭ　模块的权重分为向上的认知权重和向下的生成权　重，向下的生成权重表示ＤＢＮ是一个生成模型，向　上的认知权重不属于模型的一部分，只用来执行自　底向上的近似推断．在ｗａｋｅ阶段，通过底层的特征　和认知权重确定每一层的抽象特征表示，使用梯度　上升法更新生成权重；在ｓｌｅｅｐ阶段，通过高层特征　和生成权重产生底层状态，同时更新认知权重．本文　使用上述算法训练ＤＢＮ模型．　Ｈｉｎｔｏｎ提出的快速无监督训练算法通过逐层　训练各模块能够有效地加快深层结构模型的训练且　得到较好的模型参数值．许多现有的机器学习算法　使用浅层结构（如支持向量机、ＲＢＭ等），但是理论　结果表明，使用这样的模型不能有效地从输入数据　中提取复杂的结构信息，而ＤＢＮ等深层结构模型　结合有效且快速的训练算法能够利用大量的无标签　数据提取更多高层的抽象特征，更好地描述隐藏在　输入数据内部的结构信息．　２．３深度玻尔兹曼机模型　ＤＢＭ是不同于ＤＢＮ的另外一种深度学习模　型，可以看作是ＲＢＭ模型的扩展，包含多个隐层．　它是一个无向图，所有层与层之间的连接都是无向　的，如图３（ａ）所示．由于ＤＢＮ模型的结构特点，训　（ａ）　（ｂ）　图３　ＤＢＭ模型结构及其对应的预训练模块　１期　张娟等：基于深度学习的形状建模方法　１３７　练时它是基于一种自下而上的近似推理方法，在推　科夫链蒙特卡罗采样的随机梯度上升法可以得到关　断过程中忽略自上而下反馈的结果，因而不能充分　考虑数据的不确定性，而ＤＢＭ能够结合自下而上　的传递和自上而下的反馈来解决不确定性问题，从　于ＤＢＭ模型参数的一个很好的近似，从而更好地　拟合训练数据．其预训练步骤为：　（１）采用２．１节介绍的ＲＢＭ训练方法训练结　而能够生成更好地依赖于数据和高阶特征的样本．　训练一个具有两个隐层的ＤＢＭ，　是可见层单　元的状态，ｈ　和ｈ　是各个隐层对应的隐层单元，关　构经过改动的底层ＲＢＭ模型，训练样本作为模型　的可见层数据．连接权重为ｗ　．　（２）固定底层ＲＢＭ模型的参数不变，并使用从　于（　，ｈ　，ｈ　）对应的能量定义为　Ｅ（ｖ，ｈ　，ｈ　；０）：一ｖ　Ｗ　ｈ　一ｈ　Ｗ　ｈ　一　ａ　一ｂ　ｈ　一ＣＴｈ　（１０）　其中：　：｛　，Ｗ　，ａ，ｂ，ｆ）是模型参数，彬　是可见层　与隐层ｈ　之间连接的权重，　是隐层ｈ　与隐层　ｈ。之间连接的权重，ａ，ｂ，　分别是可见层　、隐层ｈ　、　隐层ｈ　所对应的偏置．那么模型所定义的关于　的　边缘概率分布为　Ｐ（　；　）一　∑ｅ　（１１）　＼Ｖ　＾１＾２　．这里Ｚ（　）是一个常数，定义为　ｚ（　）一　５２，ｅ　一　，　（１２）　给定一批训练数据，ＤＢＭ的学习就是确定　式（１０）中的权重矩阵和偏置．本文使用的ＤＢＭ模　型的训练方法是Ｓａｌａｋｈｕｔｄｉｎｏｖ等人口　根据训练　ＤＢＮ模型的逐层预训练算法思想提出的训练算法，　其训练过程也包括预训练阶段和微调阶段，预训练　阶段为在微调阶段训练整个模型参数提供一个较好　的初始训练值，但不同的是预训练时的各模块不同、　微调时采用的算法不同．使用逐层预训练算法训练　ＤＢＭ的思想是训练一批结构上有微小改变的ＲＢＭ　模型，然后将其堆叠成一个ＤＢＭ模型，其结构如　图３（ｂ）所示．对最底层的ＲＢＭ模型的改动是用增　加一倍自下而上的传递弥补缺少的自上而下的反馈　确定隐层单元的状态，即可见层单元的个数翻了一　番．相反，对最顶层ＲＢＭ模型的改动是用增加一倍　自上而下的反馈弥补缺少的自下而上的传递确定可　见层单元的状态，即隐层单元的个数翻了一番．训练　得到的参数为ＤＢＭ模型提供一个合理的参数值，　便于后续的联合训练整个模型．在微调阶段，使用预　训练阶段得到的各模块参数作为训练整个ＤＢＭ模　型时的初始值，即使用第一个训练的ＲＢＭ参数初　始化ＤＢＭ模型的较低层参数（Ｗ　和ａ），使用第２　个训练的ＲＢＭ模型参数作为模型的较高层参数的　初始值（　。和ｃ）．其后，使用结合均值场推理和马尔　Ｐ（ｈ　Ｉ　７３；２Ｗ　）中采样得到的数据作为上层ＲＢＭ模　型的训练数据，训练上层ＲＢＭ模型．　（３）将上述训练得到的各模块参数赋值给ＤＢＭ　模型，作为微调阶段时的模型参数初始值．　目前ＤＢＭ模型受到关注有很多原因．首先，它　保留了ＤＢＮ模型很多好的性质：能够得到输入数　据的多种抽象表示；具有一个高效的贪心逐层训练　的预训练算法；使用无标签数据训练，是无监督的．　其次，它又与ＤＢＮ等深层结构模型不同，ＤＢＭ的　近似推理过程包括一个自下而上的传递和自上而下　的反馈，使得ＤＢＭ能够更好地应对数据的不确定　性问题，这也是不同于ＤＢＮ模型与自动编码器等　深层模型的最大的特点．最后，通过模型能量函数使　用随机梯度上升法联合优化所有层的参数，这极大　地促进了训练得到更好的生成模型．　３基于ＤＢＮ和ＤＢＭ的形状模型　ＤＢＮ、ＤＢＭ深度学习模型能够获取输人数据　的高阶特征，可以用来为形状建模，并用于表示和生　成形状．给定一批训练形状，用其训练上述模型得到　模型参数．模型训练时以形状像素点的二值特征作　为输入，每个像素点为可见层的一个可见单元，其值　是０或１．在确定模型参数之后，如何从模型中生成　形状是一个重要的问题，通常的方法是使用采样得　到服从模型所定义分布的形状样本．ＭＣＭＣ方　法＿２　是由Ｍｅｔｒｏｐｏｌｉｓ于１９５４年提出的从一个特定　概率分布采样的算法，最早应用于物理领域，其理论　基础是在满足平衡方程的条件下可以通过状态转移　到达稳态．后经ＨａｓｔｉｎｇｓⅢ２　改进得到Ｍ—Ｈ算法，　Ｍ—Ｈ算法是ＭＣＭＣ的基础方法．ＭＣＭｃ方法中最　常用的是Ｇｉｂｂｓ采样ｒ２　，它是Ｍ—Ｈ算法的一个特　例．Ｇｉｂｂｓ采样可以应用于从变量的联合概率分布　和边缘概率分布中采样，其基本思想是对高维或复　杂总体采样时，构造一个不可约的马尔科夫链，得到　的样本可以近似的作为模型所定义的概率分布的样　计　算　机　学　报　本．Ｇｉｂｂｓ采样的步骤为：　（１）随机初始化　’一｛ｚ（。）：　一１，…，ｔ｝　（２）对Ｊ一０，１，２，…依次采样　ｚ；　＋¨～　（ｚ　１　，ｚ　，…，ｚ　）　ｌｚ　”～ｐ（ｚ；　”，ｚ　，…，ｚ；　）　＋¨～Ｐ（ｚｆ　Ｊ　ｚ　’，ｌｚ　＋¨，ｚ　＋¨，…，　；　”）　按照上面的步骤，经过多步迭代采样直至收　敛，则可以得到ｚ“’，ｚ　，…，即近似服从概率分布　Ｐ（ｚ１，ｚ２，…，　）的样本．　以形状作为训练数据，在训练好模型之后，可以　执行多步Ｇｉｂｂｓ采样得到服从模型定义分布的形　状．图４是ＤＢＮ、ＤＢＭ与ＲＢＭ模型的采样过程对　比．在ＲＢＭ模型中执行Ｇｉｂｂｓ采样的过程是用一　个形状作为可见层的初始化状态，交替进行采样，得　到近似服从ＲＢＭ模型所定义分布的形状，如图４（ａ）　所示．为生成近似服从ＤＢＮ模型定义分布的形状，　通过在模型的最顶层ＲＢＭ模块执行多步Ｇｉｂｂｓ采　样得到第Ｌ一１层（Ｌ是ＤＢＮ模型的层数）的状态，　然后通过自上而下的ｓｉｇｍｏｉｄ置信网络依次随机激　活每层单元，从而得到可见层状态（即样本），如图４　（ｂ）所示．ＤＢＭ模型的采样过程如图４（ｃ）所示，依　次采样得到可见层、隐层的状态，并且隐层ｈ　条件　依赖于可见层　和隐层　．从ＤＢＮ、ＤＢＭ采样过程　可以看出其不同之处在于确定隐层ｈ　状态时的条　件依赖不同，在ＤＢＮ模型中推导　时只依赖于ｈ　，　而在ＤＢＭ模型中依赖于　和ｈ。两个方向信息的影　响，即既受到底层特征的影响也受到高层抽象特征　的影响，从而在生成可见层单元时会综合考虑输入　（ａ）ＲＢＭ模型的采样过程　（　ｉｈＪ）　～Ｐ（詹ｈ。）　（ｂ）ＤＩ　模型的采样过程　（ｃ）ＤＢＭ模型的采样过程　图４　ＤＢＮ、ＤＢＭ模型与ＲＢＭ模型的采样过程　数据和模型所表达形状的特征，其生成的形状数据　会相对比较确定．　４实验与分析　４．１　实验数据与参数设置　实验环境为Ｗｉｎｄｏｗｓ１０　６４位操作系统，内存为　１６　ＧＢ，处理器为Ｉｎｔｅｌ（Ｒ）Ｘｅｏｎ（Ｒ）ｖ３　ｌ－９Ｏ　ＧＨｚ．　编程环境为ＭＡＴＬＡＢ　Ｒ２０１４ａ．为验证各模型的建　模能力，以Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ（ｆｉｇｕｒｅ—ｇｒｏｕｎｄ）数据　集和Ｃａｌｔｅｃｈｌ０１　Ｓｉｌｈｏｕｅｔｔｅｓ数据集作为实验对象，　图像均是二值的．从Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ数据集中选　择２００幅图像形状作为训练样本，其余１２８幅图像　形状作为测试样本，并将所有形状图像归一化至　３２×３２像素大小，所有图像中目标（马）均是面向左　方且具有不同的姿势．该数据集是具有挑战性的，原因　是除了它们整体的目标形状不同之外，马的头、尾和腿　的姿态与位置也各不相同．从Ｃａｌｔｅｃｈｌ　０　１　Ｓｉｌｈｏｕｅｔｔｅｓ　数据集中选择Ａｉｒｐｌａｎｅｓ　Ｓｉｄｅ、Ｆａｃｅｓ、Ｍｏｔｏｒｂｉｋｅｓ类的　数据作为实验数据集，其中Ａｉｒｐｌａｎｅｓ　Ｓｉｄｅ类７９８幅　图像、Ｆａｃｅｓ类有８７０幅图像、Ｍｏｔｏｒｂｉｋｅｓ有７９８幅　图像，每幅图像的大小为２８×２８，共有２４６６幅图　像．选择其中的２２００幅图像作为训练样本、２６６幅　图像作为测试样本．该实验数据集包括３种不同类　别的形状数据，且形状各异．　本文中各模型的主要参数和具体数值是根据文　献［２５］和具体试验选取的。模型的结构及其每层的　单元个数设置如下：对于Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ（ｆｉｇｕｒｅ—　ｇｒｏｕｎｄ）数据集，ＲＢＭ、ＤＢＮ和ＤＢＭ模型的可见层　单元个数均设置为１０２４、第１隐层的单元个数均设　置为５００，ＤＢＮ与ＤＢＭ模型中涉及到的第２隐层　单元个数设置为５００；对于Ｃａｌｔｅｃｈｌ０１　Ｓｉｌｈｏｕｅｔｔｅｓ　数据集，ＲＢＭ、ＤＢＮ和ＤＢＭ模型的可见层单元个　数均设置为７８４、第１隐层的单元个数均设置为　２０００，ＤＢＮ与ＤＢＭ模型中涉及到的第２隐层单元　个数设置为１０００．训练过程中涉及到的参数设置　为：对于Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ（ｆｉｇｕｒｅ—ｇｒｏｕｎｄ）数据集，　迭代次数设置为１５００，学习率为０．０１，ＣＤ的步数设　置为１；对于Ｃａｌｔｅｃｈｌ０１　Ｓｉｌｈｏｕｅｔｔｅｓ数据集，训练过　程中涉及到的参数及其设置为：迭代次数设置为　３０００，学习率为０．００５，ＣＤ的步数设置为１．　４．２模型建模能力比较与分析　为评估ＲＢＭ与ＤＢＮ、ＤＢＭ深度学习模型对形　状的建懊能，Ｊ．从　个摸划ｉｆ　使用　懊　的采佯力‘　法得到一批肜状．以洲练形状和测　形状ｆ１　为　Ｊ　采样｝ＪＪ始¨Ｊ‘的输入．埘于Ｗｅｉｚｍ￣【『１ｌ１　Ｉｔｏｒｓｅ数　集　的采样达代次数没　ｌ　为１　００，Ｃａｈｅｃｈ１（）１　Ｓｉｌｈｏｔｌｅｔｔ　Ｌ　ｓ　实验数　的采样达代次数没　为３（／０．此时卡ｊ！Ｊ　的采样结　收敛．从摸　采仟，卜　的形状殳『　ｌ５　昕，Ｊ　．　５（Ａ）址以圳练数据作为输入的－ｈ　．　５　（Ｂ）足以测　数　作为输入的绌　．　【１１（　）列２：－输　入７ｆ；状数　．（１　）列址从ＲＢＭ模）　Ｉｌ　采样得到的肜　状．（ｃ）州址从Ｉ）ｌ｛Ｎ摸　ｌｆ１采样僻剑的形状．（（１）列　足从Ｉ）ｌ｛Ｍ中Ｉ！Ｊ　ｌ　采样僻剑的彤状．从　５　ｉＩｔ符帧　采样甜…的　小埘比一ｌｆ以行¨｛．ＲＢＭ卡Ｉ！，　愀　肜状＿ｉ１ｆ　火ｒ人　分的细节肜状．比殳¨采佯｛　剑的　形状　像人　分缺少　的头、尾、腿或　机ｎ，Ｊ机　等　的肜状　息．形状ｎ，Ｊ边缘比较模糊；Ｉ）ＩｊＮ十５１　Ｊ　址　ｆ５ｌ肜状ｌＩ１ｆ能够　州　『本姿势变化的彤状．恪怵结十勾　惨．　Ｉ　ｌ　ｆ，－　形状比较模糊：ＤＢＭ摸，　能够　成符　种　¨硷势的肜状ｌ｛‘能够观察剑，ｔ－＿成的肜状业为ｊＩ　晰　确定．　ｄ）　（　１）　（Ｉ】）　（【）　（（Ｉ】　（Ｂ）测试Ｊ　：　１　Ｉ　ｌｏｒｓｃ实验数抻；集　一　一　■■．｜Ｉ■■　．ＪＩ　■■■■　＾　＾　【　Ｉ）　ｌ１，１　（Ｌ　１　（（１）　（　Ｉ）　（１，１　（Ｌ）　（【Ｉ）　（＼）＿Ｊｌ　ｌ、　（１ｊ）测　？　Ｉ冬１　从符　¨　Ｉ　采样　成的形状（（　１）列址输入ｎ０肜状数　．（ｈ）列址从Ｉ，Ｕ￣Ｍ摸　采样　剁的形状，（　、）州址　从Ｉ）ｌ　Ｊ　ｆＩ采样　刮的形状．（（１）列址从Ｉ）ＢＭ谈　ｉ｛１　ｆｔｆ　｝　ｌＪ『．１　Ｊ】≥状）　定Ｊ　ｌ　ｊ分析使，　埘肜状的建ｆ｝｛能力．以形状　作为输入．使川ｔ瞅氏　离瞍　各模　采样输…‘ｊ输　＼　，　：　入之ＩｈＪ的＿卡ｌＩ似　ｔ＇ｉ　．太１　Ｊ陡爪的是　ｌＩ　１Ｗｅｉｚｍａ￣－ｉ１１　ｗ　Ｈｏｒｓｅ实验数　的　刈　比，表２腱乐的址　５　纠　ｌ｛Ｉ　Ｃａｌｔｅｃ］１１０１　Ｓｉｌｈｏｕｅｔｔ（　实验数据集的结果刈‘比．　表ｉｌ１的符仃　－ｊｌ纠５『ｆ１的辛午｛　对砬．从衷１　ｌ干ｌＪ表２　ｒｆ１　的数据Ｉ　ｊ‘以彳亍¨１．　：址以ｉＪｌｌ练形状作为输入，还址　以测试形状作为输入．使川深发学　摸　采样僻剑　的形状　ｊ输入　ｆＩＩ似．这说｝月｛使用深度学　模　对肜状进　缱ｆＩ！能够　＆　的拟合训练形状．　ＩＩ＿刈　小　于圳　ＩＩｆＩ，Ｊ删　肜状有很　的泛化能　．　表１　ｗｃｉｚｍＩｌｎｎ　ＩＩｏ，‘　ｃ实验数据集各模型采样输入与　输出的欧氏距离对比　测试形状　Ｉ）ｌ｛Ｍ　ＲＲＭ　Ｉ）ｌ｛Ｎ　Ｉ）ｌ｛Ｍ　１．１‘）？　）　７．Ｏ　Ｃ）７７　５．７８５０　１　８５８（）　｛．Ｈ２０：｛　８．５５９】　６　２　ｌ８　１．９（）　》：｛　！．｝Ｈ２ｎ　６．８（）【１３　５　６８：｛（）　】．　｛７３　７　．　１ｌ！　）　９．４　５Ｓ２　７．：｛８　７【　６．ｎ！（）：｛　３．：｛５“【　９．２１ｌ　Ｈ．！ｌ　５５　７．７　７　５　　一表　２　Ｃａｌｔ　ｅｃｈｌ０ｌ　Ｓｉｌｈｏｕｅｔｔｅｓ实验数据集各模型采样　输入与输出的欧氏距离对比　训练Ｊｆ；状　Ｉ　Ｍ　Ｉ）Ｉ；Ｎ　Ｉ）ｎＭ　ｌ　ＩＪＭ　（１）　７．２　ｌ０８　．Ｉ　７Ｈ５　２．５　）１５　８．８：｛ｌ０　（２）　：｛．８２　３１　１．Ｈ“　）　ｊ　２．（１Ｉ（　：｛　６．１　５　］０　（　）　７　７：｛（）　５．７２（｝（）　２．７１（）：｛　５．２　Ｉ：３８　则一　＿＾ｌ　＿一　（１）　６．＿）２１ｎ　５．１　１（１　）　：｛．１　０　）ｆ式；　¨　．５Ｕ　）０　０，一６　（　）　ｉ．１【＿２‘）　｛．．７１Ｉ　７　２．８（１８８　彤　６．１　５　７８　＾＿　二＿盯　状　　一『殳］６址从形状修　力‘　对比ＲＢＭ　　一一８：¨、Ｉ）ｒ、　ＢＮ、Ｉ）ＢＭ　深发学　卡ｌ！Ｊ　俄能，Ｊ．肜状修复的Ｉ｛怀址　给　三三　㈣　定输入形状邴分缺火的　下．使用模型　成形状　缺火　分川　能的肜状姿念．由下经过圳练之　的　模，Ｉ　能够为　，　的条什　天于　．　的值｛｛彳定一个确　定ｎ勺慨半分　（　，Ｊ　Ｊ　确定的肜状　域。“表爪缺　失的形状Ｉ　域）．所以　Ｊ　状修复过　ｌｌＪ町以通过　术丢火肜状、，　的条什卜采样得到丢失的或术观测　到的　余形状　．这・过　可通过使Ｊｆｊ　Ｇｉｂｂｓ采样　方法从条什分　川ｔ采样　刘，即执行一条屿尔科人　链．从［可　、隐Ｊ　ｔ　几刈｝、　的条件分布【｝Ｉ得到　ｆｌ　的状态．　意　ｊ吐次　新ｌＪＪ‘　层单元状忿Ｉ｛＇ｆ．确定的　形状邦分Ｖ　小作变化。　刈’术　测到的形状部分　，　新．Ｗｅｉｚｍａｍ１　Ｈｏｒｓ￣　数　集的达代ｊ欠数为１（）（）次。　Ｃａｈｅｃｈｌ　０ｌ　Ｓｉｌｌｌｏｔ１￣，１．１ｃｓ实验数据集的迭代次数为　３　Ｃ）０次．　６对　ｎ勺址彤状修复的实验结　。　一Ｉｔ　（ａ）列埘应的址从圳练　ｆ，选取的完整形状，（｝】）列　状釜　一（　｛）　（ｂ）　（　）　（（Ｉ）　（ｅ　（Ｂ）ｌ『　’观测形状为腿部　域　ｗｒｉＺｌｌｌａｎｎ　Ｉ｛ｏｒｓｅ实验数据集　（【、）口Ｊ观测形状为｝．．　Ｌ　ｒ　域　ｉ，ｈ　一ｒ　＾．１　１『　●●◆●●　●Ｉ●●●　■●■■．ＩＩ　ｎ＾　ｉＩｌ　０　硼　一ｌ　（　Ｉ）　（１１）　（Ｌ）　（（｛）　【【－）　（　Ｉ）　（Ｉ】）　（ｃ、）　（（１）　（Ｌ、）　【、ａｈｃｃｈ１　０１　Ｓｉｌｈｏｕ￣－ｌｌｔ＇ｓ实验数据集　矧６　符坝’　修　的　（（ｆ１）列过ｉＪｉｌ　集肜状．（Ｉ））列址输入的部分缺失）ｃ；状数据，（Ｌ－）列足利川ＲＢＭ模　修复僻划的　肜状．（ｃ｛）列址利川Ｉ）ＢＮ坝，　修复甜刽的形状．（・）删是利川Ｉ）ＢＭ模型修复得到的肜状）　刈心的址缺火　分形状　：域作为输入形状数据．　（　）列址使川ＲＰ，Ｍ模Ｊ　修　的结　．（ｄ）列是使川　形状姿势小同．但经过形状修复之后的结果肴起来　还足较为符合实际的．　Ｉ）ＢＮ卡Ｉｌ，　修　的结　．（（、）列是使川Ｉ）ＢＭ模　修复　ｆ￣＇ｏ－ｈ　．埘ｒ　Ｗｅｉｚｍ￣【１１１１　Ｈ（）ＹＳｅ实验数据集，（Ａ）组　埘心的址－，Ｊ‘观测的形状址头部　域．其它部分缺火；　（Ｉ｛）　埘心的址Ｉ　ｊ‘观洲的肜状足酃分腿部　域．其　它部分缺火；（（、）　×Ｉ』Ｊ、　的足缺火腿　形状Ｉ）‘＝域；埘　ｊ　Ｃａｈｅｃｈ１　０１　Ｓｉｌｈ｛）ｕｃｌ１ｃ　实验数据集．（八）纰对　图７给出的足　同　始化状态作　摸　采样　的初始化输入刘　从模　ｔｆ１采样得钊形状的影响．　Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ实验数据集的迭代次数没置为　１０００次，Ｃａｈｅｃｈ１０１　Ｓｉｌｈｏｕｅｔｔｅｓ实验数据集的迭代　次数没置为３（）００次．图７中给　的采样结果足重复　采样５次的结果，其采样得到的形状仃些小同．对于　Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ实验数据集，（Ａ）绢是刖一个随机　的址＿ＩＪ‘观洲的肜状址左侧Ｉ　域．　侧　域缺火；　（１｛）ｆｉｔ×１『心的址Ｉ叮观测的形状足下侧Ｉ　域．　侧　域缺火．从实验－ｈ　ｉ　Ｉ１１　ｆＪ『以　ｊ　Ｊ　５，ＲｔｊＭ模　能够根　确定的　域采样Ｈ１人体形状＿ｆＩｌ经过修复之后的　书Ｕ始化的数据作为各模型采样的初始状态．然后　过多次状态转移得到近似服从模　所定义的分　伽的形状；（Ｂ）组足川一个小的止力　块作为符模　采样的初始状态得剑的形状；（　、）绀足用一个Ｋ方　块作为　模　采样的仞始状态得到的形状．埘于　肜状还址缺火肜状的细１　信息．　成的形状缺夫部　分模糊；卡『｛对ｒ　ＲＢＭ模　．Ｉ）ＢＮ模　能够获得哇！　为清楚的形状姿势和轮廓．　体结卡勾完整但ｆ１标形　状还址较为模糊；Ｉ）ＢＭ模　则能够挟得Ｈ标形状更　Ｃａｈｅｃｈ１　０１　Ｓｉｌｈｏｕｅｔｔｅｓ实验数据集，（Ａ）绀足川一　个随机初始化的数据作为符模制采样的仞始状态；　（Ｂ）组的结果显示的是使用一个长方块作为符模　为清晰的形状．　僻缺失肜状部分的大小　确定和　１期　张娟等：基于深度学习的形状建模方法　输入　ＲＢＭ　输入　ＲＢＭ　Ｉ）ＢＮ　ＤＢＮ　ＤＩｊＭ　ＤＩ３Ｍ　（Ａ）随机初始化作为输入　（Ａ）随机初始化作为输入　●　输入　ＲＢＭ　＿输入　ＲＢＭ　　■－　．１ｌ■　Ｉ）ｌ｛Ｎ　ＤＢＮ　ｒ）ＨＭ　ＤＢＭ　ＩＩ．　（ｔｊ）一个长方块作为输入　（Ｂ）一个正方块作为输入　Ｉ输入　ＲＢＭ　　】输入ＲＩｊＭ　一　Ｉ）ＩｊＮ　ＤＢＮ　ＤＢＭ　Ｉ）ＢＭ　（【、）一个长方块作为输入　Ｗｅｉｚｍａｎｎ　Ｈｏｒ实验数据集（Ｃ）一个正方块作为输入　（￣ｌｔｅｃｈｌＯ１　Ｓｉｌｈｏｕｅｌｔｅｓ实验数据集　图７　不同的输人对采样得到样本的影响　采样的初始状态得到的形状；（　）组是使用一个大　的正方块作为模　采样的初始状态产生的形状．从　输出结果．结果表明模型在输入的形状含噪声的　情况下，输出能够有效地去除噪声对目标形状的　干扰，模型具有较强的抑制噪声的能力．　８（Ａ）　实验结果中可以看出．初始化状态的不同能够影响　由ＲＢＭ、ＤＢＮ、Ｉ）ＢＭ模型生成的样本的形状，它能　是从测试集中选取的３６幅原始形状图像，图８（Ｂ）　是在图８（Ａ）的基础上，Ｗｅｉｚｍａｎｎ　Ｈｏｒｓｅ实验数据　够决定形状的大体姿势和位置．并且能够从结果中　看出由ＤＢＮ、ＤＢＭ深度学习模型牛成的样本要比　集添加２０　、ＣａｈｅｃｈｌＯ１　Ｓｉｌｈｏｕｅｔｔｅｓ实验数据集添　加１５　的服从（０，１）均匀分布的噪声图像，图８（Ｃ）　是ＲＢＭ模型产生的结果，图８（Ｄ）是ＤＢＮ模型产　ＲＢＭ模　更符合要求，即形状的边缘比较清晰、四　肢等形状比较分明，形状数据更为确定，ＤＢＮ模型　乍成的样本日标完整但有些模糊，而ＤＢＭ模型生　成的形状的清晰度明显提高．这在实际应用中，可以　用仞始形状作为输入数据，根据模型采样的过程生　生的结果，图８（Ｅ）是ＤＢＭ模型产生的结果．从　图８中可以看出以噪声作为输入经各模型采样得　到的结果有效地去除了噪声，而且还保留了原图像　中的许多边缘．ＲＢＭ模型在采样过程中形状的边缘　轮廓部分丢失严重且变得模糊；而ＤＢＮ和ＤＢＭ模　型的整体效果更好，减少了形状边缘轮廓和形状弱　成一个既受到初始输入形状的影响也受到模型约束　的目标形状．该形状可以作为一个有效的形状模板　为其它应用提供形状先验约束．　图８是ＲＢＭ与ＤＢＮ、ＤＢＭ模型以含有噪声的　细节的丢失，ＤＢＭ模型的形状整体相对来说更为　清晰．　像作为模型采样过程的输入，迭代一次后的模型　（Ａ）来添　＿】噪Ｊ　ｆｒＪ降Ｈ鳃　（Ａ）术ｉ舔　泶Ｊ　的　像　（１｛）添自ｎｆ１　，　』－　的Ｉ刳像　（Ｉｊ）添加Ｉｌ１繁Ｊ　』ｌ　的图像　Ｄ）１）ＢＮ￣　像　Ｅ）Ｉ）Ｉ￣Ｍ输川剖像　（Ｉ　）Ｉ）ＢＭ输出　像　模型抑制嵘Ｊ：吖ｒ，ｊ　比较　１０ｌ　８｛　张　娟等：基于深度学习的形状建模方法　１４３　５　总　结　作为统计建模方法中的一种，由ＲＢＭ扩展的　ＤＢＮ、ＤＢＭ深度学习模型在图像处理中有着广泛　的应用．本文提出一类基于ＤＢＮ、ＤＢＭ深度学习模　型的形状建模方法，这类模型关注的是全局形状特　征，能够更好地体现形状的内在特性，对目标形状更　准确地建模．实验从多个方面对ＤＢＮ、ＤＢＭ深度学　习模型和ＲＢＭ形状模型进行比较，结果表明ＤＢＮ、　ＤＢＭ这两种深度形状表示模型比ＲＢＭ模型的建　模能力强，生成的形状更为符合现实．未来的研究包　括考虑形状对齐以及模型层数、节点数等参数的自　适应确定，将这类模型作为形状先验进一步扩展到　图像分割、图像检测应用中等．　参　考　文　献　［１］　Ａｌｅｘｅ　Ｂ，Ｄｅｓｅｌａｅｒｓ　Ｔ，Ｆｅｒｒａｒｉ　Ｖ．ＣｌａｓｓＣｕｔ　ｆｏｒ　ｕｎｓｕｐｅｒｖｉｓｅｄ　ｃｌａｓｓ　ｓｅｇｍｅｎｔａｔｉｏ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１ｌｔｈ　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ．Ｃｒｅｔｅ，Ｇｒｅｅｅｅ，２０１０：３８０—３９３　Ｅ２３　Ｅｓｌａｍｉ　Ｓ　Ｍ，Ｗｉｌｌｉａｍｓ　Ｃ．Ｆａｃｔｏｒｅｄ　ｓｈａｐｅｓ　ａｎｄ　ａｐｐｅａｒａｎｃｅｓ　ｆｏｒ　ｐａｒｔｓ—ｂａｓｅｄ　ｏｂｊｅｃｔ　ｕｎｄｅｒｓｔａｎｄｉｎｇ／／Ｐｒ０ｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２２ｎｄ　Ｂｒｉｔｉｓｈ　Ｍａｃｈｉｎｅ　Ｖｉｓｉｏｎ　Ｃｏｎｆｅｒｅｎｃｅ．Ｄｕｎｄｅｅ，Ｓｃｏｔｌａｎｄ，　２Ｏ１１：ｌ＿１２　Ｅ３］　Ｗｉｌｌｉａｍｓ　Ｃ　Ｋ　Ｉ，Ｔｉｔｓｉａｓ　Ｍ　Ｋ．Ｇｒｅｅｄｙ　ｌｅａｒｎｉｎｇ　ｏｆ　ｍｕｌｔｉｐｌｅ　ｏｂｊｅｃｔｓ　ｉｎ　ｉｍａｇｅｓ　ｕｓｉｎｇ　ｒｏｂｕｓｔ　ｓｔａｔｉｓｔｉｃｓ　ａｎｄ　ｆａｃｔｏｒｉａｌ　ｌｅａｒｎｉｎｇ．　Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，２００４，１６（５）：１０３９—１０６２　［４］　Ｌｅ　Ｒｏｕｘ　Ｎ，Ｈｅｅｓｓ　Ｎ，Ｓｈｏｔｔｏｎ　Ｊ，ｅｔ　ａ１．Ｌｅａｒｎｉｎｇ　ａ　ｇｅｎｅｒａｔｉｖｅ　ｍｏｄｅｌ　ｏｆ　ｉｍａｇｅｓ　ｂｙ　ｆａｃｔｏｒｉｎｇ　ａｐｐｅａｒａｎｃｅ　ａｎｄ　ｓｈａｐｅ．Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，２０１１，３（３）：５９３—６５０　Ｅｓ］　Ｃｏｏｔｅｓ　Ｔ　Ｆ，Ｔａｙｌｏｒ　Ｃ　Ｊ，Ｃｏｏｐｅｒ　Ｄ　Ｈ，ｅｔ　ａ１．Ａｃｔｉｖｅ　ｓｈａｐｅ　ｍｏｄｅｌｓ—ｔｈｅｉｒ　ｔｒａｉｎｉｎｇ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎ．Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｉｍａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ，１９９５，６１（１）：３８—５９　Ｅ６３　Ｂｏｙｋｏｖ　Ｙ　Ｙ，Ｊｏｌｌｙ　Ｍ　Ｐ．Ｉｎｔｅｒａｃｔｉｖｅ　ｇｒａｐｈ　Ｃｕｔｓ　ｆｏｒ　ｏｐｔｉｍａｌ　ｂｏｕｎｄａｒｙ＆ｒｅｇｉｏｎ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｏｆ　ｏｂｊｅｃｔｓ　ｉｎ　Ｎ　Ｄ　ｉｍａｇｅｓ／／　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　８ｔｈ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ．Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，２００１：１０５—１１２　［７］　Ｒｏｕｓｓｏｎ　Ｍ，Ｐａｒａｇｉｏｓ　Ｎ．Ｐｒｉｏｒ　ｋｎｏｗ　ｌｅｄｇｅ　ｌｅｖｅｌ　ｓｅｔ　ｒｅｐｒｅｓｅｎｔ＆　ｖｉｓｕａｌ　ｇｒｏｕｐｉｎｇ．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　２００８，７６（３）：２３１－２４３　［８３　ＬｅＣｕｎ　Ｙ，Ｂｅｎｇｉｏ　Ｙ，Ｈｉｎｔｏｎ　Ｇ　Ｅ．ＤｅｅＰ　ｌｅａｒｎｉｎｇ．Ｎａｔｕ　ｒｅ．　２０１５，５２１（７５５３）：４３６　４４４　［９］Ｈｉｎｔｏｎ　Ｇ　Ｅ，Ｓｅｊｎｏｗｓｋｉ　Ｔ　Ｊ．Ｌｅａｒｎｉｎｇ　ａｎｄ　ｒｅｌｅａｒｎｉｎｇ　ｉｎ　Ｂｏｈｚｍａｎｎ　ｍａｃｈｉｎｅｓ．Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓｓｉｎｇ：Ｅｘｐｌｏｒａｔｉｏｎｓ　ｉｎ　ｔｈｅ　Ｍｉｃｒｏｓｔｒｕｃｔｕｒｅ　ｏｆ　Ｃｏｇｎｉｔｉｏｎ，１９８６，１：２８２—３１７　Ｅｌ０］　Ｓｍｏｌｅｎｓｋｙ　Ｐ．Ｉｎｆｏｒｍａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ　ｉｎ　ｄｙｎａｍｉｃａｌ　ｓｙｓｔｅｍｓ：　Ｆｏｕｎｄａｔｉｏｎｓ　ｏｆ　ｈａｒｍｏｎｙ　ｔｈｅｏｒｙ．Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃｏｌｏｒａｄｏ，　Ｂｏｕｌｄｅｒ：ＴｅｃｈｎｉｃａＩ　Ｒｅｐｏｒｔ　ＣＵ　ＣＳ　３２卜８６，１９８６　［１１］　Ｈｉｎｔｏｎ　Ｇ　Ｅ，Ｏｓｉｎｄｅｒｉ　Ｓ，Ｔｅｈ　Ｙ．Ａ　ｆａｓｔ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｄｅｅｐ　ｂｅｌｉｅｆ　ｎｅｔｓ．Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，２００６，１８（７）：　１５２７　１５５４　［１２］　Ｒｏｕｘ　Ｎ　Ｌ，Ｂｅｎｇｉｏ　Ｙ．　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａ１　ｐｏｗｅｒ　ｏｆ　ｒｅｓｔｒｉｃｔｅｄ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅｓ　ａｎｄ　ｄｅｅｐ　ｂｅｌｉｅｆ　ｎｅｔｗｏｒｋｓ．　Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，２００８，２Ｏ（６）：１６３１—１６４９．　［１３］　Ｓａｌａｋｈｕｔｄｉｎｏｖ　Ｒ，Ｈｉｎｔｏｎ　Ｇ　Ｅ．Ｄｅｅｐ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅｓ／／　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１　２ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　ａｎｄ　Ｓｔａｔｉｓｔｉｃｓ．Ｆｌｏｒｉｄａ，ＵＳＡ，２００９：４４８—４５５　［１４］　Ｋａｅ　Ａ，Ｓｏｈｎ　Ｋ，Ｌｅｅ　Ｈ，ｅｔ　ａｌ，Ａｕｇｍｅｎｔｉｎｇ　ＣＲＦｓ　ｗｉｔｈ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅ　ｓｈａｐｅ　ｐｒｉｏｒｓ　ｆｏｒ　ｉｍａｇｅ　ｌａｂｅｌｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ｐｏｒｔｌａｎｄ，ＵＳＡ，２０１３：２０１９—２０２６　［１５］　Ｃｈｅｎ　Ｆ，Ｙｕ　Ｈ，Ｈｕ　Ｒ，ｅｔ　ａ１．Ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｓｈａｐｅ　ｐｒｉｏｒｓ　ｆｏｒ　ｏｂｊｅｃｔ　ｓｅｇｍｅｎｔａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ｐｏｒｔｌａｎｄ，ＵＳＡ，　２Ｏ１３：１８７０　１８７７　Ｅｌ６］　Ｅｓｌａｍｉ　Ｓ　Ｍ　Ａ，Ｈｅｅｓｓ　Ｎ，ＷⅢｉａｍｓ　Ｃ　Ｋ　Ｉ，ｅｔ　ａ１．Ｔｈｅ　ｓｈａｐｅ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅ：Ａ　ｓｔｒｏｎｇ　ｍｏｄｅｌ　ｏｆ　ｏｂｊｅｃｔ　ｓｈａｐｅ．Ｉｎｔｅｒ—　ｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，２０１４，１０７（２）：１　５５　ｌ７６　［１７］　Ｆｉｓｃｈｅｒ　Ａ，Ｉｇｅｌ　Ｃ．Ｔｒａｉｎｉｎｇ　ｒｅｓｔｒｉｃｔｅｄ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅｓ：　Ａｎ　ｉｎｔｒｏｄｕｃｔｉｏｎ．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，２Ｏ１４，４７（１）：２５—３９　［１８］　Ｈｉｎｔｏｎ　Ｇ　Ｅ．Ｔｒａｉｎｉｎｇ　ｐｒｏｄｕｃｔｓ　ｏｆ　ｅｘｐｅｒｔｓ　ｂｙ　ｍｉｎｉｍｉｚｉｎｇ　ｃｏｎｔｒａｓｔｉｖｅ　ｄｉｖｅｒｇｅｎｃｅ．Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，２００２，１４（８）：　１７７卜１８００　［１９］　Ｂｅｎｇｉｏ　Ｙ，ＬｅＣｕｎ　Ｙ．Ｓｃａｌｉｎｇ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍｓ　ｔｏｗａｒｄｓ　ＡＩ．Ｌａｒｇｅ—Ｓｃａｌｅ　Ｋｅｒｎｅｌ　Ｍａｃｈｉｎｅｓ，２００７，３４（５）：３２１　３５９　［２ｏ］　Ｈｉｎｔｏｎ　Ｇ　Ｅ，Ｄａｙａｎ　Ｐ，Ｆｒｅｙ　Ｂ，ｅｔ　ａ１．Ｔｈｅ　ｗａｋｅ—ｓｌｅｅｐ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｕｎｓｕｐｅｒｖｉｓｅｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ．Ｓｃｉｅｎｃｅ，１９９５，２６８（５２１４）：　】１　５８一】】６］　［２１］Ｓａｌａｋｈｕｔｄｉｎｏｖ　Ｒ，Ｈｉｎｔｏｎ　Ｇ　Ｅ．Ａｎ　ｅｆｆｉｃｉｅｎｔ　ｌｅａｒｎｉｎｇ　ｐｒｏｃｅｄｕｒｅ　ｆｏｒ　ｄｅｅｐ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅｓ．Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，２０１２，　２４（８）：１９６７－２００６　［２２］　Ｚｈｕ　Ｓ　Ｃ，Ｄｅｌｌａｅｒｔ　Ｆ，Ｔｕ　Ｚ　Ｗ．Ｍａｒｋｏｖ　ｃｈａｉｎ　Ｍｏｎｔｅ　Ｃａｒｌｏ　ｂａｓｉｃｓ．Ａｄｖａｎｃｅｓ　ｉｎ　Ｎｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ，　２００５，５：４９７－５３７　［２３］　Ｈａｓｔｉｎｇｓ　Ｗ　Ｋ．Ｍｏｎｔｅ　Ｃａｒｌｏ　ｓａｍｐｌｉｎｇ　ｍｅｔｈｏｄｓ　ｕｓｉｎｇ　Ｍａｒｋｏｖ　ｃｈａｉｎｓ　ａｎｄ　ｔｈｅｉｒ　ａｐｐｌｉｃａｔｉｏｎｓ．Ｂｉｏｍｅｔｒｉｋａ，１９７０，５７（１）：　９７　１Ｏ９　［２４］　Ｗａ１ｓｈ　Ｂ．Ｍａｒｋｏｖ　ｃｈａｉｎ　Ｍｏｎｔｅ　Ｃａｒｌｏ　ａｎｄ　Ｇｉｂｂｓ　ｓａｍｐｌｉｎｇ．　Ｎｏｔｅｓ，２００４，９１（８）：４９７　５３７　［２５］　Ｈｉｎｔｏｎ　Ｇ　Ｅ．Ａ　ｐｒａｃｔｉｃａｌ　ｇｕｉｄｅ　ｔｏ　ｔｒａｉｎｉｎｇ　ｒｅｓｔｒｉｃｔｅｄ　Ｂｏｌｔｚｍａｎｎ　ｍａｃｈｉｎｅｓ．Ｍｏｍｅｎｔｕｍ，２Ｏ１０，９（１）：５９９－６１９　１４４　计　算　机　学　报　２Ｏ１８年　ＺＩｔＡＮＧ　Ｊｕａｎ，ｂｏｒｎ　ｉｎ　１９９２，Ｍ．Ｓ．　ｃａｎｄｉｄａｔｅ．Ｈｅｒ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｅｌｕｄｅ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ．　Ｂａｃｋｇｒｏｕｎｄ　Ｍｏｄｅｌｓ　ｏｆ　ｔｈｅ　ｓｈａｐｅ　ｏｆ　ａｎ　ｏｂｊ　ｅｃｔ　ｐｌａｙ　ａ　ｃｒｕｃｉａｌ　ｒｏｌｅ　ｉｎ　ｍａｎｙ　ａｐｐｌｉｃａｔｉｏｎｓ　ｓｕｃｈ　ａｓ　ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ，ｉｍａｇｅ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｉｎｐａｉｎｔｉｎｇ．Ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｔｈｅ　ｇｒａｙ，ｔｅｘｔｕｒｅ，ｅｄｇｅ　ａｎｄ　ｏｔｈｅｒ　ｌｏｗ－ｌｅｖｅｌ　ｖｉｓｕａｌ　ｆｅａｔｕｒｅｓ　ｏｆ　ｔｈｅ　ｉｍａｇｅ，ｓｈａｐｅ　ａｓ　ｈｉｇｈ　ｌｅｖｅｌ　ｖｉｓｕａｌ　ｆｅａｔｕｒｅ　ｈｅｌｐｓ　ｔｏ　ｄｅｓｃｒｉｂｅ　ｔｈｅ　ｇｌｏｂａｌ　ｖｉｓｕａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ａｎ　ｏｂｊｅｃｔ　ｂｅｔｔｅｒ．Ｉｎ　ｇｅｎｅｒａｌ，ｔｈｅ　ａｌｇｏｒｉｔｈｍ’ｓ　ｐｅｒｆｏｒｍａｎｃｅ　ｗｉｌｌ　ｂｅ　ｉｍｐｒｏｖｅｄ　ａｆｔｅｒ　ｇｌｏｂａｌ　ｓｈａｐｅ　ｉｎｆｏｒｍａｔｉｏｎ　（ｅｘｐｒｅｓｓｅｄ　ｂｙ　ｇｏｏｄ　ｍｏｄｅ１）ｊｏｉｎｅｄ．Ａｔ　ｐｒｅｓｅｎｔ，ｔｈｅｒｅ　ａｒｅ　ｍａｎｙ　ｍｅｔｈｏｄｓ　ｔｏ　ｍｏｄｅｌｉｎｇ　２－ｄｉｍｅｎｓｉｏｎａｌ　ｓｈａｐｅ．Ｔｈｅ　ｓｈａｐｅ　ｅｘｐｒｅｓｓｅｄ　ｉｎ　ｍａｒｋｅｄ　ｐｏｉｎｔ　ｓｅｔ　ｉｓ　ｏｎｅ　ｏｆ　ｔｈｅ　ｅａｓｉｅｓｔ　ｗａｙ．Ｉｔ　ｉｓ　ｂａｓｅｄ　ｏｎ　ｍａｒｋｅｄ　ｐｏｉｎｔ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ｍｏｄｅ１．Ｂｕｔ　ｓｕｃｈ　ｒｅｐｒｅ—　ｓｅｎｔａｔｉｏｎ　ｉｓ　ｔＯＯ　ｐａｓｓｉｖｅ．Ｔｈｅ　ｐｏｉｎｔｓ　ｎｅｅｄ　ｔｏ　ｍａｒｋ　ｍａｎｕａｌｌｙ　ａｎｄ　ｉｔ　ｉｓ　ｅｒｒｏｒ－ｐｒｏｎｅ．Ｔｈｅ　ｍｏｓｔ　ｃｏｍｍｏｎｌｙ　ｕｓｅｄ　ｍｏｄｅｌｓ　ａｒｅ　Ｍａｒｋｏｖ　ｒａｎｄｏｍ　ｆｉｅｌｄｓ　ｏｒ　ｃｏｎｄｉｔｉｏｎａｌ　ｒａｎｄｏｍ　ｆｉｅｌｄｓ．Ｉｎ　ｓｕｃｈ　ｍｏｄｅｌｓ，ｔｈｅ　ｐａｉｒｗｉｓｅ　ｐｏｔｅｎｔｉａｌｓ　ｃｏｎｎｅｃｔｉｎｇ　ｎｅｉｇｈｂｏｒｉｎｇ　ｐｉｘｅｌｓ　ｉｍｐｏｓｅ　ｖｅｒｙ　ｌｏｃａｌ　ｃｏｎｓｔｒａｉｎｔｓ，ｔｈｕｓ　ｔｈｅｙ　ａｒｅ　ｕｎａｂｌｅ　ｔｏ　ｃａｐｔｕｒｅ　ｍｏｒｅ　ｃｏｍｐｌｅｘ　ｐｒｏｐｅｒｔｉｅｓ．Ｌｅｖｅｌ　ｓｅｔ　ｃａｎ　ａｌｓｏ　ｂｅ　ｕｓｅｄ　ｔｏ　ｒｅｐｒｅｓｅｎｔ　ｓｈａｐｅ．Ｉｎ　ｌｅｖｅ１　ｓｅｔ　ｍｅｔｈｏｄ，ｓｉｇｎｅｄ　ｄｉｓｔａｎｃｅ　ｆｕｎｃｔｉｏｎ　ｉｓ　ｕｓｅｄ　ｔｏ　ｒｅｐｒｅｓｅｎｔ　ｓｈａｐｅ．Ｔｈｅ　ｓｈｏｒｔｃｏｍｉｎｇｓ　ｏｆ　ｔｈｉｓ　ｋｉｎｄ　ｏｆ　ｍｅｔｈｏｄ　ｉｓ　ｔｈａｔ　ｄｕｒｉｎｇ　ｔｈｅ　ｃｕｒｖｅ　ｅｖｏｌｕｔｉｏｎ　ｐｒｏｃｅｓｓ，ｓｉｇｎｅｄ　ｄｉｓｔａｎｃｅ　ｆｕｎｃｔｉｏｎ　ｗｉｌ１　ｏｓｃｉｌｌａｔｅ。ａｎｄ　ｔｈｅｎ　ｍａｋｅｓ　ｔｈｅ　ｆｉｎａ１　ｓｈａｐｅ　ｏｆ　ｔｈｅ　ｃｕｒｖｅ　ｅｖｏｌｕｔｉｏｎ　ｄｅｖｉａｔｅ　ｆｒｏｍ　ｔｈｅ　ｒｅａｌ　ｓｈａｐｅ　ｏｆ　ｔｈｅ　ｏｂｊｅｃｔ’ｓ　ｃｏｎｔｏｕｒ．　Ｉｎ　ａｄｄｉｔｉｏｎ，ｔｈｉｓ　ｍｅｔｈｏｄ　ｃａｎｎｏｔ　ｆｉｔ　ｍｕｌｔｉ—ｍｏｄａｌ　ＷＡＮＧ　Ｘｉ－Ｌｉ，ｂｏｒｎ　ｉｎ　１９６９，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ，Ｐｈ．Ｄ．　ｓｕｐｅｒｖｉｓｏｒ．Ｈｅｒ　ｍａｊｏｒ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｉｎｔｅｌｌｉｇｅｎｔ　ｉｎｆｏｒｍａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ，ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ．　ＹＡＮＧ　Ｊｉａｎ—Ｇｏｎｇ，ｂｏｒｎ　ｉｎ　１９７４，Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ，　ｌｅｃｔｕｒｅｒ．Ｈｉｓ　ｍａｊｏｒ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ．　ｄｉｓｔｒｉｂｕｔｉｏｎ．　Ｒｅｃｅｎｔｌｙ，ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌｓ　ｈａｖｅ　ａｔｔｒａｃｔｅｄ　ｍｏｒｅ　ａｎｄ　ｍｏｒｅ　ａｔｔｅｎｔｉｏｎｓ　ｂｅｃａｕｓｅ　ｏｆ　ｔｈｅｉｒ　ｅｘｃｅｌｌｅｎｔ　ｌｅａｒｎｉｎｇ　ａｂｉｌｉｔｙ　ｏｎ　ｍｏｄｅｌｉｎｇ　ｄａｔａ　ｗｉｔｈ　ｉｎｔｒｉｎｓｉｃ　ｓｔｒｕｃｔｕｒｅ．Ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌｓ　ｃｏｎｔａｉｎ　ｍｕｌｔｉｐｌｅ　ｌｅｖｅｌｓ　ａｎｄ　ｈｉｄｄｅｎ　ｐｅｒｃｅｐｔｉｏｎ　ｕｎｉｔｓ．Ｔｈｅｙ　ｃａｎ　ｅｘｔｒａｃｔ　ｍｕｌｔｉ—ｌｅｖｅｌ　ｆｅａｔｕｒｅｓ　ａｎｄ　ｒｅｐｒｅｓｅｎｔ　ｃｏｍｐｌｉｃａｔｅｄ　ｄａｔａ　ｄｉｓｔｒｉｂｕｔｉｏｎ．Ｔｈｅｙ　ｆｏｒｍ　ｈｉｇｈ－ｌｅｖｅｌ　ｄａｔａ　ａｂｓｔｒａｃｔ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｔｈｒｏｕｇｈ　ｃｏｍｂｉｎｉｎｇ　ｔｈｅ　ｌｏｗｅｒ　ｌａｙｅｒ　ｆｅａｔｕｒｅｓ．Ｉｎ　２０　１　２，Ｅｓｌａｍｉ　ｅｔ　ａ１．ｐｒｏｐｏｓｅｄ　ａ　ｐｒｏｂａｂｉｌｉｓｔｉｃ　ｍｏｄｅｌ　ｆｏｒ　ｔｈｅ　ｔａｓｋ　ｏｆ　ｍｏｄｅｌｉｎｇ　ｂｉｎａｒｙ　ｏｂｊ　ｅｃｔ　ｓｈａｐｅｓ．Ｈｏｗｅｖｅｒ，ｄｕｅ　ｔｏ　ｔｈｅ　ｐａｒｔｉａｌ　ｃｏｎｎｅｃｔｉｏｎ　ｂｅｔｗｅｅｎ　ｖｉｓｉｂｌｅ　ｌａｙｅｒ　ａｎｄ　ｈｉｄｄｅｎ　ｌａｙｅｒ，ｔｈｅ　ｏｂｊｅｃｔ　ｓｈａｐｅ　ｗｉｌｌ　ａｐｐｅａｒ　ｓｅａｍｓ　ｗｈｅｎ　ｔｈｅ　ｍｏｄｅｌ　ｉｓ　ｕｓｅｄ　ｔｏ　ｇｅｎｅｒａｔｅ　ｓｈａｐｅ．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｗｅ　ｐｒｏｐｏｓｅ　ｔｗｏ　ｓｈａｐｅ　ｍｏｄｅｌｓ　ｂａｓｅｄ　ｏｎ　ｄｅｅｐ　ｍｏｄｅｌｓ　ｔｏ　ｒｅｐｒｅｓｅｎｔ　ｔｈｅ　ｃｏｍｐｌｉｃａｔｅｄ　ｇｌｏｂａｌ　ｓｈａｐｅ　ｆｅａｔｕｒｅｓ．　Ｔｈｅ　ｓａｍｐｌｅｓ　ｇｅｎｅｒａｔｅｄ　ｆｒｏｍ　ｔｈｅ　ｄｅｅｐ　ｍｏｄｅｌｓ　ｌｏｏｋ　ｍｏｒｅ　ｒｅａｌｉｓｔｉｃ　ａｎｄ　ｃｏｍｐｌｅｔｅｄ，ｗｈｉｃｈ　ｉｎｄｉｃａｔｅ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｓｈａｐｅ　ｍｏｄｅｌｓ　ａｒｅ　ｅｆｆｅｃｔｉｖｅ　ｉｎ　ｓｈａｐｅ　ｒｅｐｒｅｓｅｎｔｉｎｇ　ａｎｄ　ｇｅｎｅｒａｔｉｎｇ．　Ｔｈｉｓ　ｗｏｒｋ　ｉｓ　ｓｕｐｐｏｒｔｅｄ　ｂｙ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｆｏｕｎｄａｔｉｏｎ　ｏｆ　Ｃｈｉｎａ　ｕｎｄｅｒ　Ｇｒａｎｔ　Ｎｏｓ．４１ｌ７１３３８，４１４７１２８０，　ａｎｄ　６１４０１２６５．Ｔｈｅｙ　ａｒｅ　ｆｏｃｕｓ　ｏｎ　ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ　ｉｎ　ｈｉｇｈ－　ｒｅｓｏｌｕｔｉｏｎ　ｒｅｍｏｔｅ　ｓｅｎｓｉｎｇ　ｉｍａｇｅ．Ｗｅ　ｗｉｌｌ　ａｐｐｌｙ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｓｈａｐｅ　ｍｏｄｅｌｓ　ｔｏ　ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ　ｉｎ　ｆｕｒｔｈｅｒ　ｓｔｕｄｙ．