维普资讯 http://www.cqvip.com 第２７卷第７期 仪 器 仪 表 学 报 Ｖ０Ｌ ２７ Ｎｏ．７ ２００６年７月 Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏ ｆ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔ Ｊｕ１．２００６ 基于组合特征的车牌字符识别 路小波凌小静刘 斌 （东南大学教育部智能运输系统工程研究中心南京 ２１００９６） 摘要 提出了基于Ｚｅｒｎｉｋｅ矩和小波变换特征相结合的车牌字符识别方法。利用Ｚｅｒｎｉｋｅ矩描述字符全局特征，小波变换系 数描述字符细节特征，采用神经网络进行车牌字符分类。测试结果表明，这种组合了两种特征优点的方法实用有效，识别效 果优于两种特征使用的情况。 关键词 车牌字符识别 Ｚｅｒｎｉｋｅ矩 小波变换 特征提取 中图分类号ＴＰ２文献标识码 Ａ国家标准学科分类代码 ５２０．６０４ Ｌｉｃｅｎｓｅ ｐｌａｔｅ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｏｍｂｉｎｅｄ ｆｅａｔｕｒｅｓ Ｌｕ Ｘｉａｏｂｏ Ｌｉｎｇ Ｘｉａｏｊｉｎｇ Ｌｉｕ Ｂｉｎ （Ｅｎｇｉｎｅｅｒｉｎｇ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｆｏｒ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ ｕｎｄｅｒ Ｍｉｎｉｓｔｒｙ ｏｆ Ｅｄｕｃａｔｉｏｎ， Ｓｏｕｔｈｅａｓｔ Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｉｉｎｇ ２１００９６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａ ｍｅｔｈｏｄ ｏｆ ｌｉｃｅｎｓｅ ｐｌａｔｅ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｚｅｒｎｉｋｅ ｍｏｍｅｎｔ ａｎｄ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｆｅａｔｕｒｅｓ．Ｔｈｅ Ｚｅｒｎｉｋｅ ｍｏｍｅｎｔ ｉｓ ｕｓｅｄ ｔｏ ｄｅｓｃｒｉｂｅ ｔｈｅ ｇｌｏｂａｌ ｆｅａｔｕｒｅ ｏｆ ｔｈｅ ｃｈａｒａｃｔｅｒｓ，ａｎｄ ｔｈｅ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｆｏｒ ｔｈｅ ｄｅｔａｉｌｅｄ ｆｅａｔｕｒｅ ｏｆ ｔｈｅ ｃｈａｒａｃｔｅｒｓ．Ａ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｓ ｕｓｅｄ ｔｏ ｃｌａｓｓｉｆｙ ｔｈｅ ｌｉｃｅｎｓｅ ｐｌａｔｅ ｃｈａｒａｃｔｅｒｓ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈｅ ｐｒｅｓｅｎｔｅｄ ｍｅｔｈｏｄ ａｃｈｉｅｖｅｓ ｂｅｔｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ａｃｃｕｒａｃｙ ｔｈａｎ ｕｓｉｎｇ ｔｗｏ ｆｅａｔｕｒｅｓ ｓｅｐａｒａｔｅｌｙ． Ｋｅｙ ｗｏｒｄｓ ｌｉｃｅｎｓｅ ｐｌａｔｅ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ Ｚｅｒｎｉｋｅ ｍｏｍｅｎｔ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ 像的伸缩、倾斜及背景干扰比较敏感，识别效果不够 １ 引 言 理想。 一些矩函数能够较好的提取全局特征。Ｔｅｈ［４ 车牌自动识别技术在智能交通系统中具有重要 评价了各种不同类型的图像矩，发现Ｚｅｒｎｉｋｅ矩具 的应用价值，其中的关键技术是车牌定位和车牌字 有最好的综合性能。Ｋｈｏｔａｎｚａｄｃ 的研究也表明， 符识别。国内外学者在车牌定位和字符识别方面进 使用Ｚｅｒｎｉｋｅ矩的神经网络分类器有很强的类分离 行了大量研究［１＿３］，促进了该领域的发展。这里主要 能力。由于多数矩特征仅仅提取了图像的全局信 对车牌字符识别进行研究，在车牌定位的基础上，进 息，用它们很难区分一些相似的字符，特别是在字符 行车牌字符特征提取和字符分类。 受噪声干扰的情况下。 车牌识别系统工作在室外环境，拍摄的图像易 字符图像在不同分辩率上的细节反映了字符的 出现变形失真，且分辨率低、易受各种因素干扰，采 不同结构特征，Ｌｅｅ［ 将二维小波变换应用于手写 用传统的字符识别（ＯＣＲ）方法进行车牌字符识别 体数字识别，并且对ＥＴＬ样本库中的字符进行了测 难以取得理想效果。车牌字符识别的典型方法是基 试，得到很好的识别效果。 于模板匹配的识别方法［１ ］，但模板匹配法对车牌图 这里将Ｚｅｒｎｉｋｅ矩和小波特征相结合，提出了 ＊本文于２００５年２月收到，系高等学校科技创新工程重大项目培育资金（７０５０２０）、江苏省自然科学基金（ＢＫ２００４０７７）资助项目 维普资讯 http://www.cqvip.com 第７期 路小波等：基于组合特征的车牌字符识别 基于组合特征的车牌字符识别方法。利用Ｚｅｒｎｉｋｅ 矩提取字符全局特征、小波变换提取字符细节特征， 采用神经网络进行车牌字符分类，组合特征综合了 两种特征方法的优点，识别结果优于两种特征 使用的情况。 ２ Ｚｅｒｎｉｋｅ矩特征提取 ２．１ 图像的Ｚｅｒｎｉｋｅ矩 阶的Ｚｅｒｎｉｋｅ多项式 （ｒ， ）定义为在极坐 标系中ｒ，０的函数 ： （ｒ， ）一Ｒ （ｒ）ｅｉ阳 （１） 式中：Ｒ （ｒ）是一实数值的径向多项式，由下式 给出： （２） 。一 ｃ 辐。（ ） （３） 重Ｚｅｒｎｉ一 一 皇蓦 ， （ ）（４） 式中：ｒ一（ｚ。＋ 。）寺／Ｎ， 一ｔａｎＩ１（ｙ／ｘ） ２．２ Ｚｅｒｎｉｋｅ矩特征提取 假设图像的Ｚｅｒｎｉｋｅ矩为Ｚ ，可以证明［ ，旋 转后图像的Ｚｅｒｎｉｋｅ矩Ｚ 为： Ｚ 一Ｚ ｅｘｐ（ｊｍａ） （５） 从式（５）可以看出，Ｚｅｒｎｉｋｅ矩的数值在旋转后 没有变化。因此，１ Ｚ １可以看作是一个旋转不变 量。因为Ｚ一 一Ｚ ，则１ Ｚ １：１ Ｚ ．一 １，所以只要 考虑ｍ≥０时的１Ｚ １作为特征。 通过将原图像ｆ（ｘ， ）进行变换，得到ｇ（ｘ， ）， 可实现尺度和平移不变性： ｇ（ ）一 （ ＋ ， ＋ ） （６） 式中：（ ， ）是厂（ ）的中心， 一 ， 一 ； ｎ一 ，卢为一限定值；ｍ加一 圣ｚ ｆ（ｘ， ）。 实现尺度和平移不变，会影响两个Ｚｅｒｎｉｋｅ矩 特征：１ Ｚｏ。１和１ Ｚ Ｉ。可以证明，１ Ｚ０。１一卢／７ｃ，１ Ｚ ｌ 一０。因此１Ｚ∞１和１Ｚ １不用作字符分类的特征。 ２．３矩特征向量维数的选取 ． 好的特征集应该能够很好的刻画和描绘原图 像，原图像与从其矩的有限集重构之间的差异，可作 为衡量这个矩集描绘原图像能力的测度＿８］。 假设 （ｚ， ）表示使用图像ｆ（ｘ， ）的０到ｉ阶 矩进行重构后的二值图像。 ’ （ｚ， ）一Ｆ（１∑∑ｚ （１０， ）１）Ｖｚ，Ｙ（７） 这里Ｆ表示映射到灰度区间Ｅｏ，２５５］，直方图 均衡后进行二值化。 用 和厂之间的Ｈａｍｍｉｎｇ距离Ｈ（ ，ｆｉ）作 为表征两者差异的测度。如果ＨＧ ，厂）≤ｅ（￡是阈 值），则ｉ阶矩就具有了足够的信息表征原图像厂 （ｚ， ）。 ３小波变换特征提取 小波变换可通过系数矩阵表征字符图像不同分 辨率上的特性。字符图像在不同分辨率的细节表征 字符不同的结构，小波变换的系数可作为表征字符 的特征。 对图像ｆ（ｘ， ）进行正交小波分解＿ｇ］，在分辨率 ２ ，Ａ多厂代表信号的低频分量，Ｄ｛ 厂和Ｄ ｆ分别代 表３，和ｚ方向的高频分量，Ｄ ｆ代表对角方向的高 频分量。 ４ Ｚｅｒｎｉｋｅ矩和小波变换特征组合 假设两个字符样本，它们有着相似的形状，它们 的Ｚｅｒｎｉｋｅ矩特征分别用１ ｚ １和１ ｚ １表示， 则有［１。。： １ ｚ １—１ ｚ １＋△ｚ加＋Ｎ加 （８） 式中：Ａｚ加为两个字符样本特征元素之间的差异， Ｎ加为计算误差。 由于Ｚｅｒｎｉｋｅ矩定义为径向变量ｒ圆内的全局 径向函数，它是在整个字符图像空间的积分，弱化了 局部细节，Ａｚ加值就较小，Ｎ加值较大。因此Ｚｅｒｎｉｋｅ 矩趋向于将有相似形状的字符样本识别为同一字 符，而不管这些样本是否来自同一字符，这种特性有 利于识别属于相同类别却有着较大形状差异的字 符，但对属于不同类别却具有相似形状的字符识别 不利。 小波分解后，Ｄ｛ ｆ和Ｄ； ｆ分别代表 和ｚ方 维普资讯 http://www.cqvip.com ７００ 仪器仪表学报 第２ ７卷 向的高频分量，Ｄ２ ｆ代表对角方向的高频分量，因 此Ｄｊ 厂、Ｄ； 厂和Ｄ； 厂描述了字符不同分辨率下的 细节特征，因此小波变换在识别具有相似形状的不 同类字符时有着很好的效果。 如果将小波变换特征和Ｚｅｒｎｉｋｅ矩特征进行组 合，形成车牌字符特征向量，Ｚｅｒｎｉｋｅ矩特征提取字 符的全局信息，小波特征提取字符的细节特征，则有 可能同时利用字符图像的细节信息和全局信息，从 而得到更好的分类性能。 ５ 测试结果 采用从高速公路收费站现场拍摄的图像，将经 过车牌定位、字符分割后得到的字符分为两组，一组 作为训练样本集，如表１所示，另一组作为测试样本 集，如表２所示。由于所采集的样本中汉字和字母 数量较少，所以样本集中只包含数字。 表１训练样本集 字符 ｏ １ ２ ３ ４ ５ ６ ７ ８ ９ 数量 ６６ ５２ ６１ ７７ ３６ ４０ ５１ ５３ ４９ ６４ 数量 ９１ ６３ ４２ ３９ ３６ ３４ ３３ ３２ ４８ ４３ 通过上节的分析，这里将Ｚｅｒｎｉｋｅ矩和小波变 换特征组合形成特征向量，采用３层（输入层、隐层、 输出层）ＢＰ神经网络进行车牌字符识别。 采用表１的训练样本集，利用２．３节的方法选 取矩特征向量的维数。１Ｏ个字符各有其合适的矩 特征向量维数，为便于后面的分类，各字符的特征数 应该一致。因此，这里选择其中最大的维数１２作为 字符矩阶数，除去不作为特征的Ｉ Ｚ０。Ｉ和Ｉ Ｚ Ｉ， Ｚｅｒｎｉｋｅ矩共有４７个特征元素；对字符图像进行两 级小波分解，取第２级高频分量Ｄ 厂、Ｄ； ｆ和Ｄ３ｚ，ｆ 共４８个特征值，因此特征向量共有４７＋４８—９５个 元素。 采用３层ＢＰ神经网络进行车牌字符识别。字 符特征向量维数９５，因此神经网络有９５个输入节 点。采用表１的训练样本集对神经网络进行训练， 输出层１Ｏ个节点，经试验，取隐层节点数为１６，训 练结果如图１所示。 图１ 字符特征向量维数为９５时神经网络训练曲线 采用表２的测试样本集，利用训练收敛后的神 经网络进行车牌字符识别，识别结果如表３所示。 为显示该方法的优点，基于同样的训练样本集 和测试样本集，笔者分别采用Ｚｅｒｎｉｋｅ矩特征提取 方法和小波变换特征提取方法，采用３层神经网络 进行车牌字符识别。 基于Ｚｅｒｎｉｋｅ矩特征提取方法，特征向量维数 ４７，神经网络输入层节点数为４７个，输出层节点数 为１Ｏ，经试验，取隐层节点数为８，利用表１的训练 样本集进行神经网络训练，训练结果如图２所示，识 别结果如表３所示。 蝾 蔷 图２字符特征向量维数为４７时神经网络训练曲线 基于小波变换特征提取方法［６］，对字符图像进 行两级小波分解，取两级小波分解分量Ａ争ｆ、Ｄ； ｆ、 Ｄｉ ｆ和Ｄ； ｆ共３２０个特征值，神经网络输入层节 点数为３２０个，输出层节点数为１Ｏ，经试验，取隐层 节点数为３９，利用表１的训练样本集进行神经网络 训练，训练结果如图３所示，识别结果如表３所示。 从以上测试结果可以看出，同两种特征识 别方法相比，文中提出的基于组合特征的方法分类 神经网络收敛快、识别率高。 维普资讯 http://www.cqvip.com 第７期 路小波等：基于组合特征的车牌字符识别 ７０１ ［３］ 黄卫，路小波，余彦翔，等．基于小波与纹理分析的汽 车牌照定位ＥＪ］．中国工程科学，２００４，６（３）：１６—２２． ．＼ ＼ ［４］ ＴＥＨ Ｃ Ｈ．Ｏｎ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｂｙ ｔｈｅ ｍｅｆｈｏｄｓ ｏｆ ｍｂ— ． 、 ＼ ｍｅｎｔｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ 。蝾 ＼ ＼ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，１９８８，１０（４）：４９６—５１３． ＼ ［５］ ＫＨＯＴＡＮＺＡＤ．Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｉｎｖａｒｉａｎｔ ｉｍａｇｅ ｒｅｐ— 目标误差 ＼ ｒｅｓｅｎｔａｔｉｏｎｓ ｕｓｉｎｇ ａ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，１９９０， 训练次数 ３８（６）：１０２８—１０３８． 图３基于小波变换特征提取方法的神经网络训练曲线 ［６］ ＬＥＥ Ｓ Ｗ．Ｍｕｌｔｉ—ｒｅｓｏｌｕｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｕｎｃｏｎ— ｓｔｒａｉｎｅｄ ｈａｎｄｗｒｉｔｔｅｎ ｎｕｍｅｒａｌｓ ｗｉｔｈ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ ａｎｄ ｍｕｌｔｉ—ｌａｙｅｒ ｃｌｕｓｔｅｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ［Ｊ］．Ｐａｔｔｅｒｎ ６ 结 论 Ｒｅｃｏｇｎｉｔｉｏｎ，１９９６，２９（１２）：１９５３—１９６１． ［７］ 王耀明．图像的矩函数ＥＭ］．上海：华东理工大学出版 由于车牌识别系统工作在室外环境，使得车牌 社，２００２． 字符识别具有特殊性，采用传统的字符识别方法效 ［８］ ＫＨＯＴＡＮＺＡＤ Ａ，ＨＯＮＧ Ｙ Ｈ．Ｉｎｖａｒｉａｎｔ ｉｍａｇｅ 果不佳。文中提出了基于Ｚｅｒｎｉｋｅ矩和小波变换组 ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｚｅｒｎｉｋｅ ｍｏｍｅｎｔｓ ＥＪ］．ＩＥＥＥ Ｔｒａｎｓａｃ— 合特征的车牌字符识别方法，Ｚｅｒｎｉｋｅ矩特征提取字 ｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉ［ｇｅｎｃｅ， 符的全局信息，小波特征提取字符的细节特征，通过 １９９０，１２（５）：４８９—４９７． 对收费站现场采集的车牌字符的测试表明，该方法 ［９］ 夏良正．数字图象处理ＥＭ］．南京：东南大学出版 具有很好的识别效果，识别结果优于两种特征 社，１９９９． 使用的情况。 Ｄｏ］ ＣＨＡ０ Ｋ，ＳＲＩＮＡＴＨ Ｍ Ｄ．Ｃｏｍｂｉｎｅｄ ｆｅａｔｕｒｅｓ ｏｆ ｃｕｂｉｃ Ｂ－ｓｐｌｉｎｅ ｗａｖｅｌｅｔ ｍｏｍｅｎｔｓ ａｎｄ Ｚｅｒｎｉｋｅ ｍｏｍｅｎｔｓ 参考文献 ｆｏｒ ｉｎｖａｒｉａｎｔ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ［Ａ］．Ｉｎ：Ｐｒｏｃｅｅｄ— ｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈ— ［１］ ＣＯＭＥＬＬＩ Ｐ．Ｏｐｔｉｃａｌ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｍｏｔｏｒ ｖｅｈｉｃｌｅ ｌｉ— ｎｏｌｏｇｙ［ｃ］．Ｌａｓ Ｖｅｇａｓ，２００１：５１１—５１５． ｃｅｎｓｅ ｐｌａｔｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，１９９５，４４（４）：７９０—７９９． 作者简介 ［２］ ＮＡＩＴＯ Ｔ．Ｒｏｂｕｓｔ ｌｉｃｅｎｓｅ ｐｌａｔｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ 路小波１９６５年７月出生工学博士 教授 主要研 ｆｏｒ ｐａｓｓｉｎｇ ｖｅｈｉｃｌｅｓ ｕｎｄｅｒ ｏｕｔｓｉｄｅ ｅｎｖｉｒｏｎｍｅｎｔ ＥＪ］． 究方向为仪器与测试技术 道路交通图像处理与识别 视 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０００， 频交通信息检测技术等。 ４９（６）：２３０９—２３１９． Ｅ－ｍａｉｌ：ｘｂｌｕ＠ｓｅｕ．ｅｄｕ．ｃａ
