您好,欢迎来到华佗小知识。
搜索
您的当前位置:首页基于机器视觉的裸片表面缺陷在线检测研究

基于机器视觉的裸片表面缺陷在线检测研究

来源:华佗小知识
团豳 巴 翥 ■ a塑篓篓豳鲤 先进封装技术与设备 鲎塾 鱼 基于机器视觉的裸片表面缺陷 在线检测研究 林佳,王海明,郭强生,刘晓斌,周丹 (中国电子科技集团公司第四十五研究所,北京100176) 摘 要:针对准确和实时检测裸片表面缺陷的需求,提出了一种基于线性判别分析(Linear Discriminant Analysis,LDA)和支持向量机(Support Vector Machine,SVM)的在线检测算法。首先, 采用高斯滤波方法滤除裸片表面图像中的噪声:然后,提取裸片表面缺陷的Hu不变矩和方向梯 度直方图(Histogram ofOriented Gradients,HOG1特征,采用LDA方法对特征进行降维;接着,在 离线建模阶段.学习裸片表面正常模式的高斯混合模型(Gaussian Mixture Model,GMM),并学习 各种缺陷模式的SVMs;最后,在线检测阶段使用GMM判断是否存在缺陷,使用K最近邻(K Nearest Neighbor,KNN1算法分类缺陷的模式。提出算法在采集的裸片数据库中得到了88.11%的 检测准确率.单幅图像的平均检测时间为44.7 ms。实验结果表明,提出算法具有较高的检测准确 性与实时性.可以应用到实际生产中的裸片表面缺陷在线检测。 关键词:晶圆划片;裸片表面缺陷检测;表面特征;线性判别分析;支持向量机 中图分类号:TP391.41 文献标识码:A 文章编号:1004.4507(2018)02—0013—05 Research on Online Detection of Die Surface Defects Based on Machine Vision LIN Jia,WANG Haiming,GUO Qiangsheng,LIU Xiaobin,ZHOU Dan (The 45 Research Instiute tof CETC,Beijing 1 00 1 76,China) Abstract:For accurate and real—time detection of die surface defects,an online detection algorithm based on Linear Discriminant Analysis(U)A)and Support Vector Machine(SVM)is proposed. Firstly,the Gaussian filtering method is improved to filter the noise in the die surface image.Next,the HU invariant moments and histogram of oriented gradients fH0G1 features of die surface defects are extracted,and the LDA method is adopted to reduce the feature dimension.Then,in the off-line modeling phase,the GMM of the norma1 die surface pattem and the SVMS of various defect patterns are constructed.Finally,in the on 1ine detection phase,the GMM iS used to iudge whether there are defects,and the patterns of the defects are classiifed by K Nearest Neighbor(1(】 J)algorithm.The detection accuracy of the proposed algorithm is 88.1 1%in the captured die database.The average 收稿日期:2018—03.23 砸■团咽(总第269期)(@ 先进封装技术与设备 电子工业毫用设备 - detection time of single image is 44.7ms.The experimental results show that the proposed algorithm has high detection accuracy and is provided with real-time performance.It can be applied to the on—line detection of die surface defects in the actual production. Key words:Wafer dicing;Die surface defect detection;Surface feature;Linear discriminant analysis; Support vector machine 晶圆划片过程中的任何异常都可能导致划切 阶段。 好的裸片表面产生缺陷。准确识别裸片表面的各 种缺陷模式,可帮助发现和调整在线划片过程中 的异常因素,以降低废品率,避免因大批量裸片表 面缺陷而造成巨大的成本损失[”。 基于概率统计模型的方法在晶圆和裸片表面 缺陷检测中被广泛应用[ 4。。这些方法主要对表面 缺陷的模式进行统计分析,虽能够检测出缺陷的 形状,但无法有效分类出缺陷的模式。随着机器学 习研究的深入,隐马尔科夫[s]和神经网络 ]等方 法被越来越多的应用于晶圆和裸片表面缺陷检 测。这些常用的模式识别方法都需要大量的训练 样本来训练分类器。 为解决上述问题,本文提出了基于线性判别分 析(Linear Discriminant Analysis,LDA) ̄I]支持向量 机(Support Vector Machine,SVM)的在线检测算 法。为了突出裸片表面的模式特征,该算法首先使 用高斯滤波方法对裸片表面图像进行滤噪处理。然 后,使用Hu不变矩和方向梯度直方图(Histogram of Oriented Gradients,HOG)等高维特征来表达裸 片表面缺陷的模式信息。接着,采用LDA方法消除 特征中的冗余信息,获得能够准确表达裸片表面缺 陷模式的低维特征。接着,离线构建正常裸片表面 模式的高斯混合模型(Gaussian Mixture Model, GMM)#H各种表面缺陷模式的SVMs。最后,在线检 测时,使用GMM判断是否存在缺陷,并使用K最 近邻(K Nearest Neighbor,KNN)算法分类缺陷的具 体模式。通过与现有方法进行实验对比,证明了提 出方法的准确性和实时性。 1裸片表面缺陷检测算法原理 提出的算法包括离线建模和在线检测两个 1.1离线建模 f1)使用高斯滤波对训练图像进行滤噪。训练 图像包含正常的裸片表面图像和各种缺陷模式的 裸片表面图像。(2)提取裸片表面缺陷的Hu不变 矩和HOG等高维特征数据。(3)采用LDA算法对 高维特征进行降维,得到低维特征。(4)分别构建 正常裸片表面模式的GMM和各种裸片表面缺陷 模式的SVMs。 1.2在线检测 (1)按1.1中步骤(1)一(3)来处理在线生产时采 集的裸片表面图像。(2)使用1.1步骤(4)中已经学 习好的GMM判断晶圆表面图像中是否存在已学 习的缺陷模式。(3)如果存在缺陷,则采用已学习的 SVMs,并结合KNN算法判定其具体的缺陷模式。 2图像滤噪与特征提取 2.1图像滤噪 高斯滤波算法通过适当加大滤波窗口中心点 的权值来减少滤波处理造成的图像模糊[ 。随着 距离中心点的距离增大,权值迅速减小,从而可以 确保中心点更接近于与它距离更近的点『9_。大小 为(2 +1)×(2o)+1)的滤波模板M(x,Y)的定义如 式(1)所示: M(x,y)= 1 eXp卜监 其中, 为滤波窗口半径;( ,y)为时刻t采集 的图像 的像素点的坐标;方差为 。实际进行高 斯滤波时, 和 都是固定的,也就是对于所有像 ● 电子工业墓用设备 先进封装技术与设备 素点都使用周一个滤波模板。 和 的取值不同, 滤波效果也会不同,根据实验经验,一般设 =5, =4离线建模与在线检测 在离线建模阶段建立正常裸片表面的模型 GMM,并对现有的Ⅳ种裸片表面缺陷分别学习 SVM模型,建模时采用降维后的特征。 GMM是用高斯概率密度函数精确量化数据混 合密度分布的模型。设d维随机变量H=[H ,...,Ⅳ 0.8。 2.2表面缺陷特征提取 提出方法Hu不变矩和HOG特征向量来表 征裸片表面缺陷的模式。Hu不变矩特征向量有7 维,其描述了目标的形状。HOG特征向量的维数 从几十到几百维不等,由细胞单元大小Y和梯度 方向分组数 决定。它使用梯度和边缘方向密度 分布描述了目标的表观和形状。 3线性判别分析算法 特征的维数过高会增加分类器学习的计算量 和复杂度,给学习和分类缺陷模式带来“维度灾 难”。实际上维数过高的特征对于分类性能也会造 成负面影响[9]。基于Fisher准则的LDA算法能够 有效提取高维特征中最具判别力的低维数据信 息。LDA通过选择类间离散度和类内离散度的比 值最大的低维特征,使同一模式的缺陷样本聚集 在一起,不同模式的缺陷样本尽量分开『l0]。 假设有Ⅳ种缺陷模式,样本的类内散布矩阵 5 和类问散布矩阵.s 可以表示为: s = ∑∑( 一 )(∥一 z) (2) 』 i=1 =1 = ∑ ( ) t ) (3) 式中,K表示样本总数; 表示第i种缺陷模 式的特征数量; 表示第i种缺陷模式的特征均 值; 表示第 种缺陷模式的第 个特征; 表示所 有特征的均值。 Fisher准则的目标函数定义为: = (4) )将不同模式的S 和 结合在一起,取极 大化 )的矩阵 眦作为投影方向。其物理意义 是:特征在 删上投影后,类间离散度和类内离散 度之比达到最大[10]。 服从有限个正态分布,h=[h ,...,h 】为 的一组样 本,令其中一个样本h的概率密度函数为[11】: p(h l咖)= "ITl P z(h l Oz) (5) 1=】 其中, 是GMM包含的高斯分量的个数。 L (耵 ≥0, 盯 =1)是第f个概率密度函数P z(h l 0z) f=1 的权重。Ol= ,S ), 是期望,S 是协方差矩阵。参 数集定义为咖=(1T .., ;0 .., 。 通过贝叶斯 信息准则确定,期望最大算法被用来估计参数 。 建立正常裸片表面的GMM时,在整个裸片表面 图像内提取特征。 SVM以结构化风险最小化为原则,兼顾训练误 差(经验风险)与测试误差(期望风险)的最小化[9]。 给定训练特征样本( ,Y ),…,( ,Yq),…, Q,YQ), 为d维特征向量,类标签Yq∈{一1,1} 。要对 两类样本进行分类,目标就是根据训练样本寻找 具有最大分类间隔的分割超平面。超平面方程 为式: +b=0 (6) 其中,箍为测试样本特征,1,0为权矢量,b为偏 差项。 对于线性可分的二分类问题,最优分类函数 如式(7)所示, 尺 )=sgn[(w。 )+b]= 0 sgn[ aqyq(X‘ )+b] (7) q=1 其中,%为拉个朗日系数, 为某类模式的全 部训练特征。%根据文献 中的方法求解。 对于线性不可分的情况,可以通过非线性变 换将其转化为某个高维空间中的线性问题,在变 换空间求得最佳分离超平面【9]。此时的最优分类 函数为: 先进封装技术与设备 电子工业专用设备 lid 尺 )=sgn[(w· ( ))+b]: 文献[1_的方法。提出方法将较多的Nomal模式的裸 sgn{ aqXq[O(X)· ( )]+b} q 1 f卫 ] (8) 片表面图像错误地判断为包含缺陷。采集裸片表面 图像时,由于机器视觉硬件系统的问题,图像中会 其中, 代表非线性映射。由于非支持向量的 包含噪音,导致一些正常裸片表面也会错误判定为 存在缺陷。根据实验结果,提出方法的总体检测准 %为0,所以式(8)可以写为式(9), f Q 1 R )=sgn{L q=SV ∑ [ ( )· ∑ q=1 )]+6}(J 9) 其中,5 为支持向量的集合。式(9)就是SVM 方法确定的最终非线性分类的决策函数。%同样 根据文献『9_中的方法进行求解。 在线检测阶段,采用正常裸片表面模式的 GMM判断,f中是否存在缺陷,选取式(5)的负对数 似然概率作为GMM输出。如果存在,则用Ⅳ种缺 陷的SVM模型分别进行分类,并计算相应的分类 分数,接着采用KNN算法分类缺陷的具体模式。 5实验结果与分析 实验采用生产过程中采集的裸片表面图像数 据集来验证提出方法的准确性和实时性。数据集 包含7 000幅已标记缺陷模式的裸片表面图像样 本,其中Center、Donut、Local、Edge-local和Edge— ring等5种缺陷模式各1 000幅。数据集还包含 2 000幅正常模式(Norma1)的裸片表面图像样 本。将文献…中进行晶圆表面缺陷检测的算法 应用于裸片表面缺陷检测,与提出算法进行对比 实验。 离线建模阶段随机选取2 100幅裸片表面图 像样本,每种表面缺陷模式选300个训练样本,正 常晶圆表面模式选600个训练样本。在线检测阶 段使用剩余的4 900幅裸片表面图像样本,即每 种表面缺陷模式有700个测试样本,正常裸片表 面模式有1 400个测试样本。学习某类缺陷模式 的SVM时,该类缺陷模式的训练样本作为正样 本,标注为Yq=1。其余缺陷模式和正常裸片表面 模式的训练样本作为负样本,标注为Yq=.1。 首先验证提出方法检测裸片表面是否存在缺 陷的准确性,结果如表1所示。提出方法在判断 Center、Edge—ring、Edge—local和Local这4种缺陷 模式的测试样本中是否存在缺陷的准确率要高于 确度要高于文献[1]方法。提出方法的检测准确率为 98.04%,文献[1]方法的准确率为97.78%。 表1检测有无裸片表面缺陷的准确率对比 缺陷模式 百 接着验证提出方法检测裸片表面缺陷的具体 模式的准确性,结果如表2所示。通过对比可以发 现,提出方法在所有测试样本中的平均准确率为 88.11%,高于文献…的平均准确率86.26%。提出 方法的准确率满足裸片表面缺陷检测的需要。将 提出方法错误判定为包含表面缺陷的13个正常 裸片样本进行具体缺陷模式的检测,其中5个样 本被识别为Edge.ring缺陷模式,8个样本被识别 为Local缺陷模式。 表2裸片表面缺陷模式的检测准确率对比 缺陷模式_l{百 本实验在4 900幅测试样本上对比了提出算 法和文献[1j方法,进一步验证了提出算法的实时性。 实验所用的计算机配置为:Windows10、CPU Intel @CoreTM i7 4700MQ、2.4 GHz、RAM 8 GB。开发软 件为Matlab R2016a。文献…方法平均每帧的检测 时间为57.3ms,比提出方法平均高了12.6 ms。实 验结果表明提出方法具有较好的实时性,其检测效 率能够满足在线检测裸片表面缺陷的要求。 (下转第45页) 团 — 口 豳 设备,2008,37(41:28—32. 设备维护与维修 鱼笙 壅堡 [2] 周虎明.步进光刻机中的成像线宽控制[J].电子工业 专用设备,2001,30(11:27—33. 使用年限的增加,故障现象也会多样化。这些情况 对维修人员提出了更高的要求。只要我们维修人员 了解设备的工作原理、熟悉设备组成结构,在故障 排查过程中思路清晰,查出故障原因的时间就会大 [3] 陈世杰.分步重复投影光刻机套刻误差模型的研究 [J].微细加工技术,1995,(3):8-13. .大缩短。修复故障的效率也会得到很大的提升。 参考文献: [1] 马建军.光学光刻技术的历史演变[J].电子工业专用 .址 作者简介: 雷宇(1982一),男,山东省东明人,工程师,毕业于哈 尔滨工业大学,主要从事半导体设备的维护与维修工作。 址.址.址.S止.S止..毒 .j止.jI.L (上接第16页) 2007,40(21:93—101. Friedman D J,Hansen M H,Nair V N,et a1.Model—free estimation of defect clustering in integrated circuit fabri— ] 6结束语 本文针对晶圆划片后检测裸片表面缺陷的要 求,提出了一种基于LDA和SVM的在线检测算 法。首先,使用高斯滤波算法以消除划片过程中的 随机因素引起的噪声。然后,提取裸片表面的Hu cation[J].IEEE Transactions on Semiconductor Manufac— turing,1997,10(3):344—359. ] ] ] 】 O 1 曾臻,戴曙光,穆平安.基于神经网络的晶圆缺陷分 类系统[C].第八届工业仪表与自动化学术会议,上海, 2007,364.369. 不变矩和HOG特征来表征裸片表面模式,并采用 LDA算法对这特征进行降维。接着,建立正常裸 片表面的GMM和各种裸片表面缺陷的SVMs。最 后,使用已学习的GMM判断是否存在缺陷,使用 己学习的SVMs和KNN算法判断缺陷的具体模 式。实验结果表明,提出方法实现了裸片表面缺陷 的准确与快速检测。后续工作将深入研究能更好 谢飞.基于计算机视觉的自动光学检测关键技术与应 用研究[D].南京:南京大学,2013. C.Y.Chang,C.Li,J.W.Chang,et a1.An Unsupervised Neural Network Approach for Automatic Semiconductor Wafer Defect Inspection[J].Expe ̄Systems wiht Applica- tions,2009,36(1、:950-958. 张铮,徐超,任淑霞,等.数字图像处理与机器视觉[M】. 北京:人民邮电出版社,2015. 尹洪涛,付平,沙学军.基于DCT和线性判别分析的 人脸识别[J].电子学报,2009,37(10):2211-2214. 地表征裸片表面缺陷模式的特征提取方法,并推 进研究成果在晶圆划片中的实际应用。 参考文献: [1】 吴斌,卢笑蕾,余建波.晶圆表面缺陷模式的在线探 余建波,卢笑蕾,宗卫周.基于局部与非局部线性判 别分析和高斯混合模型动态集成的晶圆表面缺陷探 测与识别 .自动化学报,2016,42(1):47—59. Sl上 测与自适应识别研究 .计算机工程与应用,2016,52 (17):261—265+270. [2]Hess C,Weiland LH.Extraction ofwafer—level defect den. sity distributions to improve yield prediction[J].IEEE Transactions on Semiconductor Manufacturing,1999,12 作者简介: 林佳(1987.),男,山东潍坊人,博士,实验室负责人, 主要从事机器视觉、人机交互和认知学习方面的研究。 王海明(1971.),男,北京市人,工程师,主要从事半 导体专用设备制造与工艺的研究。 郭强生(1968一),男,甘肃静宁人,学士,研究员级高 级工程师,主要从事半导体专用设备研制的研究。 刘晓斌(1978.),男,山西大同人,学士,高级工程师, 主要从事机器视觉方向的研究。 周丹(1992.),女,河南南阳人,硕士,主要从事机器 视觉方向的研究。 (2):175—183. [3]Hwang JY,Kuo W.Model—based clustering for integrated circuit yield enhancement[J].European Journal of Oper一  ̄ional Research,2007,178(1):143-153. [4】 Yuan T,Kuo W.A model-based clustering approach to the recognition of the spatial defect pa ̄ems produced during semiconductor fabrication[J].IIE Transactions, 匝衄(总第269期)⑥ 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- huatuo0.cn 版权所有 湘ICP备2023017654号-2

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务