第25卷第2期 2015年2月 计算机技术与发展 C0MPUTER TECHNOLOGY AND DEVELOPMENT Vo1.25 No.2 Feb. 2015 红外焦平面阵列非均匀性校正算法研究 吕 游 ,何 昕 ,魏仲慧 (1.中国科学院长春光学精密机械与物理研究所,吉林长春130033; 2.中国科学院大学,北京100039) 摘要:红外焦平面阵列(IRFPA)的非均匀性校正是提升红外系统成像质量的重要环节。非均匀性校正算法主要分为基 于参考辐射源的标定类校正算法和基于场景的校正算法。将基于参考辐射源的标定类校正算法按线性模型与非线性模 型进行详细分类,基于场景的校正算法按空域和时域进行详细分类。针对不同类特点,分别对上述算法进行了详细的分 析及比较,为今后非均匀性校正算法的选择提供理论基础,并根据现有两类算法特点,提出算法未来的研究方向。 关键词:红外焦平面阵列;非均匀性校正;标定类校正算法;基于场景校正算法;自适应校正算法 中图分类号:TP751;TN216 文献标识码:A 文章编号:1673—629X(2015)02—0001—05 doi:10.3969/j.issn.1673—629X.2015.02.001 Research on Non-uniformity Correction Algorithms for IRFPA L0 You ,HE Xin ,WEI Zhong—hui (1.Changchun Insittute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences, Changchun 130033,China; 2.University of Chinese Academy of Sciences,BeOing 100039,China) Abstract:Non—uniformity correction of IRFPA is all impo ̄ant link in improving the quality of infrared imaging system.Non-uniformity correction algorihm its mainly divided into calibration class correction algorihm based on refterence radiation source and the correction al— gofithm based on scene.Calibration class correction algorithm based on reference radiation source is subdivided accoring tdo the linear models and nonlinear models,and correction algorithm based on scene is subdivided accoring tdo the spatil aand temporal domain.Ac— cordingtothe characterisics ofdtifferentalgorithms,each ofthealgorihmst aboveareanalyzed and comparedin detail.Providethetheo- retical foundation for choice of non—uniormitfy correction algorithm,and according to the characterisics of ttwo kinds of lgoraithms,pro— posethe algorithm research directioninthefuture. Key words:IRFPA;non—uniformity correction;calibration class algorihm;cortrection algorihm batsed on scene;adaptive correction algo- rithm O 引 言 红外焦平面阵列(IRFPA)是现代红外成像系统的 要的工作 。目前,国内外众多学者对红外焦平面阵 列非均匀性校正(Non—uniformity Correction)进行了 大量的研究。非均匀性校正方法主要分为两类:基于 参考辐射源的标定类方法和基于场景的校正方法。定 标类非均匀校正方法的基本原理非常简单,校正精度 关键部件,作为新一代的红外探测器其兼具辐射敏感 及信号处理功能…。在理想的情况下,红外焦平面阵 列在受到均匀辐射照射时,探测元输出的图像灰度应 完全一样,然而,受到材料、制造工艺和工作环境等因 素的影响,红外焦平面阵列普遍存在着非均匀性,具体 表现为:IRFPA各探测元在相同辐照条件下,通常会表 现出不同的响应,非均匀性的存在会显著降低成像的 信噪比和辨析率,极大地成像系统的性能,因此基 于IRFPA的成像系统中,非均匀性校正是一项十分必 收稿日期:2014—03—17 修回日期:2014—06—22 高,实时性好,易于硬件实现,但这类方法需借助参考 源进行周期性定标,且工作量大 。基于场景的非均 匀性校正方法能够根据场景信息的改变实现校正系数 的自适应更新,在一定程度上克服焦平面阵列响应漂 移带来的校正误差,不要求定标,但需多幅图像才可实 现,且没有考虑到光学系统所产生的非均匀性 。 网络出版时间:2014—12—27 基金项目:国防科技预研项目(1040603) 作者简介:吕游(1988一),男,博士研究生,从事数字图像处理、红外辐射测量方面的研究。 网络出版地址:http://www.cnki.net/kcms/detail/61.1450.TP.20141227.1347.035.html ・2・ 计算机技术与发展 第25卷 文中在介绍非均匀性定义及产生原因的基础上, 对非均匀性校正算法进行了分类,对几种典型算法进 行了深入比较与分析,避免低水平重复研究。 l 非均匀性的定义及产生原因 目前,包括红外焦平面阵列在内的固体图像传感 器的非均匀性,一直没有绝对统一的定义和度量方法。 根据中华人民共和国国家标准GB/T17444.一1998红外 焦平面阵列特性参数测试技术规范,对于非均匀性 (NU)的定义如下: 1厂———— ————— — ——————一 NU √ ( — vg) 1 M 式中,v 丽 ;M为焦 平面阵列总行数;N为焦平面阵列总列数; 为焦平 面阵列中坐标为(i, )像元的响应输出信号幅值;vo 为除去无效像元之后所有像元的相应输出信号幅值的 平均值;d为焦平面阵列中的死像元数;h为焦平面阵 列中的过热像元数。 IRFPA非均匀性产生的原因多种多样,十分复杂, 无法建立完整、精确的数学模型及计算理论,目前对其 数学描述仅处于经验公式阶段。IRFPA非均匀性产生 的原因一般分为:(1)红外探测器自身的非均匀性,主 要由制造探测器的材料质量和制造工艺决定。(2)探 测器与读出电路的耦合非均匀性。该类原因主要由探 测器件的电荷转移效率以及探测器与CCD读出电路 的耦合程度不同产生。(3)器件工作状态引入的非线 性。红外辐射强度的变化区间、器件所处的工作温度 等因素都会对焦平面阵列的均匀性产生影响。(4)红 外光学系统的影响。光学系统的空间变化产生的非均 匀性主要表现为固定图像噪声。 2基于参考辐射源的标定类非均匀性校正 方法 基于参考辐射源的标定类非均匀性校正是红外辐 射测量中的一项关键技术,直接影响红外辐射测量的 精度 。此类校正方法的本质是获得各单元信号到整 个焦平面单元的平均响应信号的映射,使用校正函数 来表达这种映射关系,红外焦平面探测单元的响应模 型一般可按是否线性分为线性模型和非线性模型 。 线性响应模型下的主要算法有:单点法、两点法和 多点法;非线性响应模型下主要算法有:基于插值、基 于多项式和基于最佳平方逼近的校正算法。 2.1基于线性模型的校正算法 2.1.1单点校正法 单点非均匀性校正算法的原理图如图1所示。 , …,, 代表红外焦平面阵列N个像元的辐射响应 曲线。设在均匀辐射‰照射下像元i的响应灰度值为 DN ( 。),则全部像元的平均灰度值为: Ⅳ . DN( 。)= 1∑DN ( 。) ’ i:I 则像元i的单点校正参数DN 为 D.N =DN( 。)一DN (‰) DN DN2 DNI DNN 图1 单点校正原理示意图 设辐射 下像元i的响应灰度值为DN ( ),校正 后输出灰度值为DNI( ),那么在任意辐射 照射下 像元 的校正公式如下: DNI( )=DN ( )+DN 单点校正只校正了偏置,没有校正增益,因此只有 在校正点附近校正效果较好,一般建议校正点最佳位 置为饱和值的50%左右,但在工程应用中很难做到校 正点位置的精确选取。 2.1.2两点校正算法 两点校正算法研究开展较早,算法较为成熟,该算 法基于两个前提假设。首先探测器的响应在线性区 间,其次应保证探测器的响应在时间上的稳定性,以确 保定标数据在使用时间段内的有效性。两点校正算法 的原理图如图2所示。 图2 两点校正原理示意图 两点校正算法假定探测器的模型如下: ‘ ) uii ̄P+ 式中, 和 是坐标为(i, )阵列元的增益和偏 移量。 采用两点法可实现IRFPA非均匀性校正,即: ‘ )=G )+0 式中,G 为校正增益;0 为校正偏置。 探测源在高温 和低温 下的响应可归一化为 和VL: =G ( H)+O VL=G ( L)+0 锄 第2期 吕游等:红外焦平面阵列非均匀性校正算法研究 ・3・ 联立上式,得到校正增益和校正偏置: 布,完成数据存储,算法复杂度较高 …。 2.2.2基于多项式拟合的校正方法 G = —VL/[ ( )一 ( )] O =VL ( )一 ( )/[ ( )一 ( )] 多项式拟合是将红外系统看作是一个可用泛函级 数Volterra描述的因果非线性系统。探测元对于输入 辐射度 的响应可以用 的有限次多项式来近似,把 利用上式获得校正系数后,分别对各探测元的校 正增益G 和校正偏置0 进行存储,在探测过程中以 此对探测器的响应值不断进行校正。两点校正算法简 单、计算量小,但由于假定的系统模型与实际响应差别 较大,导致两点校正算法存在动态范围小的缺点 。 针对两点定标校正法中校正精度随温度的漂移问 整个IRFPA对同一输入辐射度 的平均响应作为校 正期望值H 。实际计算中,一般先计算出标定点的校 正期望值,然后拟合得到校正后的探测元响应曲线,完 成非均匀性校正。 题,文献[7]中提出二次参数补偿两点定标方案,依据 实际信号动态范围进行实时精度补偿,一定程度上提 高了两点校正算法的校正精度。文献[8]中也对两点 校正算法进行了改进,提出基于辐射衰减的非均匀性 校正方法,将基于IRFPA的成像设备对准某一均匀天 区、或某一温度点的面阵黑体、或直接采用镜头盖,通 过切换辐射衰减片档位,即可获得不同均匀辐射下的 两幅图像,再利用两点校正公式即可计算得到每一探 测元的校正系数。该方法的最大优点是只需一个校正 源即可实现两点校正,且不受应用环境,从而尽可 能地保证校正效果 。 2.1.3多点校正算法 多点校正算法是对两点校正算法的扩展,能有效 解决两点法动态范围小的缺点。多点校正法示意图如 图3所示。多点校正算法一般认为探测单元响应特性 曲线呈“s”形状,利用逼近的思想,合理选择定标点个 数及位置,将探测器的响应曲线合理地分为若干线性 区间,在每个区间中使用两点校正法求出校正系数,这 样对于任意辐射通量,可用所在区间的校正系数进行 非均匀性校正。 图3 多点校正法示意图 该算法中,定标点个数越多,精度就越高,但同时 也会增加需存储的数据量和计算量 。在实际应用 中,定标点个数及位置的选择成为制约该算法进一步 应用的技术瓶颈。 2.2基于探测非线性响应模型的非均匀性校正方法 2.2.1 基于插值的校正方法 基于非线性模型的插值函数方法是按照分段线性 插值的思想,对曲线分段优化确定导数值,使拟合曲线 更有效地逼近于原始曲线。与拉格朗日插值相比,该 算法在定标时,需要临近区间内再标定,确定其导数分 2.2.3 基于最佳平方逼近的非均匀性校正方法 基于最佳平方逼近的非均匀性校正方法的基本思 想与基于多项式拟合算法一致u”,通过最小二乘拟合 得到IRFPA的探测元响应曲线和平均响应曲线。将 探测元响应曲线反函数带入平均响应曲线中,得到基 于最佳平方逼近准则条件下的校正公式。 基于参考辐射源的非均匀性校正方法都有各自的 优缺点,见表1。在选择非均匀性校正算法时需综合 考虑各种算法的运算量以及硬件实现方便性等属性。 表1 多点校正法示意图 3基于场景的非均匀性校正方法 基于场景的非均匀性校正算法一般可分为空域算 法和时域算法 。空域算法主要有神经网络法和恒 定统计法;时域算法主要有时域高通滤波法、小波分析 和卡尔曼滤波。现对基于场景的非均匀性校正方法进 行介绍。 3.1空域滤波算法 3.1.1 基于神经网络校正算法 基于神经网络的红外焦平面阵列非均匀性校正算 法是由美国海军研究实验室的Scribner等人提出 的 ,该算法是空域运算方法的代表,采用神经网络 结构,以四邻域均值作为期望,用最陡下降法完成校正 系数的迭代更新,不断优化参数,实现自适应校正。该 算法在响应系数校正中,既校正增益,又校正偏置,能 较好地抑制空间高频噪声,但存在目标退化和“鬼影” 现象,而且收敛速度较慢 。 基于神经网络非均匀性校正算法既引入了二点定 标NUC层,又具备了人工神经网络的自适应性,有效 实现红外图像的非均匀性校正,但一般神经网络算法 ・4・ 计算机技术与发展 第25卷 中还存在着以下几种问题: (1)采用低通滤波四邻域均值作为图像的期望校 正值,在输入图像中有边缘时,期望值将不可靠,造成 校正后图像的边缘模糊。针对这个特点,文献[12]中 提出一种四邻域像素灰度加权方法,即按距离远近给 中心像素点附近的像素分配权值,距离越近,权值越 大,距离越远,权值越小,起到了保护边缘的作用。 (2)在选取迭代步长时,迭代步长过小,导致算法 收敛速度缓慢,迭代步长过大,算法容易产生退化 。 文献[13]在迭代开始时,选择较大的迭代步长加快收 敛速度,当误差小于设定阈值后使用较小的迭代步长, 此时算法具有较小的稳态误差,通过调整步长因子的 大小可解决收敛速度和稳态失调之间的矛盾¨ 。 当非均匀性比较严重时,采用传统方法校正后的 图像中仍然存在部分非均匀性噪声。可以采用校正后 的图像来计算期望值进行二次校正。二次校正算法既 提高了收敛速度,又减小了期望值中的非均匀性,提高 了校正效果 。 3.1.2恒定统计法 恒定统计平均法的基本思想是在进行自适应过程 中将时域、空域和频域上的变化平均 ,该方法需 要大量的帧才能完成非均匀性校正,有学者受时域高 通滤波启发,在恒定统计法基础上引入时间因子,提出 场景统计算法 ,对增益和偏置同时校正更新。相比 恒定统计法,该算法需要图像帧数较少,实时性强,同 时合理设置算法参数避免“鬼影”的产生。 空域处理算法一般还包括基于全局非均匀性校正 方法、基于场景运动分析的校正算法、中值滤波法及其 他空域滤波算法,在此不一一赘述。 3.2时域处理算法 3.2.1 时域高通滤波法 红外图像噪声的低频部分主要是探测器元响应特 性变化和探测元内部的1if噪声及背景信息;而高频 部分主要是目标与背景的相对运动 ,所以采用时域 高通滤波可实现非均匀性校正。 时域高通滤波算法运算简单,易于硬件实现,虽只 能校正偏置,但其校正参数可以实时更新,因此器件可 连续工作。应当注意,当场景静止时,该算法会产生目 标退化和“鬼影”现象。 3.2.2基于小波分析校正算法 时域高通滤波算法中使用的传统低通滤波器在提 取信号过程中,只能提取某一频率段的信息,而小波变 换能将由各个不同频率成分组成的混合信号分解到不 同的频率段上,有效地用于信号滤波和信噪分离,实现 低频部分进行多层次划分,提高低频部分的频域分辨 率,有利于感兴趣频率部分的分析。实验结果表明,使 用该算法替代传统低通滤波算法可减少目标低频信号 的损失,能有效地消除“重影” 。 3.2.3卡尔曼滤波校正方法 基于卡尔曼滤波校正算法由To ̄es等于2000年 提出,算法将增益和偏移视为离散高斯一马尔可夫过 程中的随机状态变量,借助状态方程和观测方程实现 焦平面非均匀性描述,利用递推卡尔曼滤波跟踪噪声 参数的漂移,即利用上一时刻帧块状态变量估计值和 当前时刻帧块输出观澳4值来估计当前帧块状态变量估 计值 ,实现非均匀性校正。算法流程图见图4。 初始时间( =O) 初始化状态与一步预测 方程 估计误差矩阵 !兰 到 下 — 翌 型. 时 间 块 更新误差协方 差矩阵 图4卡尔曼滤波算法流程图 卡尔曼滤波算法较充分利用了时变参数的信息, 算法的收敛速度较快,但计算复杂度较高,为进一步简 化算法,文献[21]借鉴场景统计算法的思想,以传统 卡尔曼滤波算法假设为前提,将n帧图像序列分成k 块,如图5所示,对观测方程进行修正。这样,只需k 次迭代即可完成矩阵更新,同时避免了矩阵求逆。针 对传统算法中涉及到矩阵乘法和求逆等计算的缺点, 文献[20]采用求逆引理对传统迭代公式进行求逆变 换,使算法计算复杂度由n ×n 阶矩阵求逆降低至n 维对角矩阵求逆,在兼顾传统校正算法校正精度的同 时有效地提高了算法校正速度。上述两种通过改进数 学处理方法的思路是卡尔曼滤波非均匀性校正算法新 的研究方向。 第一块 /, \ 2 3 1 ”.2 1 图5分块卡尔曼滤波示意图 第2期 吕 游等:红外焦平面阵列非均匀性校正算法研究 ・5・ 时域处理算法一般还包括轨迹跟踪法、代数校正 [5]刘子骥,蒋亚东,吴志明,等.IRFPA的一种新的非均匀性 法 ,这两种方法基本思想都是利用运动估计信息 校正算法[J].红外技术,20o6,28(8):485-488. [6] 曹扬,金伟其,刘崇亮,等.红外焦平面阵列的自适应非 均匀性校正及硬件实现[J].光学精密工程,2011,19(12): 2985-2991. 实现非均匀性校正参数获得,一般算法比较简单,此处 不再详细介绍。 基于场景的非均匀性校正算法要求场景中存在运 动,同时需对图像进行存储,计算相对复杂,当前还无 法满足实时性要求,但是随着红外系统应用领域的不 断扩展及该类校正算法研究的不断深入,该类校正算 [7] 胡晓梅.提高两点温度定标法精度的焦平面非均匀性校准 技术研究[J].红外与激光工程,2000,29(2):19-21. [8] 李满良,吴钦章,曹晓伟.基于辐射衰减的IRFPA非均匀 性校正[J].光电工程,2013,40(2):123-129. 法一定会体现更重要的应用价值。 4结束语 纵览国内外十多年来红外焦平面非均匀性校正算 法的发展,算法主要可分以下两类:基于参考辐射源的 标定类非均匀性校正算法和基于场景的非均匀校正算 法。其中,基于标定类非均匀校正方法原理简洁,校正 精度高,实时性好,硬件易于实现,是实际焦平面阵列 组件产品中主要采用的方法。基于场景的非均匀性校 正方法能够自适应地根据场景信息的改变更新校正系 数,在一定程度上克服焦平面阵列响应漂移带来的校 正误差,无需定标,但是背景变化是一个缓慢的过程, 需多幅图像才可实现,且没有考虑到光学系统所产生 的非均匀性。与基于参考源的非均匀性校正方法相 比,基于场景的非均匀性校正方法无需参照源,具有自 适应性的特点,能够满足实时性要求。 IRFPA非均匀校正算法的研究工作可以从以下几 方面来开展:(1)应对现在比较成熟的基于参考辐射 源的标定类校正算法进行深入研究,提高该类算法校 正精度及算法的适应性;(2)因为基于场景校正算法 的优越性,在对实际红外非均匀性图像数据的分析基 础上,对传统算法进行扩展和改进,并对扩展和改进算 法使用条件进行研究,提出针对不同应用情况的校正 算法;(3)设计合理的主客观结合的非均匀性校正算 法评价准则;(4)针对非均匀性校正算法自适应性提 高方面的研究已成为未来的主要研究方向,而如何将 算法实时快速的硬件实现问题也亟待解决。 参考文献: [1] 蔡盛,柏旭光,乔彦峰.基于标定的IRFPA非均匀性校 正方法综述[J].红外技术,2007,29(10):589—592. [2] 白俊奇,陈钱,钱惟贤,等.基于环境温度的红外焦平面 阵列非均匀性校正[J].红外与毫米波学报,2010,29(1): 49-52. [3] 冷寒冰,汤心溢,彭鼎祥.基于积分时间调整的红外焦平面 阵列非均匀校正算法研究[J]。红外与毫米波学报,2007, 26(4):246—250. [4] 卢金.基于场景的红外焦平面阵列非均匀性校正算法研 究[D].武汉:华中科技大学,2012. [9] 姚琴芬.红外图像实时非均匀性校正技术研究及硬件实现 [D].南京:南京理工大学,2007. [10]张天序,石岩,曹治国.红外焦平面非均匀性噪声的空间 频率特性及空间自适应非均匀性校正方法改进[J].红外 与毫米波学报,2005,24(4):255-260. [11]石岩,张天序,李辉,等.一种考虑红外焦平面器件非 线性响应的非均匀性校正方法[J].红外与毫米波学报, 2004,23(4):251—256. [12]曹治国,魏洛刚,张天序,等.基于神经网络法的焦平面器 件非均匀性校正技术研究[J].红外与激光工程,2000,29 (1):65—68. [13]樊秀梅,魏臻,闫富荣,等.基于BP神经网络的焦平面阵 列的非均匀性校正[J].天津理工大学学报,2010,26(6): 75-78. [14]Hayat M M,Torres S N,Armstrong E,et a1.Statistical algo— rithm for nonuniformity correction in focal—plane arrays『J]. Applied Optics,1999,38(8):772—780. [15]Harris J G,Chiang Y M.Nonuniofrmity correction using con— stant-statics constraint: analog and digital implementations [J].SPIE,1997,3061:895-905. [16]Torres S N,Vera E M,Reeves R A,et a1.Adaptive scene— based nonuniofrmity correction method for infrared—focal plane arrays[J].Proceedings of SPIE,2003,5076:130—139. [17]拜丽萍,王炳健,王先,等.基于小波分析的红外焦平面 阵列非均匀性校正算法[J].红外与激光工程,2003,32 (4):364—367. [18]谢忠敏.基于场景的红外焦平面阵列非均匀性校正研究 [D].成都:西华大学,2008. [19]Tortes S N.Kalman ifltering for adaptive non—uniformity cor- rection in infrared focal plane arrays[J].Optical Society of A- merlca,2003,20(3):470—480. [20]代少升,马东鸽.改进卡尔曼滤波的IRFPA非均匀性校正 算法[J].华中科技大学学报:自然科学版,2012,40(10): 13—16. [21]李晶,朱斌,郭立新,等.改进的卡尔曼滤波非均匀性 校正算法[J].兵工自动化,2012,31(6):58-61. [22]杨正兴,谈新权,尚小冬.基于场景的红外图像非均匀性校 正方法综述[J].光电子技术,2003,23(2):135—138. [23]朱宏殷,郭永飞,司国良多TDICCD拼接相机成像非均匀 性实时校正的硬件实现[J].光学精密工程,2011,19(12): 3034—3042.