基于快速l1-范数稀疏表示和tgv的超分辨算法研究

Article2019年，第46卷，第11期基于快速l1-范数稀疏表示和TGV的超分辨算法研究

穆绍硕*，张

浙江传媒学院电子信息学院，浙江 杭州 310018

摘要：针对光学相机成像分辨率低、噪声干扰严重等问题，本文提出一种能有效去噪的高精度超分辨方法—基于快速l1-范数稀疏表示和二阶广义全变分(TGV)的超分辨方法。首先利用各向异性扩散张量(ADT)作为边缘高频信息，通过快速l1-范数稀疏表示方法建立LR图像和相对应的高频信息ADT的字典集；其次将字典学习到的ADT边缘信息和TGV模型组合成新的规则项；最后利用新的规则项建立超分辨代价函数，并利用图像增强后处理方法对整幅图像进行优化。结果表明：算法对仿真数据和SO12233靶标数据具有较高的可行性和鲁棒性，能有效去除噪声等异常点，获得高质量清晰图像，同时与其他经典算法相比，所提算法超分辨的峰值信噪比和结构相似度均有所增大。 关键词：光学相机；超分辨；二阶广义全变分；快速稀疏表示；各向异性扩散张量 中图分类号：TP751.1 文献标志码：A

引用格式：穆绍硕，张. 基于快速l1-范数稀疏表示和TGV的超分辨算法研究[J]. 光电工程，2019，46(11): 180499

An anisotropic edge total generalized variation energy super-resolution based on fast l1-norm dictionary edge representations

Mu Shaoshuo*, Zhang Jiefang

School of Electronics and Information Technology, Zhejiang University of Media and Communications, Hangzhou, Zhejiang 310018, China

Abstract: For camera-based imaging, low resolution and noise outliers are the major challenges. Here, we propose a novel super-resolution method－total generalized variation (TGV) super-resolution based on fast l1-norm dictionary edge representations. First, anisotropic diffusion tensor (ADT) is utilized as high frequency edge information. The fast l1-norm dictionary representation method is used to create dictionaries of LR image and the corresponding high frequency edge information. This method can quickly build dictionaries on the same database, and avoid the influ-ence of outliers. Then we combine the edge information ADT and TGV model as the new regularization function. Finally, the super-resolution cost function is established. The results show that the algorithm has high feasibility and robustness to simulation data and SO12233 target data. It can effectively remove noise outliers and obtain high-quality clear images. Compared with other classical algorithms, the proposed algorithm can obtain higher PSNR and SSIM values.

Keywords: optical camera; super-resolution; total generalized variation; fast sparse representations; anisotropic diffusion tensor

——————————————————

收稿日期：2018-09-26； 收到修改稿日期：2019-01-10

基金项目：国家自然科学基金资助项目(61877053)；浙江省教育厅一般科研资助项目(Y201840087)

作者简介：穆绍硕(1990-)，男，博士，讲师，主要从事计算光学与模式识别的研究。E-mail：hitshaoshuomu@163.com

180499-1

光电工程 DOI: 10.12086/oee.2019.180499

Citation: Mu S S, Zhang J F. An anisotropic edge total generalized variation energy super-resolution based on fast l1-norm dictionary edge representations[J]. Opto-Electronic Engineering, 2019, 46(11): 180499

1 引 言

光学相机是遥感、航空等侦察设备的重要组成部分，而探测器离散采样和光学系统弥散斑是影响光电相机成像分辨率的主要因素。探测器采样主要体现在为满足信噪比要求，在成像系统设计中其奈奎斯特频率需低于光学系统截止频率，会引起频率混叠；光学系统弥散斑则因衍射引入点扩散效应，两者会导致相机成像分辨率低、质量差，影响侦察视觉效果。同时光学系统获取目标场景过程中引入的噪声亦是影响成像质量的重要因素。为解决此问题，基于软件的超分辨技术应运而生，能有效改善探测器成像分辨率。但对于受噪声影响严重的低分辨率(low resolution，LR)图像，目前的超分辨方法往往表现得不够鲁棒，不能既去除噪声异常点又提高分辨率，获得令人满意的高分辨清晰图像。因此有必要研究一种能同时有效去除噪声的高精度超分辨方法。

超分辨关键在于构建合理的光学成像系统退化模型，使模型更加精确和全面地反应成像过程的物理过程，实现对点扩散函数(point spread function，PSF)和噪声的精确估计。原始高清场景经过大气扰动进入相机光学系统，受到运动模糊、量化降采样以及光学噪声等降质因素影响，成像系统模型如下：

yk=DkBkMkx+nk , (1) 其中：x代表原始高分辨率(high resolution，HR)图像。

yk为实际获得的第k个低分辨率降质图像。Dk，Bk和Mk分别表示降采样，PSF和场景变形，nk表示成像

总的来说，以上重建方法受噪声严重干扰，对噪声不具有鲁棒性是普遍存在的缺点。

针对以上缺点，本文提出一种新的基于快速l1-范数稀疏表示和TGV(total generalized variation)的超分辨方法。TGV规则项是TV(total variation)正则项与高阶函数的组合[22-23]，它不仅能抑制噪声，同时能保持锐利图像边缘。因此，本文将快速l1-范数稀疏表示学习得到的ADT(anisotropic diffusion tensor)边缘信息构建TGV正则项，再利用TGV规则项构建超分辨代价函数。该方法能够充分结合TGV与基于实例学习方法的优点，得到更好的超分辨(super-resolution，SR)结果。最后利用图像增强后处理方法，进一步优化提高SR图像质量。实验证明了本文算法的有效性和鲁棒性。

2 本文算法

光学系统成像模型如式(1)所示，求解其真实高清数据是一个反向的欠定问题。普遍方法采用不同的正则项R(Y)来求解超分辨问题，如TV、BTV(bilateral total variation)、Laplacian、GMRF(Gauss Markov ran-dom field)等正则项模型。不同于上述几种正则项重构方法，本文采用快速稀疏表示法学习LR噪声图像的HR边缘张量ADT(2.1节)，接着利用学习到的边缘张量ADT和TGV模型相结合作为新的规则项构建超分辨代价函数(2.2节)，此种方法可以有效地消除噪声异常点和保持原始细节信息；最后采用图像增强后处理方法进一步优化增强SR图像的细节和边缘。 2.1 构建ADT边缘信息T1/2 2.1.1 快速l1-范数稀疏表示

首先讨论稀疏表示模型，假设高分辨率图像块能用许多基本图像块线性表示Y={yi}ni=1，如下式：

y=Dx+v , (2) 式中：x为稀疏表示系数，v为加性噪声，D为稀疏字典，y代表高分辨率图像块。则通过最大似然函数

过程中引入的噪声。

超分辨成像技术以上式为理论基础，可概括为基于插值[1-3]、重构[4-13]和实例学习[14-21]三类。基于插值技术是根据相邻像素之间的相关性，利用插值核进行亚像素估计，从而放大图像，其重建图像受噪声干扰严重。基于重构技术是以非均衡采样定理为基础，主要分为频率域法和空间域法。空域算法是研究热点，其主要通过建立降质模型，使用先验知识作为正则项构建代价函数求解高分辨率图像，但重建图像往往会丢失一些细节和边缘，亦会受到噪声干扰。基于实例学习的超分辨技术逐渐获得发展，如稀疏表示法[14-16]、神经网络法[21-25]等，但不能有效地抑制伪影和失真，并会受到噪声干扰，容易构造出非自然的HR图像。

P(Y|D)=∏P(yi|D)可推导获得：

i=1

N

P(yi|D)=∫P(yi,x|D)dx⇒P(yi|D)=∫P(yi|x,D)P(x)dx

⎧||Dx−yi||2⎫

⇒P(yi|D)=const⋅∫exp⎨⎬exp{λx1}dx,(3) 2

2σ ⎩⎭

180499-2

光电工程 DOI: 10.12086/oee.2019.180499

[D,x]=argmin∑min{||Dxi−yi||2+λ||xi||1} 。 (4)

[D,x]

i=1

xi

N

不同点是前者图像中景物边缘高频信息更丰富，不受噪声影响。针对噪声LR输入图像，只有既能抑制输入图像噪声，又能有效重构边缘高频信息才能使重构图像更接近实景图像。在本节中，用LR图像集

式(4)是传统的稀疏表示学习方法，右边两项分别表示数据保真度(重构精度)和系数稀疏性，对于前者一般用l1和l2范数表示，l2范数是目前比较常用的稀疏表示方法。正如文献[8]作者已经证明，l2范数是指向量各元素的平方和再求平方根，在惩罚过程中，元素朝着0移动的减小率越来越低，一定程度上阻碍了稀疏性，其仅对满足传统高斯分布的模型误差具有良好的性能，但对于噪声等异常值不够鲁棒，且式(4)

[9]

(ILR1，…，ILRm)与相对应的HR图像集的边缘高频信息(fHf1，…，fHfm)作为训练集学习LR字典Dl和HR边缘信息字典Dh。为运行超分辨过程的同时抑制噪声，算法中的边缘高频信息用图像的各向异性边缘ADT表示。ADT能有效避免加性噪声的影响，其由下式求得：

fHf(ph)=exp(−β|∇ph|γ)nn+n⊥n⊥ , (10)

T

T

的学习速率较缓慢。l1-范数是指向量中各个元素绝对值之和(也称为稀疏规则算子)，其会使权值更稀疏，有利于稀疏数据的特征，其更适合于图像逆向求解过程中的噪声等异常点问题。为了提高学习速度和对噪声的鲁棒性，本文使用快速l1-范数稀疏表示方法学习字典，将式(4)替换为

[18]

式中：fHf表示边缘高频信息，‘n’是图像梯度的归一化方向，‘n⊥’是‘n’的标准正交量，β、γ分别用来调整边缘张量的幅度和锐利度。

对于LR训练集(ILR1，…，ILRm)，利用2.1.1节的快速稀疏表示法学习得到LR字典DlR×P及相应的稀疏系数Xp×m(x1，…，xm)，再通过k-SVD(k-singular value

[D,x]=argmin∑min||Dxi−yi||11+λ||xi||1 。(5)

[D,x]

i=1

xi

N

{}decomposition)算法得到ADT边缘信息(fHf1，…，fHfm)

Q×P

的字典Dh：

Q×P

Dh=fHfQ×mXT(XXT)-1 。 (11)

本文采用鲁棒的online字典学习方法

[18]

求解上

式。首先固定字典D，更新稀疏系数xi，

x=argmin||Dxi−yi||11+λ||xi||1；然后再固定xi，更

[x]

通过构建的LR字典DlR×P和相应的ADT边缘信息

Q×P

字典Dh，可由2.1.1节快速l1-范数稀疏表示方法得

新字典Dp×n，其中D(j,:)(j=1,…,p)可以不失一般性进行估计：

到输入LR噪声图像关于DlR×P字典的稀疏系数x；再

Q×P根据稀疏表示公式T1/2=Dh×x便可得到输入LR噪

1n

D(j,:)=argmin∑yi,j−dxi, D(j,:)=d 。 (6)

ni=1

在每次迭代中，使用IRLS(iteratively reweighted least squares)方法[24]求解上式，直到收敛为止，可得：

1n

D(j,:)=argmin∑(yi,j−dxi)2ωij, D(j,:)=d 。(7)

ni=1

令式(7)右边为零，求其关于d的导数，可得：

声图像相对应的高分辨率图像边缘高频信息T1/2，其不受噪声影响。

2.2 基于新的TGV规则项的超分辨方法

在获取高频边缘张量信息T1/2后，本节将推导

TGV规则项，并以此构建超分辨代价函数。图像SR模型可表示

∑ωij(yij−dxi)xiT=0

⇒∑ωijyi,jxiT=d∑ωijxixiT=D(j,:)∑ωijxixiT , (8)

其中：令Qj=∑ωijyi,jxiT,Pj=∑ωijxixiT，由式(8)可得

Qj=D(j,:)Pj。对于新的小批量数据，利用历史数据

Y=f(X)+v , (12)

式中：X是HR图像，Y是实景LR图像，v是引入的噪声，f(•)表示降质函数，可用低通滤波函数和下采样表示。X可通过式(13)求解：

X=argmaxP(XY)

X

(y1,…,yt-h)以及相对应系数(x1,…,xt-h)更新新的字典D：

Pt=P

j

jt−h

+∑

t

i=t−h+1

ωxx ,

j

jTiii

⇒X=argmaxln(P(YX))+ln(P(X)) , (13)

X

t

Qtj=Qtj−h+∑i=t−h+1ωijyi,jxiT ,

Q=D(j,:)Pt , (9)

jj

式中：Pt−最后h与Qt−h是通过历史数据y1,…,yt-h所得，

j

t

式中：第一项是保真项，表示重构约束，一般以高斯分布为模型，即ln(P(YX))=−Y−f(X)2，第二项是图像先验信息，其选择至关重要，贯穿于整个超分辨领域。为解决超分辨病态问题，上面先验模型一般用基于先验知识的正则项，以减轻病态性。本节正则项用能量函数R(X)表示，式(13)可转化为

2

可获得字典D。

Q×P

2.1.2 ADT边缘信息字典Dh

真实高分辨景象与低分辨率噪声输入图像最大的

180499-3 

光电工程 DOI: 10.12086/oee.2019.180499

X=argmin||Y−f(X)||22+λR(X) , (14)

X

3 实验与结果分析

为了验证本文算法的优越性，分别采用仿真数据和真实成像数据对本算法进行实验分析。在仿真实验中，选择两种场景共6幅图像分别用Bicubic方法，

对于R(X)，一种流行方法是GMRF模型和拉普拉斯模型，能保证图像平滑性和抑制噪声，但会丢失边缘高频信息。一些边缘保护方法大量提出，如TV，

BTV和Huber-MRF(Huber Markov random field)模型。但这些模型会引入楼梯效应与噪声。本节采用更鲁棒的正则项，即TGV模型和ADT边缘张量信息T1/2相结合作为新的正则项，原始TGV模型：

2

fTGVα(X)=minα1||∇X− ||v1+α0||ε(v)||1 。 (15)

v

BP-JDL(Beta process joint dictionary learning)方法[16]，SRCNN(super-resolution using deep convolutional net-works)方法[21]，VDSR(super-resolution using very deep convolution network)方法[25]与本文算法的超分辨重构结果做对比实验。一种场景是轮廓图，主要用来验证本文算法去噪的效果；另一种场景是实景图像，主要用来验证超分辨的效果。与本文方法作对比的算法都是作者提供的公开算法，所有实验图像都使用相同的双三次核通过2×或3×、4×向下缩放因子进行下采样。用峰值信噪比(peak signal to noise ratio，PSNR)和结构相似度(structural similarity index measurement，SSIM)指标评估重构图像质量，PSNR、SSIM越大，表示重构图像质量越好，与原始HR图像越接近。 3.1 2×轮廓图超分辨

本文算法的特点之一是对噪声具有良好的鲁棒性，因此我们进行了2倍超分辨实验来验证算法的有效性。图1(a)、1(b)是两幅不同的高清轮廓图，图1(a*)、

本文提出将新型TGV模型代替能量函数R(X)：

2fTGVα=minα1||T1/2(∇X− )||v1+α0||∇v||1 , (16) new

v

T其中：

1/2

是2.1节快速字典学习方法获得的边缘张量

信息，v是辅助变量，α0、α1是非负权重系数，在实验中分别设置为0.05、0.0056。新的TGV正则项不仅能抑制噪声和楼梯效应，而且同时能获得更锐利的边缘。引入新的TGV正则项后，超分辨代价函数(14)可转化为

2

X=argmin||Y−f(X)||22+fTGVα

new

[19]

⇒X=argmin||Y−f(X)||

1/2

+α1||T(∇X− )||v1+α0∇v1 。 (17)

2

2

上式便是本文算法的核心代价函数，在实际运行中采用对偶能量最小化方法求解[22-23]，最后便可获得不含噪声的超分辨初始估计H0。 2.3 图像增强后处理

为进一步提高SR重构质量，在得到初始SR图像

1(b*)是通过下采样2倍并加上对图像清晰度有很大影响的乘性噪声而获得。分别用Bicubic方法、BP-JDL方法、SRCNN方法、VDSR方法与本文方法对LR噪声图像图1(a*)、图1(b*)进行超分辨运算，重构结果如图2和3所示。本节分别从重构图像的主观视觉效果和客观评价指标分析本文算法的优越性。首先从实验结果的整体主观视觉上来看，其他算法的结果图

H0后，对其优化处理。利用DCS(discrete complex shock)

ˆ的边缘细节： 滤波图像增强方法加强初始估计H

ˆ| ˆ/θ))|∇Hˆ)=−(2/π)arctan(τIm(HH(H000

󰀄Hˆ+λˆ , (18) +λH

f

0ηη

f

0ξξ

0

2(a)∼2(d)和图3(a)∼3(d)仍不能有效去除乘性噪声(图中的黑色方框部分对比可得)，而图2(g)和3(g)能获得无噪的清晰2倍放大图像，同时本文算法的重构图内部线条边缘较其他算法更细腻清晰，整体重构效果很自然未出现过度平滑或者锯齿楼梯状现象。可见本文算法能有效去除噪声影响，对LR噪声图像具有很大的优势。其次从实验结果的局部细节上分析，如图2，图3中红色方框，图2(a)∼2(d)和图3(a)∼3(d)中局部细节白黑间边缘不清晰，同时含有大量噪声影响，与之相对比，本文算法的结果图2(g)和3(g)既能去除噪声等异常点又能获得清晰锐利的边缘线。为了进一步验证本文算法的优越性，本节实验部分将其他算法与去噪算法结合处理LR噪声图像并与本文算法相比较，其中选取了经典的稀疏表示方法BP-JDL和深度

其中：τ是正实数，Im(·)表示取虚部运算，θ的取值

󰀄是保证实部为正值，λ=|λ|ejθ，−π/2<θ<π/2，λ

f

f

f

ˆ方向，ξ表示与图像梯实标量，η表示图像梯度∇H0

󰀄=λ=0.035，τ=1，度η的垂直方向。参数设置为λ

f

f

θ=π/10。上式的复数滤波器提供了一种新颖的方式，

能避免在每次迭代中卷积运算，并且仍然得到平滑估计。最终SR图像：

ˆl+1=Hˆl+dH(Hˆl) , (19) H000其中：d表示运算步长，本文实验设为0.1，l是迭代次数，直到收敛迭代算法结束，终止条件为：当

ˆl+1−Hˆl|<0.01或者迭代次数l<1000时，迭代结束。 |H

0

0

180499-4

光电工程 DOI: 10.12086/oee.2019.180499

(a) (a*) (b)

(b*)

图1 轮廓图。(a) 原始HR轮廓图1；(a*) LR噪声图像1；(b) 原始HR轮廓图2；(b*) LR噪声图像2

Fig. 1 The contour map. (a) One original HR image and (a*) its LR image with noise outliers; (b) Another original HR image and

(b*) its LR image with noise outliers

(a) (b) (c)

(d)

(e) (f) (g)

图2 超分辨结果图。(a) Bicubic方法；(b) BP-JDL方法；(c) SRCNN方法；(d) VDSR方法；(e) BP-JDL方法+去噪方法；(f) SRCNN方法+去噪方法；(g) 本文算法

Fig. 2 Simulated reconstructed results based on (a) Bicubic method, (b) BP-JDL method, (c) SRCNN method, (d) VDSR method, (e) the combination of BP-JDL and denoising methods, (f) the combination of SRCNN and denoising methods, as well as (g) the proposed method

(a) (b) (c)(d)

(e) (f) (g)

图3 超分辨结果图。(a) Bicubic方法；(b) BP-JDL方法；(c) SRCNN方法；(d) VDSR方法；(e)BP-JDL方法+去噪方法；(f) SRCNN方法+去噪方法；(g) 本文算法

Fig. 3 Simulated reconstructed results based on (a) Bicubic method, (b) BP-JDL method, (c) SRCNN method, (d) VDSR method, (e) the combination of BP-JDL and denoising methods, (f) the combination of SRCNN and denoisingmethods, as well as (g) the proposed method

180499-5 

光电工程 DOI: 10.12086/oee.2019.180499

学习方法SRCNN分别与去噪算法结合做为代表⎯BP-JDL方法+去噪算法，SRCNN方法+去噪算法。将经典的BP-JDL方法和SRCNN方法分别运行获取高分辨率图像再经去噪算法处理之后，实验结果如图

VDSR方法重构结果噪声明显，与原始HR图像差距过大，所以本文为求其客观评价值，只将BP-JDL方法+去噪算法和SRCNN方法+去噪算法的重构结果与本文算法在PSNR和SSIM值做对比。表1是客观评价指标PSNR和SSIM值，从表中可见，在客观评价标准数值上与“BP-JDL方法+去噪算法”和“SRCNN方法+去噪算法”相比，图2(g)和3(g)的PSNR和SSIM值更大，表明本文算法能获得与原始高清图像更接近的超分辨图像。 3.2 2×实景图像超分辨

为进一步验证本文算法在解决光学相机成像分辨率低、噪声干扰严重等问题方面的优越性和普适性，本节选取4组不同实景图像做超分辨对比实验，并选取与3.1节相同的对比算法：Bicubic方法、BP-JDL方法、SRCNN方法、VDSR方法以及BP-JDL方法+去噪算法、SRCNN方法+去噪算法。四个实景实验分别采用建筑图、蔬菜图、字母数字图和蝴蝶图，其原始HR图像分别如图4(a)∼4(d)所示，图4(a*)∼4(d*)是相对应

2(e)、2(f)和3(e)、3(f)，虽然图2(e)、2(f)和3(e)、3(f)与图2(b)、2(c)和3(b)、3(c)相比受噪声影响小了很多，但与本文算法结果相比，仍有部分噪声失真，同时去噪过程可能去除了黑白之间的边缘点，从而导致图

2(e)、2(f)和3(e)、3(f)红色方框中边缘不如本文结果边缘清晰；而且BP-JDL方法+去噪算法与SRCNN方法+去噪算法会增加算法复杂度和引入难以预测的误差，同时也会过滤掉原有的边缘点。因此从主观视觉效果和理论分析，本文算法针对噪声干扰严重等问题的LR图像具有其他算法所不具备的优势，能较好抑制噪声等异常点，具有鲁棒性，并获得清晰边缘且自然的高分辨率图像。

从客观评价指标上分析，本节选择广泛应用的

PSNR和SSIM值客观评估各种算法重构图像质量优劣。因Bicubic方法、BP-JDL方法、SRCNN方法和

表1 不同方法的PSNR和SSIM的数值

Table 1 The results of PSNR and SSIM with different method

BP-JDL方法+去噪方法

SRCNN方法+去噪方法

本文算法

PSNR/SSIM PSNR/SSIM PSNR/SSIM

轮廓图1 轮廓图2

36.8538/0.8768

37.01/0.8799

37.8333/0.50

36.3327/0.8800 36.8229/0.8827 37.7749/0.66

(a) (a*) (b)(b*)

(c) (c*) (d)(d*)

图4 实景图像。(a) 原始HR建筑图；(a*) 相对应的LR噪声图像；(b) 原始 HR蔬菜图像；(b*)

相对应的LR噪声图像；(c) 原始HR字母图；(c*) 相对应的LR噪声图像；(d) 原始HR蝴蝶图；(d*) 相对应的LR噪声图像

Fig. 4 The real scene. (a) The HR castle image and (a*) its LR image with noise outliers; (b) The HR pepper imageand (b*) its LR image with noise outliers; (c) The HR letter image and (c*) its LR image with noise outliers; (d) TheHR butterfly image and (d*) its LR image with noise outliers

180499-6

光电工程 DOI: 10.12086/oee.2019.180499

HR图像2倍下采样并引入乘性噪声所得。图5、图6、图7和图8分别为建筑图、蔬菜图、字母数字图和蝴蝶图应用以上各种对比算法和本文算法所获得的超分辨率重构结果图。

本节分别从超分辨重构图像的视觉效果和客观评价标准值来分析本文算法的优越性。首先从重构图像的整体视觉效果比较来看，Bicubic方法、BP-JDL方法、SRCNN方法、VDSR方法的实验结果都不能在放大2倍的同时有效去除噪声，如图5(a)∼5(d)左上角天空部分、图6(a)∼6(d)中间大辣椒表面、图7(a)∼7(d)左上角“How to Do”部分以及图8(a)∼8(d)右下角部分，都具有很大的噪声影响，而本文算法图5(g)∼8(g)

能抑制输入LR图像的噪声干扰，获取与原图4(a)∼4(d)非常接近的高分辨率清晰重构图像。同时从图中红色方框的图像细节部分相比，图5∼8中，图(g)的红色方框边缘线相较于图(a)∼图(d)更清晰，几乎不受噪声干扰。而且本文算法重构图像的整体效果自然，未出现明显失真现象，符合人眼视觉体验。

针对BP-JDL方法+去噪算法和SRCNN方法+去噪算法的重构结果分析，虽然图5∼8中，图(e)∼图(f)与图(a)∼图(d)相比噪声影响大幅度减小、质量有所升高，但与本文算法重构图像质量仍有差距，如图5(e)∼5(g)左上部分“天空”，图5(e)∼5(f)“天空”出现点状异常点，不够光滑(原图4(a)“天空”

(d)

(a) (b) (c)

(e) (f)(g)

图5 建筑图的超分辨重构结果。(a) Bicubic方法；(b) BP-JDL方法；(c) SRCNN方法；(d) VDSR方法；

(e) BP-JDL方法+去噪方法；(f) SRCNN方法+去噪方法；(g) 本文算法

Fig. 5 Reconstructed results of castle based on (a) Bicubic method, (b) BP-JDL method, (c) SRCNN method, (d) VDSR method, (e) the combination of BP-JDL and denoising methods, (f) the combination of SRCNN and denoising methods, as well as (g) the proposed method

(a) (b) (c)

(d)

(e) (f)(g)

图6 蔬菜图的超分辨重构结果。(a) Bicubic方法；(b) BP-JDL方法；(c) SRCNN方法；(d) VDSR方法；(e) BP-JDL方法+去噪方法；(f) SRCNN方法+去噪方法；(g) 本文算法

Fig. 6 Reconstructed results of pepper based on (a) Bicubic method, (b) BP-JDL method, (c) SRCNN method, (d) VDSR method, (e) the combination of BP-JDL and denoising methods, (f) the combination of SRCNN and denoisingmethods, as well as (g) the proposed method

180499-7 

光电工程 DOI: 10.12086/oee.2019.180499

(a) (b)

(c)

(d)

(e) (f) (g)

图7 字母图的超分辨重构结果。(a) Bicubic方法；(b) BP-JDL方法；(c) SRCNN方法；(d) VDSR

方法；(e) BP-JDL方法+去噪方法；(f) SRCNN方法+去噪方法；(g) 本文算法

Fig. 7 Reconstructed results of letters based on (a) Bicubic method, (b) BP-JDL method, (c) SRCNN method, (d) VDSR method, (e) the combination of BP-JDL and denoising methods, (f) the combination of SRCNN and denoisingmethods, as well as (g) the proposed method

(a) (b) (c)(d)

(e) (f)(g)

图8 蝴蝶图的超分辨重构结果。(a) Bicubic方法；(b) BP-JDL方法；(c) SRCNN方法；(d) VDSR方法；(e) BP-JDL方法+去噪方法；(f) SRCNN方法+去噪方法；(g) 本文算法

Fig. 8 Reconstructed results of butterfly based on (a) Bicubic method, (b) BP-JDL method, (c) SRCNN method, (d) VDSR method, (e) the combination of BP-JDL and denoising methods, (f) the combination of SRCNN and denoising methods, as well as (g) the proposed method

非常光滑)，而本文算法图5(g)则与原图非常接近；图很好的普适性和优势。表2是客观评价对比值。从表中可见，在客观评价标准数值上与BP-JDL方法+去噪算法和SRCNN方法+去噪算法相比，本文算法的

6(e)、6(f)、7(e)、7(f)、8(e)、8(f)也具有类似情况，噪声去除性能上不如本文算法，局部会出现点状噪声。从图像细节上对比(图中红色方框部分)，本文算法细节获取能力优于前两者，能获得更自然更细腻清晰的边缘，如图5细节放大部分，图5(g)方框内的墙边相较前两者更笔直，图5(e)、5(f)曾现截断、多余点等现象；图6(g)、7(g)方框部分相较于图6(e)、6(f)、7(e)、

PSNR值和SSIM值高于其他算法，表明本文算法的重构图像与原始图像更接近，在处理具有噪声的LR图像方面优于其他算法。而且BP-JDL方法+去噪算法和

SRCNN方法+去噪算法大大加大了算法的复杂度，重构结果也不如本文算法，与其它相比，本文算法在理论上节省了算法空间复杂度，避免了去噪算法引入的不可预见的误差和失真。

7(f)的边缘清晰度视觉上更优越，而且也比较自然，可见本文算法在不同场景噪声LR图像处理上，具有

180499-8

光电工程 DOI: 10.12086/oee.2019.180499

表2 不同方法的PSNR和SSIM的数值

Table 2 The results of PSNR and SSIM with different method

BP-JDL方法+去噪方法

SRCNN方法+去噪方法

本文算法

PSNR/SSIM PSNR/SSIM PSNR/SSIM

建筑图 蔬菜图 字母图

24.4163/0.7115 28.75/0.00 26.0446/0.

24.2135/0.7220 30.0180/0.8861 26.6384/0.8755

24.24/0.7413 30.8413/0.74 27.68/0.8873

蝴蝶图 31.1677/0.8516 31.66/0.8723 32.7636/0.19

3.3 靶标成像多尺度超分辨实验

除仿真分析外，本文还采用实验平台实拍数据对算法进行验证，实验采用微位移相机系统(如图9(a)所示)，以SO12233靶标作为观测目标，实验过程将相机固定在转台上，采集成像数据，进行放大超分辨率实验。相机成像结果如图9(b)所示，图上可以看出，由于探测器采样频率的不足和噪声影响，图像产生了降

(a)

质和异常噪声(如图9(b)黑框部分)，本节将采集的图

9(b)做为输入图像，分别经Bicubic方法、BP-JDL方法、SRCNN方法、VDSR方法和本文方法进行放大2倍的超分辨处理，实验结果如图10。从图10(a)∼10(d)分析，虽然前四种经典算法实行了有效放大2倍的超分辨处理，但整体视觉效果上仍有很多呈片状的噪声异常，不符合人眼体验，而本文算法图10(e)则未出现以上情况，图像较自然，从人眼视觉上没有明显的噪声影响；

(b)

图9 采集平台。(a) 相机；(b) 相机成像效果

Fig. 9 Acquisition platform. (a) Camera; (b) An image taken by the camera

(a) (b) (c)

(d)(e)

图10 2×超分辨实验结果。(a) Bicubic方法；(b) BP-JDL方法；(c) VDSR方法；(d) SRCNN方法；(e) 本文算法

Fig. 10 Experimental 2× super-resolution results. (a) Bicubic method; (b) BP-JDL method; (c) VDSR method; (d) SRCNN method; (e)

The proposed method

180499-9 

光电工程 DOI: 10.12086/oee.2019.180499

同时在细节上分析，如图10中的红色方框部分，图有所增多，而且细节部分(红色方框)图11(e)的黑白边缘部分变得模糊，不如图10(e)边缘细腻；图12(e)与图11(e)相比，处理后的图像边缘更加模糊，噪声处理也不如后者。出现这样的情况是由于放大倍数增加所致，虽然放大倍数变大，但输入图像提供信息不变。与其他算法相比，从整体视觉效果和局部细节上来看，

10(e)将噪声去除得较为彻底，白色和黑色之间的边缘也更锐利自然，人眼体验上本文算法结果图10(e)明显优于图10(a)∼10(d)，有效改善图像质量，获得超越探测器成像极限的清晰高分辨图像。

为进一步验证本文算法在其它倍数超分辨放大的有效性，本节对真实靶标数据图9(b)进行了3×和4×的放大对比实验，如图11和12。首先从本文算法结果的整体上看(图10(e)、11(e)、12(e))，随着放大倍数的增加，效果明显降低，如图11(e)较于图10(e)噪声

(a) (b)

3×和4×的放大对比实验图11(e)、12(e)仍然优于图11(a)∼11(d)、12(a)∼12(d)，可见本文算法在其他多尺度放大倍数的情况仍然具有优越性，能获得优于其他经典算法的超分辨结果。

(c)

(d)(e)

图11 3×超分辨实验结果。(a) Bicubic方法；(b) BP-JDL方法；(c) VDSR方法；(d) SRCNN方法；(e) 本文算法

Fig. 11 Experimental 3× super-resolution results. (a) Bicubic method; (b) BP-JDL method; (c) VDSR method; (d) SRCNN method; (e)

The proposed method

(a) (b) (c)

(d)(e)

图12 4×超分辨实验结果。(a) Bicubic方法；(b) BP-JDL方法；(c) VDSR方法；(d) SRCNN方法；(e) 本文算法

Fig. 12 Experimental 4× super-resolution results. (a) Bicubic method; (b) BP-JDL method; (c) VDSR method; (d) SRCNN method; (e) The proposed method

180499-10

光电工程 DOI: 10.12086/oee.2019.180499

4 结 论

针对具有噪声等异常点的LR图像，本文提出一种新的基于快速l1-范数稀疏表示和TGV模型的超分辨算法。不同于传统的超分辨规则项—TV、BTV、

[11] [10]

Laplacian、GMRF等正则项模型，本文采用快速稀疏表示法学习LR噪声图像相应的HR边缘张量ADT，接着利用HR边缘张量ADT和TGV模型相结合作为新的规则项构建超分辨代价函数，最后采用图像增强后处理方法进一步优化增强SR图像的细节和边缘。实验结果表明，本文算法对仿真数据和真实靶标数据能有效消除噪声异常点干扰并获得清晰高分辨图像。同时与SRCNN+去噪等方法相比，本文方法运算的空间复杂度更低、对噪声的鲁棒性更强，解决了具有噪声影响的LR图像的超分辨问题。

[15] [14] [12]

[13]

参考文献

Maalouf A, Larabi M C. Colour image super-resolution using

geometric grouplets[J]. IET Image Processing, 2012, 6(2): 168–180.

[2] Wang F, Wang W, Qiu Z L. A single super-resolution method via

deep cascade network[J]. Opto-Electronic Engineering, 2018, 45(7): 170729.

王飞, 王伟, 邱智亮. 一种深度级联网络结构的单帧超分辨重建算法[J]. 光电工程, 2018, 45(7): 170729.

[3] Sun C, Lü J W, Li J W, et al. Method of rapid image su-per-resolution based on deconvolution[J]. Acta Optica Sinica, 2017, 37(12): 1210004.

孙超, 吕俊伟, 李健伟, 等. 基于去卷积的快速图像超分辨率方法[J]. 光学学报, 2017, 37(12): 1210004.

[4] Wang R G, Wang Q H, Yang J, et al. Image super-resolution

reconstruction by fusing feature classification and independent dictionary training[J]. Opto-Electronic Engineering, 2018, 45(1): 170542.

汪荣贵, 汪庆辉, 杨娟, 等. 融合特征分类和字典训练的超分辨率重建[J]. 光电工程, 2018, 45(1): 170542.

[5] Ng M K, Shen H F, Lam E Y, et al. A total variation regulariza-tion based super-resolution reconstruction algorithm for digital video[J]. EURASIP Journal on Advances in Signal Processing, 2007, 2007: 074585.

[6] Marquina A, Osher S J. Image super-resolution by

TV-regularization and Bregman iteration[J]. Journal of Scientific Computing, 2008, 37(3): 367–382.

[7] Li X L, Hu Y T, Gao X B, et al. A multi-frame image su-per-resolution method[J]. Signal Processing, 2010, 90(2): 405–414.

[8] Farsiu S, Robinson M D, Elad M, et al. Fast and robust multi-frame super resolution[J]. IEEE Transactions on Image Processing, 2004, 13(10): 1327–1344.

[9] Yue L W, Shen H F, Yuan Q Q, et al. A locally adaptive L1-L2 [1]

[16]

[17]

[18]

[19]

[20]

[21]

[22] [23]

[24]

[25]

norm for multi-frame super-resolution of images with mixed noise and outliers[J]. Signal Processing, 2014, 105: 156–174. Wang L F, Xiang S M, Meng G F, et al. Edge-directed sin-gle-image super-resolution via adaptive gradient magnitude self-interpolation[J]. IEEE Transactions on Circuits and Sys-tems for Video Technology, 2013, 23(8): 12–1299.

Sun J, Sun J, Xu Z B, et al. Gradient profile prior and its appli-cations in image super-resolution and enhancement[J]. IEEE Transactions on Image Processing, 2011, 20(6): 1529–1542. Feng W S, Lei H. Single-image super-resolution with total generalised variation and Shearlet regularisations[J]. IET Im-age Processing, 2014, 8(12): 833–845.

Ma Z Y, Liao R J, Tao X, et al. Handling motion blur in mul-ti-frame super-resolution[C]//Proceedings of 2015 IEEE Con-ference on Computer Vision and Pattern Recognition, 2015: 5224–5232.

Yang J C, Wright J, Huang T, et al. Image super-resolution as sparse representation of raw image patches[C]//Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Rec-ognition, 2008: 1–8.

Yang J C, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861–2873.

He L, Qi H R, Zaretzki R. Beta process joint dictionary learning for coupled feature spaces with application to single image super-resolution[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition, 2013: 345–352. Liu W R, Li S T. Sparse representation with morphologic regu-larizations for single image super-resolution[J]. Signal Processing, 2014, 98: 410–422.

Lu C W, Shi J P, Jia J Y. Online robust dictionary learn-ing[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition, 2013: 415–422.

Ferstl D, Reinbacher C, Ranftl R, et al. Image guided depth upsampling using anisotropic total generalized varia-tion[C]//Proceedings of 2013 IEEE International Conference on Computer Vision, 2013: 993–1000.

Ferstl D, Ruther M, Bischof H. Variational depth superresolution using example-based edge representations[C]//Proceedings of 2015 IEEE International Conference on Computer Vision, 2015: 513–521.

Dong C, Loy C C, He K M, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295–307. Bredies K, Kunisch K, Pock T. Total generalized variation[J]. SIAM Journal on Imaging Sciences, 2010, 3(3): 492–526. Benning M, Brune C, Burger M, et al. Higher-order TV me-thods-enhancement via Bregman iteration[J]. Journal of Scien-tific Computing, 2013, 54(2–3): 269–310.

Bissantz N, Dümbgen L, Munk A, et al. Convergence analysis of generalized iteratively reweighted least squares algorithms on convex function spaces[J]. SIAM Journal on Optimization, 2009, 19(4): 1828–1845.

Kim J, Lee J K, Lee K M. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Rec-ognition, 2016: 16–1654.

180499-11 

光电工程 DOI: 10.12086/oee.2019.180499

An anisotropic edge total generalized variation

energy super-resolution based on fast l1-norm

dictionary edge representations

Mu Shaoshuo*, Zhang Jiefang

School of Electronics and Information Technology, Zhejiang University of

Media and Communications, Hangzhou, Zhejiang 310018, China

(a) (b) (c)(d)

(e) (f)(g)

Reconstructed results of letters based on (a) Bicubic method, (b) BP-JDL method, (c) SRCNN method, (d) VDSR method, (e) the combination of

BP-JDL and denoising methods, (f) the combination of SRCNN and denoising methods, as well as (g) the proposed method

Overview:Optical cameras of remote sensing, aviation and other reconnaissance equipment are taken as the application background. Aiming at the problems of low resolution imaging and serious noise interference, a high-precision su-per-resolution method with strong robustness to noise is studied. In this paper, a novel super-resolution method－total generalized variation (TGV) super-resolution based on fast l1-norm dictionary edge representations is proposed. The proposed method is analyzed and compared with the conventional methods through several experiments. On the whole, this method is superior to other classical methods. It has high feasibility and robustness to simulation data and SO12233 target data. Furthermore, it can effectively remove noise outliers and obtain high-quality reconstruction image.

Detector is an important part of optical camera, and its discrete sampling and optical system speckle are the main factors affecting its imaging resolution. Firstly, the detector sampling is mainly reflected in the fact that in order to meet the SNR requirements, the Nyquist frequency of the imaging system should be lower than the cutoff frequency of the optical system, but it will cause frequency aliasing. Secondly, the speckle of optical system leads to point spread effect due to diffraction. Both of them will lead to low resolution and poor quality of camera imaging, which will affect recon-naissance. At the same time, the noise introduced in the acquisition of target scene by optical system is also an impor-tant factor affecting the imaging quality.

In order to solve the above problems, the proposed method combines sparse representation with generalized total variation for targeted improvement and innovation. First, anisotropic diffusion tensor (ADT) is utilized as high fre-quency edge information. The fast l1-norm dictionary representation method is used to create dictionaries of LR image and the corresponding high frequency edge information. This method can quickly build dictionaries on the same data-base, and avoid the influence of outliers. Then we combine the edge information ADT and TGV model as the new re-gularization function. Finally, the super-resolution cost function is established. In the experimental part, simulation data and real SO12233 target data are used to prove the effectiveness of the algorithm in this paper, which can not only re-move LR noise outliers, but also produce more accurate reconstructions than those produced by other general su-per-resolution algorithms. Meanwhile, the proposed algorithm can obtain higher PSNR and SSIM values.

Citation: Mu S S, Zhang J F. An anisotropic edge total generalized variation energy super-resolution based on fast l1-norm dictionary edge representations[J]. Opto-Electronic Engineering, 2019, 46(11): 180499 ———————————————

Supported by National Natural Science Foundation of China (61877053) and General Scientific Research Projects of Zhejiang Education Department (Y201840087) * E-mail: hitshaoshuomu@163.com

180499-12