多视点分布式视频编码的研究

󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁

l31󰀂.8哈󰀁尔󰀁滨󰀁工󰀁程󰀁大󰀁学󰀁学󰀁报󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁Vo.

󰀁󰀁󰀁󰀁󰀁JournalofHarbinEngineeringUniversity󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁Aug.2010

do:i10.3969/.jissn.1006󰀁7043.2010.08.018

多视点分布式视频编码的研究

林󰀁昕,刘海涛,王嘉男

学院,黑龙江哈尔滨150001)

摘󰀁要:随着新型多媒体传感器网络的出现,现有编码方法不能有效适应其庞大的数据量.因此针对多媒体传感器网络能量、资源受限的问题,该文研究能提供低复杂度、低能耗、低成本编码器的分布式视频编码技术.文章总结了多视点分布式视频编码各个环节的最新研究进展,并针对分布式视频编码的核心内容边信息生成,提出了基于多视图几何的空间边信息生成算法,又在此基础之上应用线性组合模型的融合算法使边信息质量进一步提高.仿真结果表明,空间边信息生成算法可以使率失真性能得到2dB左右的提高,而线性组合模型的融合方法可以使增益再提高0.3dB左右.关键词:多视点;分布式视频编码;边信息;线性组合模型

中图分类号:TP393.03󰀁文献标志码:A󰀁文章编号:1006󰀁7043(2010)08󰀁1093󰀁07

1,2

2

3

(1.中科院上海微系统与信息技术研究所,上海200250;2.上海交通大学技术学院,上海201101;3.哈尔滨工程大学自动化

Recentadvancesinmulti󰀁viewdistributedvideocodecs

LINXin,LIUHai󰀁tao,WANGJia󰀁nan

1,2

2

3

(1.ShanghaiInstituteofMicro󰀁systemandInformationTechnology,ChineseAcademyofSciences,Shanghai200250,China;2.Tech󰀁nicalSchoo,lShanghaiJiaotongUniversity,Shanghai200240,China;3.CollegeofAutomation,HarbinEngineeringUniversity,Harbin150001,China)

Abstract:Recentlynovelmultimediawirelesssensornetworks(MWSN)haveappearedwhichhavedistinctivechar󰀁acteristicsthatincludelargeamountsofimageorvideodata.ThismakesconventionalcodecsunsuitableforanMWSN.Tosolvetheproblem,givenanMWSN'senergyandbandwidthrestrictions,adistributedvideocodecwhichhaslow󰀁complexity,low󰀁powerconsumption,andlow󰀁costvideoencodingwasproposed.Thispaperreviewstheadvantagesofmulti󰀁viewdistributedvideocodingandpresentsanewmethodforspatialsideinformationgenera󰀁tionbasedonmulti󰀁viewgeometryforuseinanMWSN.Thenanadaptivelinearcombinationfusionalgorithmwasusedtogetbettersideinformation.Experimentsshowedthatthespatialsideinformationgenerationmethodeffec󰀁tivelyimprovedthequalityofsideinformation.Thebasicrate󰀁distortiongainwasabout2dBandthefusionalgo󰀁rithmprovidedanadditionalimprovementofabout0.3dB.

Keywords:multi󰀁view;distributedvideocoding;sideinformation;linearcombinationmodel󰀁󰀁作为一种全新的信息获取和处理技术,多媒体传感器网络比传统传感器网络更多地关注于音频、视频、图像等大数据量、大信息量媒体的采集与处理.在多媒体传感器网络中应用分布式视频编码技术,对多个信源应用编码器进行编码,得到的多

收稿日期:2010󰀁01󰀁10.

基金项目:中国科学院知识创新工程基金资助项目(KGCX2󰀁YW󰀁

110).

作者简介:林󰀁昕(1977󰀁),女,讲师,博士,E󰀁mai:lxlin1977@126.com;

刘海涛(1968󰀁),男,研究员,博士生导师.

通信作者:林󰀁昕.

个码流送入同一个联合解码器,这个解码器充分利用码流之间的相关性对所有输入码流进行解码.这样避免了传感器之间的信息交互,简化了传感器网络分布结构的设计,节省了由于信息交互带来的带宽需求.分布式视频编码系统提供了一种全新的视频编码理念,它的结构特性和传输鲁棒性使其在无线多媒体通信网络中具有强大的竞争力和更广阔的应用前景.本文研究了多视点分布式视频编码技术,并针对多视点分布式视频编码的空间边信息生成、时间空间边信息的融合等问题出了相应的解 1094 哈󰀁尔󰀁滨󰀁工󰀁程󰀁大󰀁学󰀁学󰀁报󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁第31卷

决算法.

1󰀁多视点视频编码

多视点视频源由多个摄像机同时拍摄得到,不同的摄像机拍摄角度不同,这些不同角度的景物图像都会送到用户终端.用户在使用时可以根据需要选择不同的视角进行观看.多视点视频数据量要远远大于单视点视频,编码技术能否应用关键取决于其压缩效率.对多视角视频压缩编码技术的研究意义很大.目前,多视点视频编码主要有以下几种.1.1󰀁MPEG多视点视频编码

要想对多视点视频图像的编码取得好的压缩效率,就要消除阵列中各个摄像机图像之间的相关性.当然可以使用如立体像对的编码方法,使用运动估计或者视差估计来编码图像,或者使用现有的图像压缩标准如JPEG,MPEG等来对摄像机阵列图像进行压缩.

值得注意的是,这些压缩方法都需要在编码端作运动估计和运动补偿,这就要求在编码端各个摄像机产生的图像联合编码,这样做就会带来一个新的问题,就是在编码之前,要首先在相机之间传输各自的图像.可以想象,传输和存储这些大量的数据的效率是十分低下的,对处理器的处理能力和存储能力以及传输能力是一个巨大的考验.而且在现实的摄像机阵列系统中,节点之间是不进行通信的,而是共同和一个中心处理器进行通信.因此各个摄像机节点地编码对这样的系统来说将是一种更加合理的方式.

1.2󰀁AVC多视点压缩编码

应用AVC编解码技术,可以构建编码解码的多视点系统.对每一个摄像机使用嵌入式的AVC压缩芯片来地压缩各个摄像机的图像.该系统虽然可实现编解码,但是这种编解码方法不能利用各视角图像的相关性.另外,AVC的复杂程度也成了编码端的负担.1.3󰀁多视点分布式视频编码

应用多视点分布式视频编码,理论上可以达到与联合解码相同的码率.如图1所示,即使摄像节点间互不通信,视点间的相关性也可以在解码端使用,获得简单而又效率很高编码器.多视点分布式编码的主要优势在于,这种编码方法能满足视频传感器网络节点低功耗、低复杂度的,也可以满足节点间不互通信息的要求.

图1󰀁多视点分布式视频编码系统结构Fig.1󰀁Multi󰀁viewdistributedvideocoding

2󰀁分布式编码研究进展

基于Slepian

[1]

和Wyner提出的信息理论而

[2]

建立的分布式视频编码技术正在快速发展中,变换、量化、熵编码以及运动补偿等传统视频压缩标准中的各个环节都需要在分布式视频编码的环境中重新进行理解和设计.与传统视频编码的机制相反,分布式视频压缩编码的编码器较为简单,运动补偿等统计特性的利用被放置到解码端进行,这就为移动视频设备更有效地集成到现有的网络中提供了条件.虽然分布式视频压缩技术的表现不一定超越运动补偿的传统压缩方式,但是它提供了一种新的选择.在未来的研究中,更有效的Slepian󰀁Wolf编码器以及变换的方法仍将是研究的重点.

分布式视频编码目前主要分2个研究领域:1)单视点分布式视频编码领域;2)多视点分布式视频编码领域.本文主要介绍多视点分布式视频编码的研究.目前多视点分布式视频编码的研究热点主要集中在相关性模型的建立和边信息的形成等方面.2.1󰀁相关性模型

分布式视频编码技术在实际应用时所遇到的关键问题就是相关性模型的建立.因为图像块的噪声需要按照预先设计好的相关性级别进行分级,分级后的块根据相关性在不同级别上应用相应的信道编码方法.相关性模型的建立对分布式视频编码的速率控制,资源分配和性能优化都起到非常重要的作用.最初的Wyner󰀁Ziv理论假设了一种非常简单的统计相关模型,如加性高斯模型.这种模型对很多简单的相关信源是非常有效的.然而对视频数据帧间的相关性,以及不同摄像机在同一时间获得数据的相关性等与空间位置密切相关的数据,这种简单的第8期󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁林󰀁昕,等:多视点分布式视频编码的研究 1095

相关性模型就不再适用.另外,信源相关性显示出很强的时空差异.因此,如何找到一种能够反映这种时空相异性的互相关模型,用这个模型最优化总的压缩率,已经成为分布式视频压缩领域的一个重要的研究课题.

单目分布式编码的相关性估计主要有2种方法:1)Aaron和Girod提出的应用解码端的反馈信息进行相关性的估计;这种方法如果出现解码质量过低,就要从编码端传送更多的校验位.2)由Puri和Ramchandran提出的在编码端进行小计算量的计算输入信源的相关性.

建立多视点视频的相关性模型更具挑战性,因为多视点分布式编码节点间不进行通信,所以编码器无法得到其它节点的边信息.另外,信源的相关性是随时间变化的,而且一般变化比往返传输延时要快.因此,了解码反馈相关性估计的实时应用.

PierLuigiDragotti和IvanaTosic2.1.1󰀁基于全光方程的相关性模型

PierLuigiDragotti的相关性模型的建立是基于多视图几何.如图2所示VSNB(视频传感器网络节点)得到的帧用f(x)表示,其中x表示相应像素值,f(x)表示从VSNA得到的f(x)的空间边信息.根据多视图几何可知,f(x+󰀁x),!󰀁x!∀󰀂,其中󰀂为相应的像素位移,信源f(x)及其边信息的相关系数可以表示为

(󰀁x)=

[5]

[6󰀁7]

[4]

[3]

逼近的方法利用多视图几何建立图像间的相关性模型.稀疏图像表示就是用称之为字典的过完备冗余函数系统取代基函数.字典的选择尽可能好地符合被逼近图像信号的结构,其构成可以没有任何.字典中的元素被称为原子,从字典中找到具有最佳线性组合的m项原子来表示一个图像,称作图像的稀疏逼近.

k#l

y=

󰀂

xk k+∀=#Ic+∀.(2)

式中:y为N维图像信号,{ k}k#I是过完备原子库中选出的一组原子.将图像稀疏分解后再进行分布式编码,可以大大提高编码效率.

字典的构成是应用保范算子形成函数g(∃,%).原子索引g&=U(&)g即D={ k}={g&}&#∋,其中&=(T,(,),∗,+)中各参数分别表示事物的移动、旋转和各项异性的比例缩放.字典中原子的相关性可以由局部几何变换来表示:

g&j=F(g&j)=U(&∃)g&j=U(&∃󰀁&)g.(3)将两幅相关的图像分别稀疏表示为

y1=#I1c1+∀1,y2=#I2c2+∀2.

(4)

󰀁󰀁两幅图像中,表示场景中同一事物的原子子集用J1、J2表示,J1#I1,J2#I2,则图像y2可以基于相关性表示为

i#J1

针对多视

点分布式视频系统提出各自的相关性模型.

y2=

󰀂

x2,iFi( i)+

k#I2/J2

󰀂

x2,k k.(5)

󰀂󰀂x

f(x)f(x+󰀁x)x

2

2.2󰀁边信息的形成

2

f(x)

󰀂.(1)分布式视频编码的一个突出难点就是如何准确的估计边信息.边信息用于接收端的信道解码和重建,是对当前WZ帧的预测,相当于传统编码中对P帧或B帧的预测,只不过这里的预测是在解码端进行的.预测精度越高,说明边信息与WZ帧越接近,相当于虚拟信道的误码越少,经过信道解码后误码率就越低.另外,信道解码后得到的只是WZ帧的量化版本,还需经过重建过程才能得到WZ帧图像.重建过程通常也要用到边信息,且边信息的预测精度越高,则重建后的效果越好.

由于考虑到编码复杂度和压缩效率,编码端不可能提供太多的比特负载,这就需要在解码端通过对已解码的重建帧做运动估计,利用先验数学概率模型进行边信息估值.同时在解码重建函数中,需要考虑在发生误码的情况下,如边信息估值错误或当前帧传输出错,如何实现解码的最佳重建.Dufaux.x

f(x+󰀁x)

󰀁󰀁当󰀂比较小,图像大部分是不变的,相关性可以表示成󰀂的函数,记为 (x).可选择函数 (󰀂)=e

-!󰀂1/2

来做相关性估计.

图2󰀁无线视频传感器网络节点相关性示意图Fig.2󰀁Correlationstructureofvideosensornodes

2.1.2󰀁图像稀疏逼近的互相关模型

IvanaTosic等人针对全方位视图采用稀疏图像

1096

[8]

哈󰀁尔󰀁滨󰀁工󰀁程󰀁大󰀁学󰀁学󰀁报󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁第31卷

F等人提出:多视点分布式视频编码的边信息,可以利用同一摄像机所得的图像序列的时间相关帧和不同摄像机所得图像序列的空间相关帧得到,或将从不同摄像机所得图像进行融合得到更加准确的边信息.

2.2.1󰀁时间边信息

时间边信息是应用前后关键帧的运动估计生成的.先计算出从前一关键帧到后一关键帧的基于块的运动矢量.然后,应用图像内插形成边信息.其中,边信息中基于块的内插值可以用前后关键帧的运动补偿加权和计算得出.如图3所示.

图4󰀁单应性边信息的形成过程Fig.4󰀁Homography󰀁basedsideinformation

2.2.3󰀁边信息的融合

边信息的融合是将时间边信息和单应性边信息进行融合,以得到更准确的边信息.为计算融合边信息,X.Artigas

[10]

和ThomasMaugey

[11]

等人借助同一

摄像机的前后帧形成融合掩模.首先,分别将时间边信息和单应性边信息和前一帧进行比对,如果单应性边信息更接近该点像素值则掩模中取1,如果时间边信息更接近则该点像素值则掩模中取0.同样,对后一帧进行同样计算得出融合掩模,对2个二进制掩模取逻辑或得出最后的融合掩模.

融合掩模的形成过程如图5所示.

图3󰀁基于块的时间边信息的形成过程Fig.3󰀁Temporalblockbasedsideinformation

2.2.2󰀁基于单应性的边信息

从不同角度拍摄的同一场景的图像具有空间的相关性,空间的相关性可以用单应性来表示,单应性矩阵是一个3%3矩阵,就是从一个视角图像到另一视角图像之间的一个对应矩阵.矩阵有8个参数a、b、c、d、e、f、g和h,由这些参数,第1个视图的每一点都可以按一定比例!对应到第2个视图:

x2!y2=1x2=

adg

beh

cf1x1y1,1

(6)

图5󰀁融合掩模形成过程Fig.5󰀁Fusionmaskgeneration

与单独用时间边信息或单应性边信息相比,应用融合后的边信息进行解码,可使峰值信噪比PSNR提高1~2dB.

ax1+by1+c

,gx1+hy1+1

(7)

dx1+ey1+fy2=.gx1+hy1+1

3󰀁边信息生成算法

本文算法首先采用WZ帧的前一帧,和左右相邻摄像机的当前帧作为3个参考帧,用Ransac算法获取三焦点张量.另外,考虑到多视点系统多数应用在监控、远程教学、远程会议等静态背景活动前景的场合,所以将前、背景分离,以降低计算量,提高解码效率.即将2个传统编解码摄像机的当前帧应用plane󰀁sweep算法获得的深度特征做背景分离,获取前景人物图像.最后由三焦点张量将左右两幅图像匹配到WZ帧位置,再将匹配好的图像用内插法生

󰀁󰀁当a=e=1,b=d=g=h=0时,这个模型是一个简单变换模型,当g=h=0时,是一个仿射变换模型,参数为其他值时是射影变换模型.根据不同的应用模型计算参数,MouradOuaret等人采用第一种模型进行计算,在计算参数的过程中使当前帧和边信息的均方误差和最小,再利用Levenberg󰀁Mar󰀁quardt算法,对参数进行迭代求精.另外,该方法还采用截尾二阶非线性方程以增强系统的鲁棒性.

[9]

第8期󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁林󰀁昕,等:多视点分布式视频编码的研究 1097

成前景的空间边信息.再以基于运动补偿内插的时间边信息作为背景合成空间边信息.

空间边信息生成有如下几个步骤.3.1󰀁三焦点张量的估计

三焦点张量(trifocaltensor)是描述3幅图像间几何关系的数学量,它对3幅图像上的同名点间、同名线间以及同名点与同名线间都存在约束关系,因此可以用三焦点张量把两幅视图的对应点转移到第3幅视图的对应点.借助于三焦点张量可以计算非标定的无线视频传感器网络的边信息.

三焦点张量由一张量T来表示,它是一个3%3%3的张量.利用此三焦点张量,当已知3幅图像中2幅之间的对应点(匹配点)的位置时,则在第3幅图像中的对应点的位置可由像素转移公式确定

xl&=xi∃󰀂xkTkjl-xj∃󰀂xkTkil.

k=1

k=1

3

3

[12]

面匹配到其在中间图像的位置,再通过匹配后的图像内插来消除误差.当然,如果视频系统的基线过长,误差会相应增加,前景边信息生成过程如图6所示.

图6󰀁前景边信息生成过程Fig.6󰀁Generationofsideinformation

:

前景边信息基本能反映出WZ帧中人物的动作,而背景采用同一摄像机的前后两帧做基于块的运动估计,也就是说可以将基于运动补偿内插的时间边信息作为背景与前景空间边信息合成得到完整的空间边信息.

(11)

式中:i、、jl=1、2、3.

为计算三焦点张量,提取的特征点为Harris角点,它具有运算速度快、精度高、对噪声不敏感等特点.具体的Harris角点探测器为:R=detN-k(trace(N)),k取0.04.再采用Ransac算法作为搜索引擎,Ransac算法可通过自适应的N次采样,将数据划分为内点(最大一致性集)和野值(数据集的余下部分),并由所有的内点重新估计模型.进而可计算得到三焦点张量T.3.2󰀁前、背景分离

算法采用基于深度特征的图像区域分割,为保证解码速度,本文采用IndraGreys

[13]

2

4󰀁基于线性组合模型的融合算法

线性组合模型可以在某个准则下求得最优加权系数,从而可以充分利用各种单项预测方法所提供的信息,达到提高预测精度的目的.能增强预测的稳定性,具有较高的适应未来预测环境变化的能力.因此本文以线性组合模型对基于三焦点张量的空间边信息估计、双向运动补偿内插的时间边信息估计和外推法的时间边信息估计进行优化,融合生成更精确的边信息.

假设在某一预测问题中,某一个实际值为f,而对该问题有n种预测方法,第i(i=1,2,∋,n)种预测方法的预测值为fi,则组合预测模型

f=

[14]

的plane󰀁sweep

算法获得深度图,其基本思想是将三维空间划分成多个平面,然后逐个扫描.如果前景物体在扫描平面上则在多视点图像的对应点颜色相同,反之则不同.可以通过绝对差之和SAD的计算,来判断场景是否在当前的扫描深度:

SAD(x,y)=

可表示为

(9)

󰀂

l

Il(x,y)-

󰀂

k

󰀂

n

Ik(x,y)N

i=1

wifi.

.(8)

式中:wi(i=1,2,∋,n)为第i种预测方法的权重,且满足󰀂wi=1.

i=1n

󰀁󰀁这种方法计算速度快、能够满足实时解码的要求,获得的深度图能够满足提取前景人物的需要.3.3󰀁空间边信息生成

考虑到前景是复杂的立体,如果逐点用基于平面的三焦点张量生成图像,需要进行复杂的立体匹配,会引入较大的计算量.所以本算法在生成中间摄像机边信息时将左右摄像机的前景图像作为一个平

通常对于权重的预测方法可以是基于误差平方和最小原则.如果组合预测的模型预测值为

f=

^

n

󰀂

^

wifi,

2

(10)

i=1

则权重的计算原则表示成具体形式为

min(f-f),

(11)

1098 哈󰀁尔󰀁滨󰀁工󰀁程󰀁大󰀁学󰀁学󰀁报󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁第31卷

f=s..t

^

󰀂

n

i=1

wifi,

WTT=

EMI-ME

.ETT+EMI-ME

(15)

󰀂

n

i=1

wi=1,wi>0,

最终融合边信息的对应像素计算公式为

f=

^

i=1,2,∋,n.

󰀁󰀁当然对权重的求取原则还可以是误差的绝对值,也就是偏差最小原则、均方误差最小原则等等,可以根据实际情况选择.可以说权重的选择对估计值的准确度起到决定性的作用.

本文对边信息的估计方法有3种,分别是基于运动补偿的外推法生成的时间边信息,基于双向预测的内插法生成的时间边信息和基于三焦点张量的空间边信息.此处分别用ME表示外推法时间边信息、MI表示内插法时间边信息、TT表示基于三焦点张量的空间边信息.则对应像素的预测值可以表示为

f=wMIfMI+wMEfME+wTTfTT.

^

ETT

ETTEMI-ME

fMI+fTT.

+EMI-MEETT+EMI-ME

^

(16)

其中,当ETT、EMI-ME都为零时,f=fMI.

5󰀁仿真实验

仿真实验采用了多视点视频序列Ballet和Alt_Moabit(1024%768,16.7fps,100帧)进行仿真.分别选取3组视频,左右摄像机的视频采用传统的H.2编解码,中间视频采用分布式编解码.实验采用H.2标准的baseline型进行编解码,参考软件为JM14.2.

仿真中,主要考察不同质量的参考帧生成的边信息帧亮度分量的PSNR比较,即边信息算法的率失真特性.为了测试提出的边信息生成算法,选取MC󰀁E(运动补偿外推)和MC󰀁I(运动补偿内插)2个参照的边信息生成算法.由于MC󰀁E算法采用前面2个重建帧作为参考,为了同MC󰀁E算法比较,利用相同的参考帧,在实验中对4种SIFG算法都采用I󰀁I󰀁WZ的GOP结构.Ballet序列4种边信息生成算法的率失真曲线见图7,Alt_Moabit序列主观性能评价见图8.左上为原WZ帧,右上为MC󰀁I,左下为基于三焦点张量的空间边信息、右下为线性组合融合边信息.仿真结果表明空间边信息可以使率失真性能提高1~2dB,而融合算法可以使空间边信息的效果有进一步的提升,提升空间有0.3dB左右.边信息的主观质量也有明显提高.

(12)

󰀁󰀁而式中的系数wMI,WME,wTT为3种边信息对应的权重.它们满足关系式wMI+wME+wTT=1.fMI,fME,fTT表示3种边信息对应的像素值.

然而在权重计算的过程中,没有办法采用如前面介绍的基于误差平方和最小原则,原因是对于分布式视频编码技术来讲,无法在解码端获得初始的WZ帧,也就是说在解码端不可能获得公式中的f值.因此,只能通过其他对应误差值获取相应的权重系数.

在前面所介绍的边信息计算过程中,边信息会产生的误差有空间误差和时间误差.这里的空间误差指的是左右关键帧分别经过三焦点张量变化以后生成的左右变换帧对应像素的绝对差,在此以ETT表示;而对应的时间边信息的误差为外推法边信息与内插法边信息对应像素的绝对差,在此以EMI-ME表示:

ETT=|fTTL-fTTR|,EME-ME=|fMI-fME|.

(13)

󰀁󰀁另外由于本文的空间边信息的背景部分与基于外推法的时间边信息一致.另外,外推法边信息的准确度与内插法及空间边信息相比要略逊一筹.所以本文在计算权重的时候,直接将wME置零.而对于空间边信息和内插的时间边信息的权重,则依据时间和空间边信息对应像素的绝对差设置为

wMI=

ETTETT

,+EMI-ME(14)

图7󰀁Ballet序列的4种边信息生成算法的RD曲线

Fig.7󰀁RDperformancesoffourSIFGs

第8期󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁林󰀁昕,等:多视点分布式视频编码的研究

[5]GEHRIGN,

DRAGOTTIP.

1099

Distributedcompressionof

multi󰀁viewimagesusingageometricalcodingapproach[C]//IEEEinternationalConferenceonImageProcessing.SanAntonio,Texas,USA,2007:421󰀁424.

[6]TOSICI,FROSSARdP.Geometry󰀁baseddistributedscene

representationwithomnidirectionalvisionsensors[J].IEEETransactionsonImageProcessing,2008,17(7):1033󰀁1046.

[7]THIRUMALAIV,TOSICI,FROSSARDP.Symmetricdis󰀁

tributedcodingofstereoomnidirectionalimages[J].SignalProcessing:390.

图8󰀁3种边信息生成算法的主观评价Fig.8󰀁Visualperformanceforthe3SIFGalgorithms

[8]DUFAUXF,OUARETM,EBRAHIMIT.Recentadvances

inmultiviewdistributedvideocoding[C]//SPIEDefenseandSecuritySymposium.Orlando,FL,USA,2007:9󰀁13.[9]OUARETM,DUFAUXF,

EBRAHIMIT.Fusion󰀁based

multiviewdistributedvideocoding[C]//ACMInternationalWorkshoponVideoSurveillanceandSensorNetworks.San󰀁taBarbara,CA,USA,2006:18󰀁23.

[10]ARTIGASX,ANGELIE,TORRESL.Sideinformation

generationformultiviewdistributedvideocodingusingafusionapproach[C]//7thNordicSignalProcessingSym󰀁posium.Reykjavik,Iceland,2006:45󰀁49.

[11]MAUGEYT,POPESCBP.Sideinformationestimation

andnewsymmetricschemesformulti󰀁viewdistributedvideocoding[J].JVisCommunImage,2008(19):5󰀁595.[12]SHASHUAA.Trilinearityinvisualrecognitionbyalign󰀁

ment[C]//3rdEuropeanConferenceonComputerVi󰀁sion.Berlin,Germany,1994:479󰀁484.

[13]GEYSI,DEROECKS,VANGOOLL.Theaugmentedau󰀁

ditorium:

fastinterpolatedandaugmentedviewgeneration

IEEE

[C]//EuropeanConferenceonVisualMediaProduction.London,UK,2005:92󰀁101.

[14]王娅仙,周传德,秦树人.基于虚拟仪器技术的海量数据

存储记录仪[J].重庆大学学报,2004,24(27):21󰀁24.WANGYaxian,ZHOUChuande,QINShuren.Greatca󰀁

Distributedsource

pacityofdataloggerbasedonvirtualinstrumenttechnology[J].JournalofChongqingUniversity,2004,24(27):21󰀁24.

IEEETransonInfTheory,1973,19

ImageCommunication,2008,23(5):

379󰀁

6󰀁结束语

本文算法运用三视图对应点之间的几何关系,得到对应点之间的三线性约束关系,即三焦点张量,再由此张量和参考图像之间的对应关系完成边信息的生成.结合多视点分布式系统时空相关性的特点提出基于线性组合模型的边信息融合算法.仿真结果表明,空间边信息算法可以带来2.0dB左右的率失真增益,而融合算法可以进一步提高0.3dB左右的率失真性能,并且具有更好的主观效果.

参考文献:

[1]SLEPIAND,WOLFJ.Noiselesscodingofcorrelatedinfor󰀁

mationsources[J].(4):471󰀁480.

[2]WYNERA,ZIVJ.Therate󰀁distortionfunctionforsource

codingwithsideinformationatthereceiver[J].TransInformTheory,1976,22(1):1󰀁10.

[3]AARONA,GIRODB.Compressionwithsideinformation

usingturbocodes[C]//IEEEIntConfonDataCompres󰀁sion.Snowbird,USA,2002:252󰀁261.[4]PRADHANS,RAMCHANDRANK.

codingusingsyndromes(DISCUS):designandconstruc󰀁tion[C]//IEEEIntConfonDataCompression.Snowbird,Utah,USA,1999:158󰀁167.

[责任编辑:陈󰀁峰]