第２７卷第３期 ２０１３年５月 山东理工大学学报（自然科学版） Ｊｏｕｒｎａｌ ｏｆ Ｓｈａｎｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） Ｖ０１．２７ Ｎｏ．３ Ｍａｖ ２Ｏ１３ 文章编号：１６７２—６１９７（２０１３）０３—００２８—０４ 基于云存储的高考视频监控数据管理技术 徐步东 ，田晓艳 （１．山东师范大学信息技术管理处，山东济南２５００１４； ２．山东师范大学信息科学与工程学院，山东济南２５００１４） 摘 要：介绍了云存储的系统结构及服务模型，分析了目前主要的视频监控技术，设计了基于云存 储技术的高考视频监控数据管理系统．利用云存储实现高考视频监控数据管理中的远程监控处理、 分布式存储、备份等．针对多级监控下容易出现的单点失效问题，提出了一种同级互连并多点备份 的方法，提高了系统的鲁棒性． 关键词：云计算；云存储服务模型；网络视频监控；分布式存储 中图分类号：ＴＰ３９３．２ 文献标志码：Ａ Ｄａｔａ ｍａｎａｇｅｍｅｎｔ ｔｅｃｈｎｏｌｏｇｙ ｏｆ ｅｘａｍｉｎａｔｉｏｎ ｖｉｄｅｏ ｍｏｎｉｔｏｒｉｎｇ ｂａｓｅｄ ｏｎ ｃｌｏｕｄ ｓｔｏｒａｇｅ ＸＵ Ｂｕ—ｄｏｎｇ ．ＴＩＡＮ Ｘｉａｏ—ｙａｎ （１．Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｍａｎａｇｅｍｅｎｔ Ｏｆｆｉｃｅ，Ｓｈａｎｄｏｎｇ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｊｉｎａｎ ２５００１４，Ｃｈｉｎａ； ２．Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｄｏｎｇ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｊｉｎａｎ ２５００１４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｔｈｅ ｓｙｓｔｅｍ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｓｅｒｖｉｃｅ ｍｏｄｅｌ ｏｆ ｃｌｏｕｄ ｓｔｏｒａｇｅ ｉｓ ｉｎｔｒｏｄｕｃｅｄ， ｔｈｅ ｍｏｓｔ ｐｏｐｕｌａｒ ｔｅｃｈｎｏｌｏｇｙ ｏｆ ｖｉｄｅｏ ｍｏｎｉｔｏｒｉｎｇ ａｔ ｐｒｅｓｅｎｔ ｉｓ ａｎａｌｙｚｅｄ，ａｎｄ ａ ｎｏｖｅｌ ｄａｔａ ｍａｎａｇｅ— ｍｅｎｔ ｓｙｓｔｅｍ ｏｆ ｃｏｌｌｅｇｅ ｅｎｔｒａｎｃｅ ｅｘａｍｉｎａｔｉｏｎ ｖｉｄｅｏ ｍｏｎｉｔｏｒｉｎｇ ｉｓ ｄｅｓｉｇｎｅｄ ｏｎ ｔｈｅ ｂａｓｅ ｏｆ ｃｌｏｕｄ ｓｔｏｒａｇｅ ｔｅｃｈｎｏｌｏｇｙ。Ｔｈｅｎ ｒｅｍｏｔｅ ｍｏｎｉｔｏｒｉｎｇ ａｎｄ ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ ｉｎ ｄａｔａ ｍａｎａｇｅｍｅｎｔ ｏｆ ｅｘ— ａｍｉｎａｔｉｏｎ ｖｉｄｅｏ ｍｏｎｉｔｏｒｉｎｇ ｗｉｔｈ ｃｌｏｕｄ ｓｔｏｒａｇｅ ｉｓ ｒｅａｌｉｚｅｄ．Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｗｈｉｃｈ ｅａｓｉｌｙ ｌｅａｄ ｔｏ ｓｉｎｇｌｅ ｐｏｉｎｔ ｏｆ ｆａｉｌｕｒｅ ｕｎｄｅｒ ｍｕｌｔｉｌｅｖｅｌ ｍｏｎｉｔｏｒｉｎｇ，ａ ｍｅｔｈｏｄ ｏｆ ｐｅｅｒ ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ ａｎｄ ｍｕｌｔｉｐｏｉｎｔ ｂａｃｋｕｐ ｉｓ ｐｒｅｓｅｎｔｅｄ ｗｈｉｃｈ ｉｍｐｒｏｖｅｓ ｔｈｅ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｔｈｅ ｓｙｓｔｅｍ． Ｋｅｙ ｗｏｒｄｓ：ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ；ｃｌｏｕｄ ｓｔｏｒａｇｅ ｓｅｒｖｉｃｅ ｍｏｄｅｌ；ｎｅｔｗｏｒｋ ｖｉｄｅｏ ｍｏｎｉｔｏｒｉｎｇ；ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ 近年来，互联网上数据呈现爆炸式增长，其中非 结构化数据的比重迅速增加．非结构化数据把信息 存储在文件系统中，而不是数据库中，这使得很多数 据库技术无法应用于非结构化数据管理，因此非结 构化数据的存储、检索、挖掘等有很多问题亟待解 决．云计算技术（Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ）正是在这种背景 够按需获取计算力、存储空间和信息服务［１］．云存储 并不是某一个存储设备，而是云计算系统中的一种 数据访问服务．云存储服务模型是以云计算为基础 架构，通过集群、网格或分布式文件系统等技术，将 网络中大量不同类型的存储设备通过应用软件集成 起来协同工作，共同对外提供数据存储和业务访问 下提出的．云计算是一种商业计算模型，它将计算任 务分布在大量计算设备构成的资源池上，使用户能 收稿日期：２０１３—０３—１４ 功能的一个系统，如微软的云计算平台Ａｚｕｒｅ、Ａｍ— ａｚｏｎ的ＥＣ２、ＩＢＭ的ｂｌｕｅ ｃｌｏｕｄ等 Ｊ． 基金项目：山东省教育科学规划攻关项目（ＺＫ１０３７１２３Ｃ０２３） 作者简介：徐步东，男，２２９７０８５２９２＠ｑｑ．ｃｏｍ；通信作者：田晓艳，女，ｙｙｈａｉｈｈ＠１２６．ｃｏｒｎ 第３期 徐步东，等：基于云存储的高考视频监控数据管理技术 ２９ 编码技术结合能极大地提高每个用户所接收的视频 １云存储技术 云存储是配置了大容量存储空间并以数据存储 和管理为核心的一个云计算系统＿３］，云存储技术比 其他存储方式有更多优势，云数据中心能够整合移 动数据、降低存储成本和复杂性，备份及灾难恢复更 为容易，数据迁移更方便，数据安全性高． 质量．由于可扩展性编码流具有可加性，媒体数据可 以分块传输给不同用户，通过用户间的连接就可以 得到合在一起的媒体数据．即使每个用户与服务器 的连接带宽是有限的，应用Ｐ２Ｐ技术用户依然可以 通过流媒体系统享受高质量的多媒体服务 ］． 基于多播的Ｐ２Ｐ流媒体技术会对网络拥塞和 视频质量带来很大改进．而视频监控与普通视频需 云存储系统结构从下到上依次是存储层、基础 求有很大不同，它需要多个点同时向一个点传输数 管理层、应用接口层、访问层．如图１所示，其中存储 据，机器性能和网络带宽给监控数据的流畅稳 层是云存储的基础部分，基础管理层是云存储的核 定传输带来很大的挑战，因此需要考虑服务器及缓 心部分，应用接口层负责云存储的扩展功能，访问层 存副本等机制来协助解决这些问题． 针对不同需求的用户提供不同的访问类型． ２．２分布式网络视频监控 分布式网络视频监控系统［６ 中监控信号经过前 访问层 端编码后由网络传输到控制端解码．前端编码采用 了软件编码方式，编码技术主要采用了ＩＳ０的 ＭＰＥＧ系列和ＩＴＵ的Ｈ系列；控制端解码则采取 应用接口层 了硬件解码器．利用软件编码硬件解码的思路，提出 了一个分布式网络视频系统架构，符合目前视频监 基础管理层 控的网络化趋势．但是，海量视频数据在网络环境下 进行多路信号同时传输会造成严重的拥塞． 视频监控存储主要有以下几种技术： 存储层 １）ＤＶＲ存储．采用编解码器设备直接挂接硬盘 的方式，但性能局限性影响了图像数据的共享及 图１云存储系统架构 分析． ２）编码器外挂存储设备直连存储．通过编解码 目前云存储数据存储技术主要有谷歌的ＧＦＳ 器的外部存储接口连接，主要采用ＳＡＴＡ、ＵＳＢ、 （Ｇｏｏｇｌｅ Ｆｉｌｅ Ｓｙｓｔｅｍ）和Ｈａｄｏｏｐ的ＨＤＦＳ（Ｈａｄｏｏｐ ｉＳＣＳＩ和ＮＡｓ等存储协定进行容量扩展，在转发环 Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ）．ＧＦＳ是一种高效集群存 节易出现瓶颈，且多节点并发写入数据时效率不高． 储技术，可以实现性能与容量的线性扩展。目前雅 ３）集中管理存储．服务器连接前端编解码器，通 虎、英特尔的“云”计划等都采用ＨＤＦＳ数据存储 过流媒体协议下载数据，然后存放到存储设备上．在 技术 ］． 节点较多的监控环境和中小型应用中较为合适． ４）ＮＶＲ存储．ＮＶＲ系统将传统的视频、音频及 ２网络视频技术 控制信号数字化，通过ＮＶＲ设备上的网络接口，以 ＩＰ包的形式在网络上传输，在ＤＶＲ的基础上，实现 计算机网络正在改变着传统的监控方式，视频 系统网络化．但高清监控视频文件，对存储设备容 监控技术的网络化发展已经成为趋势．网络视频技 量、读写性能、可靠性提出了更高要求． 术的核心问题是海量视频流的传输以及存储问题． 以上存储方式都无法有效满足目前高清信号的 目前的络视频技术中，Ｐ２Ｐ技术、流媒体技术和分 监控存储需求．而视频监控云存储，可以突破传统存 布式技术应用在视频点播和实时监控等方面，有效 储方式的性能和容量瓶颈，在网络中联接大量各种 改善了传输视频流时的网络拥塞等问题；ＤＶＲ存储 不同类型的存储设备形成强大的存储能力，实现视 等存储技术从不同侧重点解决了视频存储问题． 频监控数据的海量存储管理． ２．１基于Ｐ２Ｐ的流媒体技术 基于多播的Ｐ２Ｐ流媒体技术与可扩展性视频 ３０ 山东理工大学学报（自然科学版） ３．２系统体系结构 ３基于云存储的高考视频监控数据管 系统采用分层结构，最顶层为省级监控点，省级 理系统 监控点Ｐ—Ｍ与下一层省／市控制点Ｐ／Ｔ—Ｃ及各个 市级监控点Ｔ—Ｍ连接，并将市级监控点Ｔ—Ｍ与同 ３．１高考视频监控数据管理系统 层上的省／市控制点Ｐ／Ｔ—Ｃ连成环状；每个市级监 作为网络视频监控的一个应用方面，高考视频 控点Ｔ—Ｍ与下一层各个从属的县级监控点Ｃ—Ｍ 监控数据管理系统的目标是建设一个遍布全省甚至 及市／县控制点Ｔ／Ｃ—Ｃ连接，省／市控制点Ｐ／Ｔ—Ｃ 是全国的系统，并提供远程的实时视频监控和视频 与下一级的所有市／县控制点Ｔ／Ｃ—Ｃ连接，并将每 回放功能．由于网络带宽因素、监控存储设备规模及 个市的县级监控点Ｃ—Ｍ与其同市级辖区内的市／ 性能上的等因素，一般都只能在一个城市内，甚 县控制点Ｔ／Ｃ—Ｃ连成环状；每个县级监控点Ｃ—Ｍ 至某一个区县内来建设，很难跨城来建设．目前网络 与从属各个考点服务器连接，所有市／县控制点Ｔ／ 带宽和路由瓶颈等问题很难实时传输．海量视频数 ｃ—Ｃ与所在市级考点按地理位置和考点密度就近 据基于云存储服务模型的工作原理提出高考视频监 连接． 控数据管理系统来解决上述问题． 县级监控点ｃ—Ｍ及市／县控制点Ｔ／Ｃ—Ｃ．管理 高考视频监控数据一般采用考后人工报盘方式 和维护其辖域内各个考点存储的视频监控数据，分 向上集中存储，这种方式效率低且耗费人力物力．本 别存储底层考点服务器送来的复制编码数据．Ｔ／Ｃ— 文提出高考视频监控管理系统采用分布式存储管理 Ｃ还负责存储维护一张目录信息表记录复制编码数 方式，利用网络和视频传输技术实现实时监控及安 全存储．系统中多级监控点与底层各个考点之间有 据的存储位置，在一定时间内交换环上各个Ｔ／Ｃ—Ｃ 明确的控制关系，上一级监控点可以监看并控制下 的信息，保证每个Ｔ／Ｃ—Ｃ内都完整存储这一个市级 单位的实时考点信息，并将整理合并好的目录数据 一级监控点，所有视频数据均存储于底层考点服务 器上． 向Ｐ／Ｔ—Ｃ传输，保证整个系统稳定． 如图２所示，以某省为例建设的高考视频监控 市级监控点Ｔ，Ｍ及省／市控制点Ｐ／Ｔ—Ｃ．功能 数据管理系统．省市县为自上而下为层次结构，每层 上近似县级监控点ｃ—Ｍ和市／县控制点Ｔ／Ｃ—Ｃ．而 监控点在逻辑上连成环状，将市级监控点Ｔ—Ｍ连 结构上，只有一个Ｐ／Ｔ—Ｃ，是为了便于省级监控点Ｐ 成的环上增加一个省／市控制点Ｐ／Ｔ—Ｃ，将县级监 —Ｍ对整个系统的控制．Ｔ—Ｍ和Ｐ／Ｔ—Ｃ分别存储底 控点ｃ—Ｍ连成环状并根据距离范围远近和考点分 层考点服务器送来的复制编码数据（与Ｃ—Ｍ、Ｔ／Ｃ— 布密度在环上增加一个或多个市／县控制点Ｔ／Ｃ— Ｃ存储的复制编码数据不同，四者存储的分别为某 ｃ．各级监控点和控制点逻辑上连成环状，分别负责 个视频文件的不同部分），Ｐ／Ｔ—Ｃ也负责维护一张 视频数据的上传、数据备份并整理存储数据的目录 目录信息表记录复制的编码数据的存储位置，并将 信息等． 下层各个控制点合并好的目录数据备份保存． 省级监控点Ｐ—Ｍ．主要有两个功能：一是为各 级监控点和控制点各自产生一个全局标识，另一个 是记录各级监控点和控制点的信息． 上层调看视频监控数据时，根据可扩展编码技 术的可加性，控制点同时向上层监控点以及控制点 传输视频数据的不同部分，上层监控点将接收到的 视频数据合并起来，避免了多点同时向一个点传输 视频数据时出现网络拥塞等问题．监控点还可以依 据副本创建策略以及缓存技术，减少由于网络不稳 考点１．．…・考点ｎ考点ｌ……考点ｎ考点１．１…・考点ｎ考点１……考点ｎ 定对视频实时性传输的影响．为了提高安全性，管理 图２高考视频监控数据管理系统图 节点在逻辑上构成一个环状，避免了单点失效等故 障引起的其从属考点无法连接到问题，提高了系统 鲁棒性． 第３期 徐步东，等：基于云存储的高考视频监控数据管理技术 ３１ ３．３分布式存储策略． ３．３．２磁盘存储优化 在高考视频监控数据管理系统中，分布式存储 是其中最基础的应用实现．目前的分布式存储解决 高考视频监控中每个考点全部考场的视频数据 同时集中存储到本地磁盘，存在着多路视频流同时 写盘冲突的问题．为解决这一问题，系统采用缓冲存 储法，为每一路视频数据分配较大的缓冲区，当缓冲 区满时一并写入磁盘，即“大写”．这样并行操作保证 了对磁盘的访问是顺序的、连续的、大量的，从而更 方案中，文献［７］采用ＳＡＮ作为视频监控应用的存 储系统、文献［８］提出了高码率监控视频存储系统 ＴＨＮＶＲ（Ｔｓｉｎｇｈｕａ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）、文 献Ｅ９］基于信息散列算法提出了一种分布式存储策 略等． 借鉴已有分布式存储策略，在满足系统的存储 要求下，提出了一种适用于高考视频监控数据管理 的分布式存储策略——多点备份．在底层各个考点 服务器上采取定长存储和加大缓存的方法实时存储 各个考场的视频数据；考试过程中底层考点服务器 实时监控数据并编码复制上传到上层控制服务器 中，这样一方面可以保证底层服务器受到攻击篡改 时，可以将上层监控点服务器存储的数据与其对比； 另一方面在上层监控点服务器调看某一考点视频数 据时只需上传复制之外的部分，减少数据传输量． ３．３．１ 数据存储与检索 在底层考点服务器上创建定长文件存储高考视 频数据，采用了轻量级数据库ＳＱＬｉｔｅ来存储考场监 控文件记录表（见表１）．在数据表中记录每个视频 文件的场次科目信息、起止学号戳、复制编码数据存 储位置，以便检索． 表１ 考场监控文件记录表 表１最后一栏数字表示视频文件编码数据的顺 序，符号代表其复制后的存储位置，若存储于上层监 控点，则是考点所属的县级或者市级监控点，分号间 隔开不同部分的存储信息．同时在每个Ｔ／Ｃ—Ｃ中也 会维护一张记录表，将多个控制点记录表的信息合 并后上传至Ｐ／Ｔ—Ｃ．在Ｐ—Ｍ需要调看某一考场的 监控视频时，首先从Ｐ／Ｔ—Ｃ维护的记录表中获得某 场考试的存储位置，并控制监控视频的不同部分从 不同存储位置向上同时传递，按照可扩展编码的可 加性将视频合并复原．Ｔ—Ｍ要求监看数据时，其过 程与Ｐ—Ｍ类似． 有效地利用了磁盘写入带宽，实现高效访问，同时因 为每个文件是定长存储，所以方便了检索定位． ４结束语 云存储已经成为未来存储的一种发展趋势，未 来云存储的发展主要在安全性、便携性、有效性和可 用性及数据访问等方面． 本文将云存储技术应用于高考视频监控数据管 理，实现了视频监控数据的分布式存储．该系统采用 层次架构和同层节点逻辑上的环连接机制，避免了 单点失效等故障引起的其从属考点无法连接到的问 题，提高了系统的鲁棒性；采用底层考点定长存储视 频数据并维护记录表的方式，方便了视频数据检索； 多点备份策略有效改善了上层监控点在同时读取多 路考点视频信息时的网络拥塞问题． 参考文献： ’ ［１］刘鹏．云计算［Ｍ］．第２版．北京：电子工业出版社，２０１１：１－２ ［２］Ｍｉｃｒｏｓｏｆｔ．Ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｐｌａｔｆｏｒｍ：Ａｚｕｒｅ ｓｅｒｖｉｃｅ ｐｌａｔｆｏｒｍ Ｏ— ｖｅｒｖｉｅｗ［Ｒ］．ＩＮＳＩＧＨＴ（Ｍｉｃｒｏｓｏｆｔ）。２００８ Ｅ３］Ｄｅｊｕｎ Ｊ，Ｐｉｅｒｒｅ Ｇ，Ｃｈｉ Ｃ Ｈ．ＥＣ２ ｐｅｒｆｏｒｍａｎｃｅ ａｎａｌｙｓｉｓ ｆｏｒ ｒｅ— ｓｏｕｒｃｅ ｐｒｏｖｉｓｉｏｎｉｎｇ ｏｆ ｓｅｒｖｉｃｅ－ｏｒｉｅｎｔｅｄ ａｐｐｌｉｃａｔｉｏｎｓ［ｃ］／／Ｐｒｏｃ ０ｆ Ｗｏｒｋｓｈｏｐ ｏｎ Ｎｏｎ－Ｆｕｎｃｔｉｏｎａｌ Ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ＳＬＡ Ｍａｎａｇｅｍｅｎｔ ｉｎ Ｓｅｒｖｉｃｅ—Ｏｒｉｅｎｔｅｄ Ｃｏｍｐｕｔｉｎｇ。２００９． ［４］网佳隽，吕智慧，吴杰，等．云计算技术发展分析及其应用探讨 ［Ｊ］．计算机工程与设计，２０１０，３１（２Ｏ）：４ ４０５—４ ４０７． Ｅ５］窦凌云．Ｐ２Ｐ技术在视频流媒体网络中的研究和应用［Ｄ］．成都： 电子科技大学，２００６． ［６］王永利．分布式网络视频监控系统的架构［Ｊ］．自动化仪表，２０１０ （７）：４２－４４． ［７］雷凌．视频监控系统中最佳存储方案的实践［Ｊ］．中防，２００９ （１）：１２２—１２５． ［８３邬建元，顾瑜，鞠大鹏，等，分布式大规模监控视频存储系统 ＴＨＮＶＲ［Ｊ］．计算机工程与应用，２００９，４５（３１）：５６—５９ ［９］吕卫忠，康红勋，周园春，等．数据网格中高效的分布式存储策略 口］．计算机工程，２０１１，３７（５）：３８—４０． （编辑：刘宝江）
