科技信息 计算机与网络 数据流管理系统研夯ｔ１１１￣分析 山东理工大学交通与车辆工程学院 赵以强 张龙波 近年来，在很多应用领域中出现了一种新的数据模式，其数据不是 以传统的有限数据集，而是以连续的数据流形式出现。数据流管理的理 论与算法，以及系统实现和开发技术都非常重要，需要深入研究。目前， 数据流管理问题的研究已经成为数据库领域的热点，国内外许多大学 和研究机构都在对数据流管理系统（ＤＳＭＳ）进行研究和开发。 数据流中的数据仍然可能是关系元组，但数据的到达是快速、时 变、不可预测和无限的数据流形式，不可能完全存储原始数据，使得传 统的数据库管理系统（ＤＢＭＳ）无法对数据流中的数据进行有效地管理， 储区，需要归档存储的数据保存到相关的存储器。与此同时，用户将查 询注册到系统中，查询处理与查询优化单元根据相关统计信息和注册 的查询进行查询优化处理，随着数据元组的到达计算查询结果。 ３．ＤＢＭＳ与ＤＳＭＳ的不同 ＤＳＭＳ是为专门处理数据流而设计开发的，与传统的ＤＢＭＳ在很多 方面有着较大的区别，如表１所示。 表１ ＤＢＭＳ和ＤＳＭＳ的比较 比较内容 ＤＢＭＳ ＤＳＭＳ 需要研制和开发专门用于数据流处理的数据流管理系统。 １．数据流模型 一个数据流是一个按照时间顺序到达的无穷数据元素序列，一般 表示为ｘ：｛＜ｖ ，ｔｌ＞，＜ｖ２，ｔ２＞，…，＜ｖ．．ｔｉ＞，…】，ｖ 是在时刻ｔ。出现的数据元 素。 数据流模型研究是数据流研究领域的重要内容，是对数据流的逻 辑抽象，当前数据流的数据模型主要是以基于关系模型的定义为主，每 个数据源产生的数据流都符合一定的关系模式，每个数据元素看作是 一个元组。目前，基于关系的数据流模型得到研究人员的广泛认同ｌｌ】２１。 由于数据流的无限性和计算机资源的有限性，无法对数据流中全 部数据元组进行存储和管理。另一方面，数据信息的时效性，也没有必 要浪费大量的时间和空间去存储和管理已经过期的旧数据。于是，就出 现了数据流窗口模型的概念，对数据流中的查询处理范围进行区域性限 定，限定在某个窗口范围之内。一般窗口有两个端点，分别是窗口的起 始点和结束点。根据窗口的起始点和结束点的移动方式，数据流模型可 分为快照窗口模型，界标窗口模型和滑动窗口模型等。 （１）快照窗口（Ｓｎａｐ—ｓｈｏｔ Ｗｉｎｄｏｗ）模型 快照窗口由固定的起始点和结束点，并且当窗口已经满足起始和 结束条件时一次性将查询或处理结果输出。 （２）界标窗口（Ｌａｎｄｍａｒｋ Ｗｉｎｄｏｗ）模型 界标窗口只固定窗口的起始点，窗口的另一端随着时间的推移和 新数据的到达而向前移动，即界标窗口模型的数据处理范围从一个固 定时间戳到当前时间戳内到达的全部数据。但是，界标窗口的范围不是 无增长的，仍然要确定一个最后结束点，当窗口延伸到这个最后结 束点即完成处理。 （３）滑动窗口（ＳｌｉｄｉｎｇＷｉｎｄｏｗ）模型 滑动窗口的两个端点都不是固定的，窗口保持一定的时间跨度或 者一定数量的元组，随着时间的推移和新数据的到达而向前移动，即滑 动窗口保存最新到达的那部分数据。 滑动窗口分为两类，一类是基于元组数量（Ｃｏｕｎｔ—Ｂａｓｅｄ）（或基于顺 序（Ｓｅｑｕｅｎｃｅ—Ｂａｓｅｄ））定义的滑动窗口，即在内存中保存数据流中数量 为Ｎ的最新到达的数据元组，可表示为ｓＮ＝｛（ｖｌ，ｔｌ＞，＜ｖｂ ｔ２＞，…，＜ｖ№ｔＮ＞）； 另一类是基于时间（Ｔｉｍｅ—Ｂａｓｅｄ）定义的滑动窗口两种，即在内存中保 存数据流在最近Ｔ时间范围内到达的全部数据元组，可表示为ＳＴ＝ＳｒｒＨ， Ｒ１（其中Ｔ为滑动窗口的时间跨度，ＴＲ为滑动窗口开始时间戳， 为当 前结束时间戳，Ｔ 一Ｔ ＝Ｔ），或者表示为ｓＴ＝ｓＩｆ＿Ｔ，ｔ］（其中Ｔ为滑动窗１５的 时间跨度，ｔ为当前时刻）。而根据滑动窗口更新粒度的不同，又可分为 连续更新滑动窗口和周期更新滑动窗口两种类型。 ２．ＤＳＭＳ体系结构 图１数据流管理体系结构 ＤＳＭＳ体系结构与传统的ＤＢＭＳ有着很大的不同，需要对其进行分 析研究。图１是一个典型的数据流管理体系结构图。首先由输入监控与 预处理单元对到达的数据元组进行监控，获取有关的统计信息；对数据 进行预处理，生成概要数据结构，对需要即时处理的存放存临时工作存 处理数据 静态存储的有限数据集 动态到达的无限数据流 数据更新 较低的数据更新率 数据不断更新 查询方式 一次性查询 连续查询 查询结果 精确查询 主要是近似查询 查询范围 全部数据 近期到达的数据 存储空间 大容量的磁盘存储 主要查询数据保存在有限 的内存空间中 数据访问方式 随机存取 主要是顺序存取 实时性 非实时查询 实时查询 ４．典型原型系统 目前，国外部分起步较早的项目已经完成了具有基本功能的研究 用的原型系统的开发，比较典型的原型系统有ＳＴＲＥＡＭ系统、Ａｕｒｏｒａ系 统和ＴｅｌｅｇｒａｐｈＣＱ系统等。 （１）ＳＴＲＥＡＭ￣是Ｓｔａｎｆｏｒｄ大学研究开发的基于关系的通用数据流 管理原型系统，重点研究了内存资源管理和近似查询处理，定义了一种 描述性查询语言ＣＱＬ（ＣｏｎｔｉｎｕｏｕｓＯｕｅｒｙＬａｎｇｕａｇｅ），用户可以用ＣＱＬ语 言进行查询注册，也可以直接输入查询计划。系统对连续、无界、随时间 变化的数据流进行实时的查询处理，为各种形式的连续查询提供连续、 实时的结果。目前，ＳＴＲＥＡＭ系统可以直接以ＨＴＹＰ方式提供ｗｅｂ接 口，提供了一个基于Ｗｅｂ的图形用户接口，通过该接口远程应用程序 可以不受开发平台和编程语言的，直接注册查询并以ＨＴＴＰ流的 形式获得ＸＭＬ格式的查询结果。此外，该接口还向用户提供了一个交 互式监控系统运行的途径。该系统的初始研究背景和实验环境是大型 网络流量管理，现在已逐步扩展到在线拍卖、道路流量监控、军事后勤 等应用领域。 （２）Ａｕｒｏｒａｔ４］是Ｂｒａｎｄｉｅｓ大学、Ｂｒｏｗｎ大学和Ｍ．Ｉ．Ｔ．合作研究开发的 数据流管理系统原型，主要是面向各种类型的实时监控应用领域，其核 心部分是一个大型触发器网络，能够执行编译时和运行时优化。系统定 义了称为Ｂｏｘｅｓ操作符而不是使用类似于ＳＱＬ的查询语言，并为用户 提供了一个图形化界面用操作符来定义每个触发器。该系统对查询优 化、存储管理和实时调度等进行了充分考虑。它给每个输出关联一个或 多个简单ＱｏＳ信息反馈，系统运行时可以根据这些ＱｏＳ信息对动态的 资源分配提出一定的指导建议。目前，他们正在进行新的有关数据流管 理研究的Ｂｏｒｅａｌｉｓ项目。 Ｂｏｒｅａｌｉｓ是一个分布式数据流处理引擎［５１。提交给Ｂｏｒｅａｌｉｓ的连续查 询可以看作一个巨大的操作符网络，其处理被分布到多个站点。在 Ｂｏｒｅａｌｉｓ系统中，查询处理单元（Ｑｕｅｒｙ Ｐｒｏｃｅｓｓｏｒ，简称为ＱＰ）是中心部 件，作为单点处理器，输入流进入ＱＰ，结果通过Ｉ／０队列输出，Ｉ／０队列 接收和发送远程节点和客户端的元组。同时，ＡＤＭＩＮＩ模块控制ＱＰ， ＡＤＭ１ＮＩ模块发出的系统控制信息发送给本地优化器，本地优化器通过 与ＱＰ的交互实现性能优化。在Ａｕｒｏｒａ系统中，每个查询输出与ＱｏＳ函 数值同时给出，而Ｂｏｒｅａｌｉｓ系统允许在数据流动的任意时刻访问ＱｏＳ函 数。 （３）ＣＭｉｆｏｒｎｉａ大学Ｂｅｒｋｅｌｅｙ分校的ＴｅｌｅｇｒａｐｈＣＱ系统 基于Ｅｄｄｉｅｓ 概念实现了一个自适应查询处理引擎，系统主要面向传感器网络，由于 面向传感器网络的ＤＳＭＳ系统需要首先考虑能源有效性、时间延迟和 感知精度等问题，与面向互联网应用的ＤＳＭＳ系统有着显著的区别。例 如，为了考虑系统的能源有效性，面向传感器网络的ＤＳＭＳ系统的聚集 运算必须在传感器网内进行，而对于面向Ｉｎｔｅｎｅｔ应用的ＤＳＭＳ系统可 以根据实际情况决定聚集运算是在服务器端进行还是在网络中的各个 节点上进行。 （下转第２３８页） 科技信息 计算机与网络 Ｐｈｏｔｏｓｈｏｐ在摄影方面硇应用搽讨 德州科技职业学院 刘志兰 ［摘 ］Ｐｈｏｔｏｓｈｏｐ的功能强大，可以对平面图像进行多种加工而营造出不同的效果。文章对使用Ｐｈｏｔｏｓｈｏｐ对数码照片进行清晰 化处理进行了简单的介绍。对于使用数码相机（Ｉ）ｃ）拍摄的作品，可以方便的进行后期照片处理工作。 ［关键词］数码照片Ｐｈｏｔｏｓｈｏｐ锐化ＵＳＭ 我们在拍摄照片的时候，会碰到被拍摄的物体在运动、相机震动或 者轻微对焦不准等问题，拍摄之后我们就会发现因刚才前面提到的问 题使照片出现这样或那样的模糊现象，给我们带来不小的困扰，在后期 影像处理中如何简便的解决这些问题，是大多摄影爱好者非常关心的。 般对于人像来说，你需要数量高、半径宽、阈值高的参数，常用的 是７１／１７／１７这组参数。对于有大量细节的风光影像来说，你需要数量 高、半径窄、阈值低的参数显示出细节来，比如２００１２１２这组参数。这些 参数设置虽然常用但并不是绝对的，你需要根据自己的需要进行调节。 一用好Ｐｈｏｔｏｓｈｏｐ中的“锐化滤镜”就可解决这类问题。 如果过度锐化，你会发现物体边缘会出现光晕，就像用火把在人物周围 一、注意几个容易引起误导的功能 画上一圈边缘线一样。如果你继续锐化则整幅照片将会像素化。 １、Ｐｈｏｔｏｓｈｏｐ“锐化”命令虽然Ｐｈｏｔｏｓｈｏｐ中的“锐化”命令也许可以 如果你需要快速、大批地处理（相当于ＳＨＡＲＰＥＮ命令）风景图片， 矫正这些存在的问题，但是它最初是设计用米解决数字化问题的—— 可将数量设为８０，半径设为２．２像素，低阈值。锐化人像可将阈值设为 将景物或胶卷上的影像从连续影调区域转换为特定影凋的小方块。就 ｌ０ ＤＣ而言，在以数字化方式捕获影像时，如果细节的线条与电荷耦合器 在Ｐｈｏｔｏｓｈｏｐ Ａｃｔｉｏｎｓ ｏｆ Ａｍｉｎ（ＰＡＡ）提供的动作合集中有几个针对 件（ＣＣＤ）的元素恰好重合，他们有可能因为太细小而不能被ＣＣＤ录下 锐化的动作，他们各有巧妙不同，大家可以多尝试，但基本都用到了 来转化为相应的像素来表达。为了避免这种情况的发生，ＤＣ对此情况 ＵＳＭ锐化滤镜。这里给出“锐化标准颜色模式（ＬＡＢ）法”的一些详细说 进行了虚化，使细节（线条）能跨越数个像素而被记录下来。对于这部分 明。 虚化的影像细节其实是被“隐藏”了起来，锐化用提高毗邻像素之间的 “锐化ＬＡＢ法”这个动作所使用的处理方法也是日常Ｐｈｏｔｏｓｈｏｐ锐 反差来还原这部分细节。如果细节（线条）被涂抹开超过４个像素，锐化 化的常用技巧，就是先将光色模式（ＲＧＢ）图片通过“图像—模式”命令 将通过提高毗邻像素之问的反差来创造清晰的影像边缘。 转换为ＬＡＢ模式，然后在“通道面板”选中亮度ｆＬｉｇｈｔｒｅｓｓ）通道，使用 ２、数码相机锐化选项虽然数码相机中往往有锐化这个选项，但我 ＵＳＭ锐化滤镜进行锐化处理，最后再转换回ＲＧＢ模式。这样做的好处 还是建议大家自己来调整像素，根据照片的实际情况来确定边缘细节 是避免了在锐化后物体边缘出现的色散问题。 和纹理的锐化效果，同时有一点要注意的，就是在照片处理的最后进行 下面给出其他一些常用的ＵＳＭ锐化参数，供大家参考：（１）数量 锐化，而不是在开始或者在当中进行锐化。 １５０％，半径３像素，阂值１色阶，适用比较柔和的图像Ｌ人像或者花卉）。 二、Ｐｈｏｔｏｓｈｏｐ清晰化利器ＵＳＭ锐化滤镜的应用 （２】数量８５％，半径１像素，阈值４色阶，适用大多数情况。（３）数量６５％， Ｐｈｏｔｏｓｈｏｐ中的锐化滤镜组主要通过增强图像中相邻像素之间的对 半径３像素，阈值２色阶或者数量６５％，半径４像素，阈值３色阶，锐化 比度来使图像轮廓分明，减弱图像的模糊程度。其中的Ｕｎｓｈａｒｐ Ｍａｓｋ 效果强烈，适用主体具有鲜明的边缘，比如建筑物、钱币、汽车等，或者 （ｕｓｍ锐化）滤镜是我们常用的，也是一个几乎万能的工具，因为它可以 照片本身比较模糊。 通过３个途径来量化锐化的程度：数量、半径和阈值。 这里还有一个技巧就是应用“消退”这个菜单命令，可以得到当中 Ｐｈｏｔｏｓｈｏｐ中的模糊掩盖锐化处理（ｕｎｓｈａｒｐ ｍａｓｋｉｎｇ，ＵＳＭ）提供了三 效果，比如锐化之后发现有点过度，那么可以用这个命令消退一些，这 种控制参数： 个百分比你是可以自己定的。 数量ｆＡｍｏｕｔ）：控制锐化效果的强度。对于一般的处理，数量１５０、半 前面介绍了四个工具，其实锐化过程就是一个控制反差的过程，所 径１、色阶２的设置是一个良好的开始，然后根据需要再作适当调节。数 以最有效的选择锐化方法之一就是应用图层＋高反差保留滤镜。先复 量值过大图像会变得虚假。 制一个图层，然后对复制图层用“高反差保留”滤镜，然后调整该图层的 半径（Ｒａｄｉｕｓ）：用来决定作为边缘强调的像素点的宽度。如果半径 叠加方式，比如要色彩浓郁一些，可以用“强光”；要锐化一些，可以用“柔 值为１，则从亮到暗的整个宽度是两个像素，如果半径值为２，则边缘两 光”；要更强的效果可以用“亮光”模式。 边各有两个像素点，那么从亮到暗的整个宽度是４个像素。半径越大， 还有一些技巧就是利用蒙版或者用选区锐化局部了。这里就不详 细节的差别也清晰，但同时会产生光晕。专业设计师一般宁愿多次使用 说了，具体步骤差不多。还有一个方法容易被忽视，就是为了锐化主体， ＵＳＭ锐化，也不愿一次将锐化半径设置超过１个像素。 我们可以虚化非主体。此外有的时候直接用Ｐｈｏｔｏｓｈｏｐ的锐化笔刷进行 阈值（Ｔｈｒｅｓｈｏｌｄ）：决定多大反差的相邻像素边界可以被锐化处理， 锐化也是相当不错的选择。以上是本人在关于使用Ｐｈｏｔｏｓｈｏｐ对数码照 而低于此反差值就不作锐化。阈值的设置是避免因锐化处理而导致的 片进行清晰化处理的一点肤浅体会和心得，由于本人水平有限，难免有 斑点和麻点等问题的关键参数，正确设置后就可以使图像既保持平滑 不足之处，希望不吝赐教。 的自然色调的完美，叉可以对变化细节的反差作出强调。在一般的印刷 前处理中我们推荐的值为３到４，超过１Ｏ是不可取的，它们会降低锐化 参考文献 处理效果并使图像显得很难看。 Ｉ １ １邓飞．Ｐｈｏｔｏｓｈｏｐ ＣＳ２美影终结者．北京科海电子出版社 虽然仅仅使用默认参数已经能够获得不错的锐化效果，但是多一・ ｆ２］刘凌霞．Ｐｈｏｔｏｓｈｏｐ与摄影艺术教程清华大学出版社 点使用，多一点比较，根据实际情况设定合理的锐化参数始终是需要 ［３］梵绅科技Ｐｈｏｔｏｓｈｏｐ ＣＳ４数码照片处理从入门到精５￣（３ＤＶＤ） 的，这样既能比较好的再现图像细节，又不至于产生新的麻烦：比如斑 北京科海电子出版社 点和麻点。 （上接第２３７页） ２００３ 另外，Ｃｏｎｅｌｌ大学的ＣＯＵＧＡＲ系统，印第安大学的ｄＱＵＯＢ系统等 ［２］王伟平．数据流查询处理关键技术的研究．博士学位论文，哈尔 都是一些正在进行研究与开发的ＤＳＭＳ原型系统。国内很多大学和研 滨工业大学．２００７ 究机构也正在进行ＤＳＭＳ算法理论与系统实现技术的研究，但无论是 ｌ ３ ＪＢ．Ｂａｂｃｏｃｋ，Ｓ．Ｂａｈｕ，Ｍ．Ｄａｔａｒ，Ｒ Ｍｏｔｗａｎｉ，ａｎｄ Ｊ．Ｗｉｄｏｍ．Ｍｏｄｅｌｓ 学术论文的数量和质量，还是当前项目立项数量、科研经费投入等各个 ａｎｄ ｉｓｓｕｅｓ ｉｎ ｄａｔａ ｓｔｒｅａｒｎ ｓｙｓｔｅｍｓ】ｃ ｊ．Ｐｒｏｃ．２１ ｓｔ ＡＣＭ ＳＩＧＡＣＴ－ＳＩＧＭＯＤ 方面都落后于国外，尚没有完整典型的ＤＳＭＳ原型系统。 ＳＩＧＡＲＴ Ｓｙｍｐ．ｏｎ Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ，ｐａｇｅｓ １－１６，Ｍａｄｉｓｏｎ， ５－结束语 Ｗｉｓｃｏｎｓｉｎ．ＭａＶ ２００２． 由于数据流本身固有的性质和特点，使得原有的传统数据库领域 １ ４ Ｉｓ．ｚｄｏｎｉｋ，Ｍ．Ｓｔｏｎｅｂｒａｋｅｒ，Ｍ Ｃｈｅｒｎｉａｃｋ，ｅｔ ａ１．Ｔｈｅ Ａｕｒｏｒａ ａｎｄ 的系统体系结构、存储管理、查询处理、数据挖掘等方面都需要重新考 Ｍｅｄｕｓａ Ｐｒｏｊｅｃｔｓ ＩＥＥＥ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ Ｂｕｌｌｅｔｉｎ，Ｍａｒｃｈ ２００３． 虑和研究。如何对数据流中的数据进行有效管理，为数据库研究界提出 【５ ｊＤ．Ａｂ耐ｉ，Ｙ Ａｈｍａｄ，Ｍ Ｂａｌａｚｉｎｓｋａ，ｅｔ ａ１．Ｔｈｅ Ｄｅｓｉｇｎ ｏｆｔｈｅ Ｂｏ－ 了很多问题和挑战。本文从数据流模型、体系结构、与ＤＢＭＳ的不同和 ｒｅａｌｉｓ Ｓｔｒｅａｍ Ｐｒｏｃｅｓｓｉｎｇ Ｅｎｇｉｎｅ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｅ ２ｎｄ Ｂｉｅｎｎｉａｌ Ｃｏｎｆｅｒ— 典型原型系统等方面对ＤＳＭＳ进行了分析和介绍。 ｅｎｃｅ ｏｎ Ｉｎｎｏｖａｔｉｖｅ Ｄａｔａ Ｓｙｓｔｅｒｍ Ｒｅｓｅａｒｃｈ（ＣＩＤＲ’０５），Ａｓｉｌｏｍａｒ，ｃＡ，Ｊａｎ— ｕａｒｙ ２００５． 参考文献 Ｅ６ ＪＳｉｒｉｓｈ Ｃｈａｎｄｒａｓｅｋａｒａｎ，Ｏｗｅｎ Ｃｏｏｐｅｒ，Ａｍｏ１ Ｄｅｓｈｐａｎｄｅ，ｅｔ ａ１． ［１］Ｒ Ｍｏｔｗａｎｉ，Ｊ．Ｗｉｄｏｍ，Ａ．Ａｒａｓｕ，ｅｔ ａ１．Ｑｕｅｒｙ ｐｒｏｃｅｓｓｉｎｇ，ａｐｐｒｏｘ－ ＴｅｌｅｇｒａｐｈＣＱ：Ｃｏｎｔｉｎｕｏｕｓ Ｄａｔａｆｌｏｗ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ａｎ Ｕｎｃｅｒｔａｉｎ Ｗｏｒｌｄ． ｉｍａｔｉｏｎ，ａｎｄ ｒｅｓｏｕｒｃｅ ｍａｎａｇｅｍｅｎｔ ｉｎ ａ ｄａｔａ ｓｔｒｅａｍ ｍａｎａｇｅｍｅｎｔ ｓｙｓｔｅｍ． Ｐｒｏｃ．ｏｆｔｈｅ ２００３ ＣＩＤＲ Ｃｏｎｆｅｒｅｎｃｅ，Ａｓｉｌｏｍａｒ，ＣＡ，Ｊａｎ．２００３． Ｐｒｏｃ．ｏｆ Ｆｉｒｓｔ Ｂｉｅｎｎｉａｌ Ｃｏｎ￣０１１ Ｉｎｎｏｖａｔｉｖｅ Ｄａｔａ Ｓｙｓｔｅｍｓ Ｒｅｓｅａｒｃｈ（ＣＩＤＲ）， －－．——２３８．．．——
