网络流量监测技术在异常流量分析上的应用与研究

网络流量监测技术在异常流量分析上的应用与研究

姓名：***申请学位级别：硕士专业：计算机应用指导教师：***20070401

摘要摘要伴随着Ｉｎｔｅｍｅｔ的迅速发展，网络安全事件开始频繁发生，各种攻击手段层出不穷，计算机网络的保密性、完整性和可用性受到了严峻考验。分布式拒绝服务ＤＤｏＳ攻击就是目前一种危害极大的攻击方式，给网络服务器带来严重的威胁，也给千千万万的网络用户造成了损失。网络流量监测技术已经成为保证现代网络管理性能的重要手段，在网络的配置管理、故障管理、性能管理、安全管理和计费管理等方面发挥着不可替代的作用。本文研究的目的是通过对网络流量监测技术进行研究，然后应用到ＤＤｏＳ等攻击、病毒造成的异常流量的监测和防御中。本文对流量监测的应用范围进行了介绍，并对目前所流行的三种流量监测技术：基于网络流量全镜像的监测技术、基于ＳＮＭＰ的监测技术，基于Ｎｅｔｆｌｏｗ的监测技术进行了分析与对比，通过分析对比，指出了这三种监测技术的特点及适用范围。网络流量的采集是流量分析的基础，本文对现有两种常见的流量采集方式进行了介绍，并做了以下两项工作：一是认真了研究Ｕｎｉｘ环境下享誉盛名的ＢＰＦ（ＢｅｒｋｅｌｅｙＰａｃｋｅｔＦｉｌｔｅｒ），提出了一种基于ＢＰＦ的数据包捕获模型，二是针对ＮｅｔＦｌｏｗ技术的特点，对数据采集的采样率、采集点的设置、数据采集对网络的影响等多个方面进行了分析，并设计出了一种数据采集的系统组织方案。异常流量的识别是对异常流量进行有效预防和处理的前提和基础，也是异常流量监测的主要工作之一。本文结合Ｎｅｔｆｌｏｗ技术，从目前比较流行的异常流量的种类（如ＤｏＳ、ＤＤｏＳ、网络蠕虫病毒等）入手，进行了大量的研究实践，通过对所采集的数据包的源地址、目的地址、源端口、目的端口、协议类型、字节数等关键参数的分析。给出了一套判断、分析异常流量的的方法。最后，结合以上的研究，本文提出了从判断到采集、分析，到处理的一套系统的网络异常流量处理方法。【关键词】网络管理，网络流量、数据采集、异常监测、Ｎｅｆｆｌｏｗ、分布式拒绝服务吼络流量监测技术在异常流量分析上的应用与研究ＡＢＳＴＲＡＣＴＴｈｅＩｎｔｅｒｎｅｔｓａｆｅａｃｃｉｄｅｎｔｓｆｒｅｑｕｅｎｔｌｙｔａｋｅｐｌａｃｅｗｉｔｈＩｎｔｅｍｅｔｆａｓｔｄｅｖｅｌｏｐｍｅｎｔ．Ａｌｌｋｉｎｄｓｏｆａｔｔａｃｋｍｅａｓｕｒｅｓｃｏｎｓｔａｎｔｌｙｃｏｍｐｕｔｅｒｎｅｔｗｏｒｋａａｒｅａｐｐｅａｒ．Ｔｈｅｓｅｃｒｅｃｙ，ｌａｔｅ：ｇｒｉｔｙａｎｄｕｓａｂｉｌｉｔｙｏｆａｕｓｔｅｒｅｌｙｔｅｓｔｅｄｏｕｔ．ＤｉｓｔｒｉｂｕｔｅｄＤｅｎｙｏｆＳｅｒｖｉｃｅｎａｎ＇ｌｅＤＤｏＳｉｓｋｉｎｄｏｆａｔｔａｃｋｍｅａｓｕｒｅｍａｋｉｎｇｈｕｇｅｈａｒｍ．ＤＤｏＳｂａｄｌｙｔｈｒｅａｔｅｎｎｅｔｗｏｒｋｓａ＇ｖｅｒａｎｄｍａｋｅｌｏｓｉｎｇｆｏｒｔｈｏｕｓａｎｄｓｏｆｎｅｔｗｏｒｋＵＳｅｒ．Ｔｅｃｈｎｏｌｏｇｙｏｆｎｅｔｆｌｏｗｉｎｓｐｅｃｔｉｏｎｈａｓｂｅｃｏｍｅａｎｉｍｐｏｒｔａｎｔｍｅａｓｕｒｅｔｏｅｎｓｌ．ｆｆｅｍｏｄｅｍｎｅｔｗｏｒｋｍａｎａｇｅｍｅｎｔｂｅｒｅｐｌａｃｅｄａｔｐｅｒｆｏｒｍａｎｃｅ．ＴｈｅｔｅｃｈｎｏｌｏｇｙｈａｓｓｕｃｈｅｆｆｅｃｔｗｈｉｃｈＣａｎｎｏｔｍａｎｙｎｅｔｗｏｒｋｆｉｅｌｄｓａｓｃｏｎｆｉｇｕｒａｔｉｏｎｍａｎａｇｅｍｅｎｔ，ｆａｉｌｕｒｅｅｘｐｅｎｓｅｍａｎａｇｅｍｅｎｔ，ｐｅｒｆｏｒｍａｎｃｅｍａｎａｇｅｍｅｎｔ，ｓａｆｅｍａｎａｇｅｍｅｎｔＴｈｅｏｂｊｅｃｔｉｖｅｉｎｓｐｅｃｔａｎｄａｎｄｍａｎａｇｅｍｅｎｔ．ｆｏｒｕｓｉｎｇｔｏｏｆｐａｐｅｒｉｓｒｅｓｅａｒｃｈｉｎｇｎｅｔｆｌｏｗｉｎｓｐｅｃｔｉｏｎｔｅｃｈｎｏｌｏｇｙｄｅｆｅｎｄｅｘｃｅｐｔｉｏｎａｌｆｌｏｗｗｈｉｃｈｃａｓｅｄｂｙＤＤｏＳａｔｔａｃｋａｎｄｖｉｒｕｓ．ａｒｅａＴｈｅａｐｐｌｉｃａｔｉｏｎｏｆｎｅｔｆｌｏｗｉｎｓｐｅｃｔｉｏｎｉｓｉｎｔｒｏｄｕｃｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｔｈｅｔｈｒｅｅｋｉｎｄｓｏｆｆｌｏｗｉｎｓｐｅｃｔｉｏｎｔｅｃｈｎｏｌｏｇｉｅｓｓｕｃｈａｓｉｎｓｐｅｃｔｉｏｎｔｅｃｈｎｏｌｏｇｙｔｏｔａｌｍｉｒｒｏｒ，ｉｎｓｐｅｃｔｉｏｎｏｎｂａｓｅｄｏｎｎｅｔｆｌｏｗｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎＳＮＭＰｍａｄｉｎｓｐｅｃｔｉｏｎｔｅｃｈｎｏｌｏｇｙｂａｓｅｄＮｅｔｆｌｏｗａｒｅａｎａｌｙｚｅｄａｎｄｃｏｍｐａｒｅｄｉｎｔｈｉｓｐａｐｅｒ．ＴｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓａｎｄａｐｐｌｙｉｎｇａｒｅａｏｆｔｈｒｅｅｋｉｎｄｓＴｈｅｎｅｔｆｌｏｗｏｆｔｅｃｈｎｏｌｏｇｉｅｓｃｏｌｌｅｃｔｉｏｎａｒｅｂｒｏｕｇｈｔｆｏｒｗａｒｄｂｙｃｏｍｐａｒｉｎｇａｎｄａｎａｌｙｚｉｎｇ．ｉｓｂａｓｅｏｆｆｌｏｗａｎａｌｙｚｉｎｇ．Ｔｗｏｋｉｎｄｓｏｆｆａｍｉｌｉａｒｆｌｏｗｃｏｌｌｅｃｔｉｏｎｍｅｔｈｏｄａｒｅｉｎｔｒｏｄｕｃｅｄｉｎｔｈｅｏｎｐａｐｅｒ．Ｔｏｗｉｔｅｍｓｏｆｗｏｒｋａｒｅｃｏｍｐｌｅｔｅｄ．ＴｈｅａｆａｍｏｕｓＢｅｒｋｅｌｅｙＰａｃｋｅｔＦｉｌｔｅｒＵｎｉｘｅｎｖｉｒｏｎｍｅｎｔｓｉｓｒｅｓｅａｒｃｈｅｄａｎｄｄａｔａｐａｃｋｅｔｃａｐｔｕｒｉｎｇｍｏｄｅｌｂａｓｅｄＢＰＦｉｓｐｕｔｆｏｒｗａｒｄ．Ｔｈｅｍａｎｙｓａｍｐｌｉｎｇｎｅｔｗｏｒｋｔｅｃｈｎｏｌｏｇｉｅｓｓｕｃｈａｓｄａｔａｆｒｅｑｕｅｎｃｙ，ｓｅｔｔｉｎｇｏｆｓａｍｐｌｉｎｇｐｏｉｎｔａｎｄａｆｆｅｃｔｉｏｎｏｆｄａｔａｓａｍｐｌｉｎｇｔｏａｒｅａｎａｌｙｚｅｄ．Ｔｈｅｄａｔａｓａｍｐｌｉｎｇｓｃｈｅｍｅｉｓｄｅｓｉｇｎｅｄ．ｂａｓｅｍｅｎｔａｎｄｐｒｅｃｏｎｄｉｔｉｏｎｏｎｅＴｈｅｅｘｃｅｐｔｉｏｎａｌｐｒｅｖｅｎｔｅｄａｎｄｆｌｏｗｄｉｓｔｉｎｇｕｉｓｈｉｓｏｆｅｆｆｅｃｔｉｖｅｌｙｍａｎａｇｅｄｅｘｃｅｐｔｉｏｎａｌｆｌｏｗ，Ｔｈｅｍｅａｓｕｒｅｉｓｏｆｍａｉｎｗｏｒｋｏｆｎｅｔｆｌｏｗｉｎｓｐｅｃｔｉｏｎ．ＬａｒｇｅｎｕｍｂｅｒｓｏｆｒｅｓｅａｒｃｈｐｒａｃｔｉｃｅａｂｏｕｔａｃｔｕａｌｐｏｐｕｌａｒｋｉｎｄｏｆｅｘｃｅｐｔｉｏｎａｌｆｌｏｗｓｕｃｈａｓＤｏＳ．ＤＤｏＳａｎｄｎｅｔｗｏｒｎｌｖｉｒｕｓｉｓｐｒｏｃｅｓｓｅｄｗｉｔｈＮｅｔｆｌｏｗｐｉｖｏｔａｌｐａｒａｍｅｔｅｒｓｔｅｃｈｎｏｌｏｇｙｉｎｔｈｅｐａｐｅｒ．Ｔｈｅｏｆｃｏｌｌｅｃｔｉｏｎｄａｔａｐａｃｋａｇｅｉｓａｎａｌｙｚｅｄｗｈｉｃｈｉｓｓｏｕｒｃｅａｄｄｒｅｓｓ，ｄｅｓｔｉｎａｔｉｏｎａｄｄｒｅｓｓ，ｓｏｕｒｃｅｐｏｒｔ，ｄｅｓｔｉｎａｔｉｏｎｐｏｒｔ，ｐｒｏｔｏｃｏｌＩＪＡＢＳＴＲＡＣＴｔｙｐｅａｎｄｂｙｔｅｎｕｍｂｅｒ．Ｔｈｅｍｅｔｈｏｄｏｆｅｘａｃｔｌｙｄｉｓｔｉｎｇｕｉｓｈｉｎｇｅｘｃｅｐｔｉｏｎａｌｆｌｏｗｉｓｂｒｏｕｇｈｔｆｏｒｗａｒｄ．Ｔｈｅｍｅｔｈｏｄｉｓｂｒｏｕｇｈｔｆｏｒｗａｒｄｏｆｅｘｃｅｐｔｉｏｎａｌｆｌｏｗｍａｎａｇｅｍｅｎｔｍｅｔｈｏｄｆｒｏｍｃｏｌｌｅｃｔｉｏｎ，ａｎａｌｙｚｉｎｇａｎｄｄｉｓｐｏｓａｌｗｉｔｈｕｐｗａｒｄｓｒｅｓｅａｒｃｈｉｎｔｈｅｐａｐｅｒａｔｌａｓｔ．ＫＥＹＷＯＲＤＳｎｅｔｗｏｒｋｍａｎａｇｅｍｅｎｔ，ｎｅｔｗｏｒｋｔｒａｆｆｉｃ，ｎｅｔｗｏｒｋｔｒａｆｆｉｃｃｏｌｌｅｃｔｉｏｎ，ａｂｎｏｒｍａｌｍｏｎｉｔｏｒｉｎｇ，Ｎｅｔｆｌｏｗ，ＤｉｓｔｒｉｂｕｔｅｄＤｅｎｉａｌｏｆＳｅｒｖｉｃｅ（ＤＤｏＳ）ｌｌＩ独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得安徽大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签杉爹彬签字魄２００７年罗月２７日学位论文版权使用授权书本学位论文作者完全了解安徽大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制－７－段保存、汇编学位论文。【保密的学位论文在解密后适用本授权书）学位论文作者签名哲夕杪签字日期：２导师签名：引毵苇签字日期：加。７年ｒ月；７日００７年｝月２７日学位论文作者毕业去向：工作单位通讯地址勉硅镧螗伊谚一了掰卯晔邮编：玉知Ｐ口第一章绪论第一章绪论１．１课题背景随着Ｉｎｔｅｒｎｅｔ的发展，计算机网络的应用己经渗透到人们生活的每一个角落，网络犯罪同时也不断蔓延，相应的安全自然随着应用的不断扩展而变得越来越重要，尤其是电子政务应用的发展，对网络安全提出了更高的要求。事实上，目前信息与网络安全的形势是非常严峻的，长期以来如下问题一直困扰着网络用户和门。蠕虫病毒、ＤＯＳ／ＤＤＯＳ（拒绝服务／分布式拒绝服务）攻击以及网络滥用是目前Ｉｎｔｅｒｎｅｔ安全的几个主要威胁ＩＩ，４】。ＲｅｄｃｏｄｅＩＩ，Ｎｉｍｄａ等蠕虫病毒的泛滥，造成大量网络资源浪费，甚至服务不能正常进行。分布式拒绝服务（ＤＤＯＳ）攻击是近年来出现的一种极具破坏力的攻击方式，病毒与黑客攻击技术的结合，使得病毒对网络经济的影响发展成为所有头号网络安全问题。网络褴用的一种主要方式是垃圾邮件。一些非法组织和个人，利用网络邮件服务存在的漏洞，大量发送垃圾邮件，造成正常的邮件业务无法提供服务，尤其是国外的一些组织和个人利用我国部分拥有邮件服务器的单位对邮件服务器的管理不严的问题，借道转发他们的垃圾邮件，在国际上造成了不良影响。门作为的保障部门，有责任担负起相应的责任，及时有力打击网络犯罪行为，为广大网民提供一个良好的网络环境，为我国的社会稳定、经济发展提供一个可靠的网络环境。的网络安全监察发展的规划中，计划在全国建立网络安全报警处置中心，并配套建设相应的网络安全服务中心，进而全国建立统一的网络安全动态防护体系１２１，打下了良好基础。本文的研究内容就是在上述背景下提出的，主要目的通过对网络流量进行实时监测以实现分布式拒绝服务（ＤＤＯＳ）攻击等网络安全问题的检测和处理。１．２本文所做的工作本文首先对网络流量分析在网络性能、网络安全中的作用进行阐述，并对网络流量监铡技术在异常流量分析上的应用与研究目前所流行的三种流量监测技术：基于网络流量全镜像的监铡技术、基于ＳＮＭＰ的监测技术，基于Ｎｅｔｆｌｏｗ的监测技术进行了分析与对比，通过分析对比，指出了这三种监测技术的特点及适用范围。同时，本文还对于网络流量的采集方式进行了分析，对目前流量采集的体系结构、方式、技术等进行了介绍，特别是对于基于ＮｅｔＦｌｏｗ技术的数据采集进行了重点讨论，做出了详细的论证。想要对异常流量进行有效的预防和处理，首先要准确的判断哪些是异常流量，哪些是正常流量。本文结合Ｎｅｔｆｌｏｗ技术，从目前比较流行的异常流量的种类（如ＤｏＳ，ＤＤｏＳ、网络蠕虫病毒等）入手，进行了大量的研究实践，通过对所采集的数据包的源地址、目的地址、源端口、目的端口、协议类型、字节数等关键参数的分析，给出了一套准确判断异常流量的的方法，这样，我们就可以在发现异常流量以后迅速采取有效的措施，从而保证网络的正常运行。最后，本文还给出了经过验证的常见蠕虫病毒的ＮｅｔＦｌｏｗ分析实例，可以帮助网络管理员迅速判断蠕虫病毒造成的异常流量。１．３本文的结构和组织全文共分六章，下面是各章的概述：第一章绪论。首先说明课题的背景，并大概介绍了本文所傲的工作。第二章网络流量研究的意义。介绍了网络流量对于网络体系结构、网络性能、网络安全的意义。第三章互联网业务流量监测技术的应用及现状。对流量监测的应用范围进行了介绍，并对目前所流行的三种流量监测技术：基于网络流量全镜像的监测技术、基于ＳＮＭＰ的监测技术，基于Ｎｅｔｆｌｏｗ的监测技术进行了分析与对比。第四章流量数据的采集。首先介绍了现有两种常见的流量采集方式，针对这两类方式，分别提出了Ｕｎｉｘ平台下结合ＢＰＦ的数据包捕获模型和基于ＮｅｔＦｌｏｗ技术的数据采集系统框架。第五章流量监测技术的异常监测研究。网络监测技术在异常监测中的应用研究，并提出了基于Ｎｅｔｆｌｏｗ技术的一些防范方式。第六章结论。对全文的主要研究成果进行了总结论述。第二章网络流量研究的意义第二章网络流量研究的意义首先给流量一个定义。流量（Ｔｒａｆｆｉｃ）在逻辑上等价于呼口ｑ或者连接。而流（ＦＬＯＷ）指的是两个节点之间数据包的单向序列（也就是说，对每一个连接会话都有两个流，从服务器到客户端的和从客户端到服务器的），用起止时间分隔开，可以用下面７个关键域进行标识问：源口地址，目的口地址、源端口、目的端１３、协议类型、服务类型、路由器输入接口等吼无任什么时候路由器收到数据包，都要查找这７个域，然后再做出决定：如果该数据包属于已经存在的“流”，则相应流的流量值增加：否则，将创建一个新的流。与“流”相关的属性值（如源／目的地址、包数、字节数等）反映了在起止时间内发生的事件。一个流的起止时间是固定的，终止时间随着流的延续而增长。通常我们关心的流记录分类依据由一个五元组（即源地址、目的地址、源端口、目的端口和协议类型）所组成。２．１网络流量与网络体系结构从网络体系架构来说，网络流量是一切研究的基础。所有的对网络的应用和网络本身的行为特点的研究都可以通过对网络流量的研究来获得。网络的行为特征往往可以通过其承载的流量的动态特性来反映，所以有针对性地检测网络中流量的各种参数（如ｐａｃｋｅｔｉｎｔｅａｒｒｉｖａｌ，ｐａｃｋｅｔｌｅｎｇｔｈ，ｐａｃｋｅｔｌｏｓｓｒａｔｅ，ｐａｃｋｅｔｄｅｌａｙ，ｅｔｃ），就能从中分析和研究网络的运行特征。通过分析和研究网络上所运载的流量特性，有可能提供一条有效的探索网络内部运行机制的途径。由于网络流量在网络体系结构中的地位，越来越多的研究者转向网络流量的研究，流量理论也越来越受到重视，网络领域的研究热点中就包括网络流量的测量和分析。２．２网络流量与网络性能网络流量能直接反映网络性能的好坏。在网络中，如果网络所接受的流量超过它实际的运载能力，就会引起网络性能下降。吞吐量是表征网络性能的重要标志１５１。一个理想的网络应该接受所有提供的流量，直到它的最大吞吐量限３网络流量监测技术在异常流量分析上的应用与研究额。然而在实际的网络中，如果对网络流量控制得不好或发生网络拥塞，将会导致网络吞吐量下降，网络性能降低。网络流量监测主要为对网络数据进行连续的采集以监测网络的流量。获得网络流量数据后对其进行统计和计算，从而得到网络及其主要成分的性能指标，定期形成性能报表，并维护网络流量数据库或日志存储网络及其主要成分的性能的历史数据，网络管理员根据当前的和历史的数据就可对网络及其主要成分的性能进行性能管理，通过数据分析获得性能的变化趋势，分析制约网络性能的瓶颈问题。此外，在网络性能异常的情况下网络流量监测系统还可向网络管理者进行告警，使故障及时得到处理。２．３网络流量与网络安全随着Ｉｎｔｅｍｅｔ的应用领域和应用规模的快速增长，通过网络传播计算机病毒的种类越来越多，传播速度更快，感染面积更广；全球的信息安全受到了普遍而严重的威胁。安全问题已经成为严重制约网络发展特别是商业应用的主要问题，并直接威胁着国家和社会的安全。网络蠕虫病毒，其传播速度快、传播面积广、破坏性强，大量占用路由器和交换机的带宽，导致网络阻塞甚至瘫痪。蠕虫病毒主要有以下特征：利用操作系统的漏洞主动传播，并且可以在局域网或者广域网内以多种方式传播，一般来说，都有很多变种，从而使杀毒软件难以有效的主动防范。迄今为止，用户只有不断升级杀病毒软件的版本、下载相应的补丁包才能有效清除网络蠕虫病毒。但是，往往在用户升级杀病毒软件的版本之前，网络已经遭受病毒攻击而瘫痪，使得用户无法升级自己的杀病毒软件的版本，从而阻止病毒的传播。这种网络蠕虫病毒的攻击方式，除了造成网络大量的流量之外，也会消耗大量的系统资源。其实，通过适当的网络管理与防火墙管理软件，可以在网络蠕虫病毒进行入侵时所涌入的异常网络流量或异于平时的系统资源使用量时，通过所预先设定的监测阀值，在整个系统刚出现异常时，即可通知系统管理人员或者自动采取有效的动作，阻止病毒的有效传播。而且流量监控系统可以监视整个网络的资源使用状态，再与防火墙、入侵检测与网络管理等整合在一起，就可以形成一道严密的防护网，可以主动的防御各种网络蠕虫病毒的恶意入侵第二章网络流量研究的意义或是人为因素所引起的异常情况。另外，各种攻击手段层出不穷，计算机网络的保密性，完整性，可用性受到了严峻考验。针对目前危害甚大的拒绝服务（ＤｏＳ）和分布式拒绝服务（ＤＤｏＳ）攻击，通过连接会话数的跟踪，源目的地址的分析，ＴＣＰ流的分析，能够及时发现网络中的异常流量和异常连接，侦测和定位网络潜在的安全问题和攻击行为，保障网络安全１４‘２２捌。网络流量监测技术在异常流量分析上的应用与研究第三章互联网业务流量监测技术的应用及现状３．１互联网业务流量监测技术的应用流量监测技术的应用主要包括以下几个方面ｌ、实现对网络异常通信的检测，重点防范分布式拒绝服务（ＤＤｏＳｌ的攻击和大范围的蠕虫病毒发作。２、为网络出口互联链路的设置提供决策支持通过对网络出口流量和流向的分析，可以详细了解网络内部用户对其他外部网络的访问情况，从而有效地选择与其他网络的互联方式和互联地点，节约互联链路费用。３、掌握用户对其他运营商的访问情况通过对与其他网络互联流量的监控，分析网络内部用户访问其他外部网络的业务特点和主要流量的去向，准确掌握内部用户对的兴趣点，找到最多应用的热点信息内容。根据分析结果进行相应网络内容的建设，将用户感兴趣的热点信息内容放到内部网络，减轻互联链路的压力。４、评估分支网络的成本和价值通过对各个分支网络出入流量的监控，分析流量的大小、去向及内容组成，了解各分支网络占用带宽的情况，从而反映其占用的网络成本，也可以了解其业务开展情况，并做出价值评估。５、提供重要应用和大客户统计分析６第三章互联网业务流量监测技术的应用及现状通过对重要应用和大客户的流量进行统计分析，掌握重要应用和大客户的流量状况，进行网络带宽的成本分析，有助于在网络服务质量和网络成本之间取得最佳平衡。６、基于口的计费应用和服务等级协议（ＳＬＡ）的校验服务通过对大客户接入电路上的流量进行监控分析，可以统计出业务类型、服务等级、通信时间和时长、通信数据量等参数，为基于ｍ的计费应用和ＳＬＡ的校验服务提供数据依据。７、掌握网络状况通过对网络中一些特定流量的长期监控，有助于网管人员了解网络的流量模型，所形成的基准数据可供网管人员正确分析网络使用状况，并可及时发布异常警讯，在故障事件爆发或扩大前实施防范措施，进而提升网络的整体质量及效能。通过对网络内流量的实时分析，有助于及时发现网络中出现的异常流量，迅速分析出异常流量的具体属性。通过与网络通信正常基线的比对，管理员对出现的异常通信可以快速定性是否为网络安全攻击，确定安全攻击的类型，评估本次攻击的危险程度及可能造成的影响范围，并采用相应技术手段实施事故应急处理。８、为网络优化提供数据依据通过流量分析，可以为多出口的流量负载均衡、重要链路的带宽设置、路由选择和设定ＱｏＳ等网络优化措施提供数据依据。３．２互联网业务流量监测技术现状分析首先要明确的是，网络流量监测技术是一个统称，它是一系列用于监测网络流向流量状况的技术族。既然是一个技术族，那么这个家族拥有哪些成员呢？网络流量监测技术在异常流量分析上的应用与研究老大是基于网络流量全镜像的监测技术、老二是基于ＳＮＭＰ的监测技术，老小是基于Ｎｅｔｆｌｏｗ的监测技术。排序的依据是三种技术出现的早晚。１、基于网络流量全镜像的监测技术：原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备，实现网络流量的无损复制和镜像采集。和其它两种流量采集方式相比，流量镜像采集的最大优点是能够提供丰富的应用层信息，监测粒度最细，最大的缺点是成本高、难度大，对设备要求高，对网络影响大，且它侧重于协议分析，仅能在短时间内对流经接口的数据包进行分析，无法满足大流量、长期的抓包和趋势分析的要求。所以，这种流量全镜像的监测技术固然拥有分析最细致的优点，但只适用于对少量数据、个别端口的监测上，无法推广到大型网络中。目前在入侵检测系统（ＩＤＳ）中运用这种技术较多。２、基于ＳＮＭＰ的流量监测技术：原理是通过提取网络设备代理（Ａｇｅｎｔ）提供的管理对象信息库（Ｍ毋）中收集具体设备及流量信息有关的变量，收集的网络流量信息包括：输入／输出的字节数、非广播包数、广播包数、包丢弃数、包错误数、未知协议包数等。基于ＳＮＭＰ的流量监测技术最大优点是：ＳＮＭＰ是ＲＦＣ认可的通用网管协议，适用面广，不影响网络运行，部署成本低、难度小，甚至监控软件可在互联网上免费获取，但他最大的缺点是：监测粒度粗，只能采集到网络流量大小、丢包和时延信息，不能深入分析包的类型、流向等信息【６ｊ６１。３、基于Ｎｅｔｆｌｏｗ的监测技术：原理是基于网络设备提供的Ｎｅｔｆｌｏｗ机制实现的网络流量信息采集，在此基础上实现的流量信息采集效率和效果均能够满足网络流量异常监测的需求。Ｎｅｔｆｌｏｗ是Ｃｉｓｃｏ的私有协议，但现在正被越来越多的主流网络厂商所认可，如：Ｊｕｎｉｐｅｒ、Ｆｏｕｎｄｒｙ等，并有望成为ＲＦＣ标准。既然是老小，总是兼具老大和老二的优点：部署成本低，难度小、监测粒度细，不影响网络运行、适用面较广，适合对网络进行精确监测。总结上述内容，下面让我们用列表的方式对这三种方法来做一总结和比较第三章互联网业务流量监测技术的应用及现状表３．１三种流量监测技术的比较表三种流量监测技术的比较流量全镜像监测基于ＳＮＭＰ的监测基于Ｎｅｔｆｉｏｗ的监测Ｃｉｓｅｏ私有协议，但标准化情况不完全标准ＲＦＣ标准厂商认可，有望很快成为ＲＦＣ标准端口镜像模式需要设备端口支设备支持状况持，探针模式与探针自身性能有关是否需要采样是否含ＡＳ信否否Ｃｉｓｃｏ，Ｊｕｎｉｐｅｒ、已有多个主流网络广泛支持Ｆｏｕｎｄｒｙ等主流厂商支持否否需要含有中息采集数据粒度细粗端口镜像模式和对网络的影响探针模式均对网络影响大部署难度部署成本高一局影响小影响小低低网络各个层次的粗略监测低低网络各个层次的精确监测对个别端口的监适用范围测如表３．１所示，三种技术各自找到了自己最适合的应用空间：流量全镜像监测技术常和Ｓｎｉｆｆｅｒ等数据包分析软件或仪器配合使用，用于精确监控个别端口的流量：基于ＳＮＭＰ的监测技术被广泛应用于互联网中，用以收集端口流量大小，粗略评估网络状况；基于Ｎｅｔｆｌｏｗ的监测技术被广大电信技术开发商所利用，开发出各类全面、细致、准确的监控网络流量流向的软件，如：Ａｒｂｏｒ、ＮＴＧ、ＮｅｔＳｃｏｕ。９网络流量监测技术在异常流量分析上的应用与研究目前国内电信运营商的运维部门大都还没有建设一套能够完全满足管理需求的互联网业务流量监测系统。现有的网络管理系统虽然可以提供业务流量监测手段，但基本上只是采用一些通用型的网络链路使用率监视软件，如利用免费的ＭＲＴＧ和简单网络管理协议（ＳＮＭＰ），对网络的重点链路和互联点进行简单的端口级流量监视和统计；或采用在网络中部分重点业务接入点（ＰＯＰ）ＪＪ［Ｉ装远程监控（ＲＭＯＮ）探针的方式，利用ＲＭＯＮＩ／ＩＩ协议对网络中部分端口进行网络流量和上层业务流量的监视和采集。上述两种被普遍采用的网络流量监测系统都有着明显的技术局限性。ＳＮＭＰ采集端口的数据主要是在网元层用来监控网络流量和设备的性能，而且ＳＮＭＰ采集的数据是基于端口的，无法提供端到端的准确的流量信息，因此对流向的统计手段不明确。利用ＳＮＭＰ协议能够对被监视的各个网络端口进出的数据包数和字节数进行采集，但采集到的流量信息较为粗糙，不但包括网络层的客户业务流量信息，还包括链路层的数据帧包头，Ｈｅｌｌｏ数据包，出错后重新传送的数据包等流量信息。而且ＳＮＭＰ协议还无法区分网络层数据流量中各种不同类型客户业务在总流量中的分布状况，也无法对进出的流量进行流向分析１６，”Ｊ。利用ＲＭＯＮ协议对运营商网络进行流量和流向管理可以部分弥补ＳＮＭＰ协议的技术局限性，如可以对业务流量进行统计，但同时也暴露出新的技术局限性。首先，由于ＲＭＯＮ协议需要对网络上传送的每个数据帧进行采集和分析，会耗用大量的ＣＰＵ资源因而不可能由网络设备本身实现，需要额外购买和安装内置式或外置式的ＲＭＯＮ探针。市场上现有的ＲＭＯＮ探针处理能力也有，还不能支持监控端口速率超过ｌＧｂｐｓ的网络端口。其次，因为ＲＭＯＮ探针为的硬件设备，价格较贵，所以不可能为每台网络设备都配备，且由于ＲＭＯＮ探针，特别是内置式ＲＭＯＮ探针接入网络后不易变更，所以必然会造成出现异常事件时无法及时对特定的网络链路进行监控。最后，由于ＲＭＯＮ探针采集到的管理数据是由分析每个数据包后得到的，数据量非常大且分散，协议缺乏内建的数据汇总机制，而且还不包括每个数据包的ＢＧＰＡＳ号或路由ＮｅｘｔＨｏｐ信息，所１０第三章互联网业务流量监铡技术的应用及现状以不易对数据进行高层次的流向分析。这些因素都会阻碍利用ＲＭＯＮ协议对大型网络进行流量和流向分析的有效性。为克服现有网管系统对网络流量和流向分析功能的技术局限性，运营商迫切需要寻找一种功能丰富，成熟稳定的新技术对现有管理系统中管理信息的采集和分析方式进行改造和升级。新的信息采集和分析技术还需要对运营商的运行网络影响小，无需对网络拓扑进行改变就能平滑升级。而且新的信息采集和分析技术应该即可以对网络中各个链路的带宽使用率进行统计，也可以对每条链路上传输不同类型业务的流量和流向进行分析和统计，同时应能适应中国宽带互联网网络规模迅速扩展，链路带宽快速增长的实际状况，可以根据需要支持采用数据采集的抽样模式或对采集到的原始数据进行自动汇聚的方式，减少和压缩网管中心管理服务器需要处理的数据量，确保管理系统的处理能力能够适应网络规模的增长。本文主要讨能强大、应用广泛的ＮｃｔＦｌｏｗ技术。网络流量监测技术在异常流量分析上的应用与研究第四章流量数据的采集４．１流量数据的采集４．１．１网络流量采集概述流量数据的采集是整个流量监控系统的某础。只有完整的获得网络流量数据，才能进行后续处理，所以数据采集是整个系统的关键所在，网络监视一般采用采样技术。或者是基于时间（按照一定的时间间隔采样），或者是基于数据包（按照网络流量采样），而基于数据包的采样由网络流量触发，能够自动按照网络使用率进行调整，是目前应用最好的采样技术。４．１．２流量采集的体系结构流量采集一般包括三个部分：、读取器、控制器，如图４．１所示。图４．１流量采集模型流量是流量测量体系的核心。被放置在测量点上根据配置记录网络活动。在数据存储之前。它可以对数据进行聚类、变形等进一步处理，计量一定的属性（如字节数、包数），并且根据其他属性（例如源地址．目的地址）确定的计量实体进行分类。计量实体可以是主机、子网，甚至是一组子网，它的粒度由的配置决定。流量的数据信息存储在的流量表中，流量表是一个流量数据记录的数组。读取器可以用任何合适的方式采集数据．如可以通过ＦＴＰ整张流量表读取器允许该流量属性值的一个子集．而不需要读出所有的流量数据记录。读取器第四章流量数据的采集可以在从多个中采集数据，而且这些采集之间不需要同步。读取器将数据传送给分析系统。控制器负责配置和控制读取器的流量采集，包括：●流的确定，如哪些流量被记录，它们如何聚类以及采集哪些数据；●的控制阐述，如流量表的大小；●抽样率，通常每个包都被监测，但是在一些情况下必须抽样检测。在从每一个读采集数据之前．读取器需要确定加了几点：●的唯一的ＩＤ：●采集的间隔：●需要采集哪些流量记录；●需要采集流量记录的哪些属性值（所有属性，或者仅仅是一部分）４．１．３流量采集方式的分类从目前的研究和实现来看，常见的网络流量采集的方式可以分为两类：基干网络侦听的技术、基于路由器的方法【ｓｊ。ｌ、基于网络侦听的技术通常的网卡模式设置使机器只能对发送给自己的信息和广播地址信息做出反应。如果将网卡设置为“混杂”模式，处于共享介质网络上的任何一台机器都可以截获流经该网络段的任何一个数据包。网络侦听的方法就是专门使用一台计算机在网络中进行侦听，我们将这样的一台计算机称为流量检测工作站。以路由器为例，让路由器和流量检测工作站在同一个物理段上，所有经过路由器的数据包都会经过流量监测工作站，所以是第一层的互连设备。对于这种方法，最大的优点是可以减少路由器的负担，能够让路由器更好的参与路由。但是需要满足一定的条件：所有到达对象的流量都能监听到。否则造成数据的不准确。所以，该方法的缺点是实现起来有些困难，如何确保完整的流量数据是工作的关键。２、基于路由器的方法路由器是ＩＳＰ以及企业网与Ｉｎｔｅｍｅｔ网络连接的通道。是信息出入的咽喉，网络流量监测技术在异常ｉｉｉ【量分析上的应用与研究企业或园区网络中所有到Ｉｎｔｅｒａｃｔ的网络流量均经过路由器，在此采集数据不会发生数据丢失。目前一般路由器尤其是我国大量使用的Ｃｉｓｃｏ路由器中均有数据流量的记录功能，它的记录格式由四个字段组成，分别为源口地址、目的口地址、包和字节数。把这些数据实时地读出来，就可完成流量数据的采集，具体操作时又有三种不同的方式［９．１５ｌ。第一种方式是通过ＳＮＭＰ。利用该协议开发出来的流量监控软件可移植性高，只需要少量改动或无需改动，就可以用于不同厂家的路由器。典型工具有ＭＲＴＧ（ＭｕｌｔｉＲｏｕｔｅｒＴｒａｆｆｉｃＧｒａｐｈｅｒ），ＭＲＴＧ是一个实用的免费软件，通过将ＳＮＭＰ协议从设备得到流量信息，将流量负载情况绘制成ＰｉＮＧ格式图片．并以ｗｅｂ网页方式显示给用户。由于ＭＲＴＧ使用起来很方便．能够非常直观显示端口流量负载，所以是各类网管人员常用的网络监视工具。但ＭＲ．ＴＧ的功能比较单一，其收集到的流量信息仅是简单的端口出、入流量统计信息，不能用于深入的流量分析。第二种方式是利用ＡＡＡ（认证、授权、计费），但是这种方法需要在ＵＮⅨ工作站上建立相应的ＴＡＣＡＣＳ服务器，实施起来也不方便，在此就不详细介绍了。第三种方式是模拟Ｔｅｌｎｅｔ程序，Ｔｅｌｎｅｔ是大多数操作系统都支持的一条命令。Ｔｅｌｅｎｅｔ在本地主机与远程主机间建立ＴＣＰ连接，将本地主机的标准输入和控制送到远程主机，由远程主机处理，将远程主机的标准输出送回本地。因此可以设计一个Ｔｅｌｎｅｔ客户程序登陆到路由器上，获取ＭＩＢ数据源。也就是说，通过编码模仿Ｔｅｌｎｅｔ（借用它的２３号端口），把Ｔｅｌｎｅｔ的在终端屏幕上的输出（流量数据）定向到一个临时文件中，通过对这个临时文件的分析，就得到流量清单。相对Ｔｅｌｎｅｔ，ＳＮＭＰ协议具有通用性。基于Ｔｅｌｎｅｔ的软件系统虽然实现起来比较简单、速度比较快，但其通用性不好．有很大的局限性，而且有时为了保证安全性．还会封闭掉Ｔｅｌｎｅｔ，而ＳＮＭＰ协议日益发展，已经成为网络管理规范，能够保证系统的通用性和重用性。因此在晟终的系统中，使用了ＳＮＭＰ来采集数据。网络管理人员根据实际流量设定采集时间间隔，定点采集数据，这样就可以缓解ＳＮＭＰ采集数据较慢的缺点。１４第四章流量数据的采集４．２数据包捕获技术众所周知，以太网络是广播型的网络。网上的站点共享信道，一个站点发出数据，其它站点均能收到。而目前大多数网络主机都使用以太网卡，在默认设置下，以太网卡只接受到达本地的数据包，而过滤掉其它数据包。但以太网卡有一个”混杂模式”选项．可以关掉过滤功能，从而检查途经网卡的所有数据包。４．２．１捕获栈使用连接到网络中的计算机来截获数据包，必须和网卡打交道，软件完成了大量的捕获过程。操作系统必须提供一套捕获原语来从网卡发送和接收数据，这些原语的目的主要是从网络上截获数据，屏蔽与网卡的交互，并且把它们传递给调用函数。这种方法对操作系统的依赖性很强，因此不同的操作系统实现起来也大相径庭。内核中的数据包捕获部分必须迅速和有效，因为它必须能够工作在流量负荷较大的高速链路上，同时能够把丢包率控制在一定的范围里，并且使用较少的系统资源。我们可以通过一个捕获栈来直观了解捕获的整个实现过程，图４．２是一个捕获栈的结构：用户应用程序Ｌｉｂｐｃａｐ用户层面……一－．……一一Ｐａｃｋｅｔ．ｄｌｌ动态链接库…………弋…７≯…………～数据包图４．２捕获栈结构内核层面网卡最底层的是网卡，用来抓获网络中传送的数据包。在捕获过程中，网卡通常工作在“混杂”模式，强行接收所有的数据包【１ｌ】。数据包捕获驱动（ｐａｃｋｅｔ网络流量监测技术在异常流量分析上的应用与研究ｃａｐｔｕｒｅｄｒｉｖｅｒ）是捕获栈最底层的软件模块，它是工作在内核级别的，通过与网卡进行交互来获得数据包。它向应用程序提供了一套访问数据链路层的函数，以便应用程序能够从网络中发送和读取。Ｐａｃｋｅｔ．ｄｌｌ工作在用户级别，但它与捕获程序是分离的。它是从驱动程序中分离出来的，向应用程序提供与系立的捕获接口。Ｌｉｂｐｃａｐ是应用程序的数据包捕获部分的一个静态库，它使用由Ｐａｃｋｅｔ．ｄｌｌ提供的服务，向应用程序提供一个高层的有力的数据包捕获接口。用户接１：３是捕获程序的最高层，它负责与用户的交互并显示捕获结果【９】。上面的这个捕获结构从宏观上展示了整个数据包捕获的过程，但是在实际的捕获过程中还需要做些改善，主要有以下３个方面［１０，１４］：１）把丢包率在一定的范围内。数据包捕获驱动程序应当建立一个缓冲区，当应用程序还未做好准备来处理所接收到的数据包的时候可以将其存储在该缓冲区内，从而控制了丢包。应用程序一旦准备好，被存储在缓冲区的数据包应当能够立刻传送给应用程序。２）为了使应用程序和驱动程序之间内容交换的次数最少，它们应当分别工作在用户级别和内核级别，并且使用单一的读调用来传输数据包。３）应用程序应当只接收自己感兴趣的数据包。这就要求数据包捕获驱动程序只传送对应用程序有用的包，因此应用程序必须设置过滤器对所接收到的数据包进行过滤，以接收满足过滤器的数据包。４．２．２ＢＰＦ结构Ｕｎｉｘ环境下享誉盛名的ＢＰＦ（ＢｅｒｋｅｌｅｙＰａｃｋｅｔＦｉｌｔｅｒ）很好的完成了这几个方面。ＢＰＦ结构在整个协议栈中的位置示意图如图４．３所示。第四章流量数据的采集用户屡面内核层面数据包圈络图４．３ＢＰＦ结构ＢＰＦ使得每个捕获过程都要经过过滤器和两个缓冲区。过滤器是由应用程序产生的，通过一个ＩＯＣＴＬ调用传递给ＢＰＦ。缓冲区是由ＢＰＦ静态分配的，通常为４Ｋ。这两个缓冲区中第一个缓冲区（ｓｇｏｒｅｂｕｆｆｅｒ）是从网卡中获得数据，第二个缓冲区（ｈｏｌｄｂｕｆｆｅｒ）是把数据包拷贝到应用程序中区，当第一个缓冲区满而第二个缓冲区空的话，ＢＰＦ对其进行交换，这样一来不会与网卡驱动程序互相干扰，二来可以解决应用程序来不及处理数据包时的存包问题，大大减小了丢包率Ｉｌｌ，１２１。Ｔａｐ用来设置把数据包反馈给应用程序的过滤器，这个过滤器由用户自己来定义，接收用户自己感兴趣的数据，这其中包括接收哪些包，以及拷贝那些字节，这样就极大地加快了应用程序处理的速度，节省了ＣＰＵ资源。４．２．３数据包捕获模型结合ＢＰＦ过滤功能，提出了一种行之有效的数据包捕获模型，如图４．４所不。网络流量监测技术在异常流量分析上的应用与研究Ｊ用户代码Ｉ婶户缓冲区ＩＬｉｂｐ呷ｌＰ越ｋ吐棚ｌ甩户屡砸去：；序ｔ上内核层面ＩＭｃ驱动ｔ数据包网络图４．４结合ＢＰＦ过滤功能的数据包捕获模型网卡设置成混杂模式后，强行接收所有网络中流经该工作站的数据包，这是由网卡驱动程序（ＮＩＣＤｒｉｖｅｒ）完成的。接收到了数据包后，由ｎｅｔｗｏｒｋｌａｐ来处理它，ｎｅｔｗｏｒｋｔａｐ接收到数据包拷贝后，向上传送至过滤器，在过滤器中进行过滤，如果是用户感兴趣的，就被过滤器接收，否则丢弃。当数据包被过滤器所接收时，如果应用程序已经准备好了接收数据包，数据包会立即被拷贝到应用程序的缓冲区中去；如果应用程序没有准备好接收，为了避免丢包，必须将数据包传送到内核缓冲区（ＫｅｒｎｅｌＢｕｆｆｅｒ）中存储起来，一旦应用程序准备好，就把它拷贝到应用程序的缓冲区中去【Ｂ矧。过滤器有个特点，就是不仅可以返回是否接收这个数据包，还可以返回要拷贝的数据包部分的长度，这样就极大地优化了捕获过程，因为只有应用程序需要的部分才被拷贝过来，很大的节省了ＣＰＵ和缓冲区的资源。当新的数据包到达内核缓冲区的时候，如果缓冲区已满，则数据包会被丢弃。内核缓冲区的大小对于整个捕获过程的效率有很大的影响。事实上，～个捕获应用程序对每个数据包进行处理的时候，还要和其他的应用程序分享ＣＰＵ资源．这是无法与流量负荷较大时的网络速度相比的，尤其是在速度较慢的机器上这个问题更加明显。而驱动程序是运行在内核级别上的，所以处理速度非第四章流量数据的采集常快，通常是不会丢包的，因此在应用程序忙的时候，开辟一段缓冲区来存放那些数据包可以避免应用程序较慢的处理速度和网络流量大的时候所引起的丢包１１４捌。应用程序在接收到了数据包之后，通过Ｐａｃｋｅｒ．ｄｌｌ这个动态链接库提供的捕获接口，并调用Ｌｉｂｐｃａｐ库中的函数完成对数据包的分析和处理。对于我们十分关心的流量统计，都可以在应用程序中去完成，这个捕获的实现过程就是这样的。４。３、基于ＮｅｔＦＩｏｗ技术的数据采集４．３．１ＮｅｔＦＩｏｗ技术简介ＮｅｔＦｌｏｗ是Ｃｉｓｃｏ公司提出的网络数据包交换技术，该技术首先被用于网络设备对数据交换进行加速，并可同步实现对高速转发的ＩＰ数据流（Ｆｌｏｗ）进行测量和统计““。经过多年的技术演进，ＮｅｔＦｌｏｗ原来用于数据交换加速的功能已经逐步改由网络设备中的专用集成电路（ＡＳＩＣ）芯片实现，而对流经网络设备的ＩＰＦｌｏｗ进行测量和统计的功能却更加成熟，并成为当今互联网领域公认的最主要的口流量分析、统计和计费行业标准。为对运营商网络中不同类型的业务流进行准确的流量和流向分析与计量，首先需要对网络中传输的各种类型数据包进行区分。由于口网络的非面向连接特性，网络中不同类型业务的通信可能是任意一台终端设备向另一台终端设备发送的一组口数据包，这组数据包实际上就构成了运营商网络中某种业务的一个Ｆｌｏｗ。如果管理系统能对全网传送的所有Ｆｌｏｗ进行区分，准确记录传送时间、传送方向和Ｆｌｏｗ的大小，就可以对运营商全网所有业务的流量和流向进行分析和统计。通过分析网络中不同Ｆｌｏｗ之间的差别，可以发现判断任何两个口数据包是否属于同一个Ｆｌｏｗ，实际上可以通过分析口数据包的以下７个属性来实现：网络流量监测技术在异常流量分析上的应用与研究１、源口地址：２、目标口地址：３、源通信端口号：４、目标通信端口号：５、第三层协议类型：６、服务类型（ＴＯＳ）字节：７、网络设备输入或输出的逻辑网络端口（ｆｆｉｎｄｅｘ）。Ｎｅｔｆｌｏｗ技术通过对原始数据进行抽样和过滤，记录下口数据包的特征，通过分析数据包主要的七个属性来快速的区分网络中传送的各种不同类型业务的数据流。对区分出的每个数据流，Ｎｅｔｆｌｏｗ可以进行单独地跟踪和准确计量，记录其传送方向和目的地等流向特性，统计其起始和结束时间，服务类型，包含的数据包数量和字节数量等流量信息。对采集到的数据流流量和流向信息，Ｎｅｔｆｌｏｗ可以定期输出原始记录，也可以对原始记录进行自动汇聚后输出统计结果。图４．５更清楚的描述出Ｎｅｔｆｌｏｗ技术的工作流程：图４．５Ｎｅｔｆｌｏｗ技术的工作流程图第四章流量数据的采集Ｃｉｓｃｏ公司的ＮｅｔＦｌｏｗ技术就是利用分析口数据包的上述７个属性，快速区分网络中传送的各种不同类型业务的Ｆｌｏｗ。对区分出的每个Ｆｌｏｗ，ＮｅｔＦｌｏｗ技术可以进行单独跟踪和准确计量，记录其传送方向和目的地等流向特性，统计其起始和结束时间、服务类型、包含的数据包数量和字节数量等流量信息。在ＮｅｔＦｌｏｗ技术的演进过程中，Ｃｉｓｃｏ公司一共开发出了ＮｅｔＦｌｏｗＶｌ、ＮｅｔＦｌｏｗＶ５、ＮｅｔＦｌｏｗＶ７、ＮｅｔＦｌｏｗＶ８和ＮｅｔＦｌｏｗＶ９等５个主要的实用版本【１６删。下面对网络流量和流向分析系统中最常用的ＮｅｔＦｌｏｗＶ５数据输出的数据包格式作一简单介绍【１９０叭。图４．６为ＮｅｔＦｌｏｗＶ５输出数据包的包头格式。图４．７为包含在每个ＮｅｔＦｌｏｗＶ５输出数据包中的具体Ｆｌｏｗ的流量和流向统计信息的数据格式。通用馅皂时闰梭验信息糖ｈＲＩＰ．ＩｆａｒＶＷｔｌ上ｌＰｄａｔＩ＇ＩｔＵＷｔ［Ｄ盯图４．６ＮｅｆｆｌｏｗＶ５输出数据包的包头格式２１网络流量监测技术在异常流量分析上的应用与研究使时增用ｉ岛∞＂ＴＣＰ，哪西瓦ｉ—］。应用矗由和Ｐ蕾ｎ＿毫图４．７ＮｅｆｆｌｏｗＶ５输出数据包中具体流量和流向统计信息格式ＮｅｔＦｌｏｗ的数据输出要求先在路由器和交换机上定制ＮｅＷｌｏｗ流输出，并选择输出流的版本、个数、缓冲区的大小等，配置相应Ｎｅｆｆｌｏｗ流量收集器正ｌｏｗＣｏｌｌｅｃｔｏｒ）的Ｐ地址、端口等信息。此时路由器或交换机即可以用户数据报协议（ＵＤＰ）的方式向外发送流信息，然后在ＮｅｔＦｌｏｗＦｌｏｗＣｏｌｌｅｃｔｏｒ端配置接收端口号，设置汇聚、过滤策略和流量文件存放目录、格式等。ＮｅｔＦｌｏｗ有非采样和采样两种使用模式。一般来说，ＮｅｆｆｌｏｗＦｌｏｗＣｏｌｌｅｅｔｏｒ都选用ＵＮＩＸ工作站来收集数据，ＮｃｔＦｌｏｗＦｌｏｗＣｏｌｌｅｃｔｏｒ收集的数据将存放在本地磁盘中（路径由用户定义）。同时，它也可以通过网关以Ｓｏｃｋｅｔ方式发送信息到其他网管分析软件，或直接读取存放在ＮｅｆｆｌｏｗＦｌｏｗＣｏｌｌｅｃｔｏｒ工作站中的数据文件，对其进行分析处理口ｓ矧。Ｎｅｆｆｌｏｗ记录的流包含了丰富的信息，非常适合于网络性能分析。Ｎｅｆｆｌｏｗ不需要其他硬件流量设备的支持，开启和关闭都非常方便，因此在国外已有很需要消耗一定的路㈣（ｃｅｕ和内存）。多运营商用它来收集流量，服务于网络规划、设计和优化等领域。但开启ＮｅｔＦｌｏｗ采集到的Ｎｅｆｆｌｏｗ数据，结合边界网关协议０３ＧＰ）路由信息，可以更加精确地分析路由信息和互联流量的自治域（ＡＳ）属性。第四章流量数据的采集根据ＮｅｔＦｌｏｗ的特点，该技术非常适用于大型网络。ＮｅｔＦｌｏｗ采集实施成本较低、安装方便，而且不受速率的，是目前运营商流量监测的首选技术，以下是ＮｃｔＦｌｏｗ在运营商网络中的几神典型使用方式‘３∞２】：１、互联网交换中心（ＮＡＰ）流量和流向监控互联网交换中心作为专为］ＳＰ提供网络互联和交换网络通信的汇聚点，需要及时、准确地掌握各个ＩＳＰ网络间的通信流量和流向数据，为交换中心合理规划路由策略和调整ＩＳＰ的接入带宽提供依据。为此互联网交换中心的管理员可以在核心交换设备与每个ＩＳＰ互联的网络端口上启动Ｎｅｔｆｌｏｗ数据采集。如果ＩＳＰ的接入端口为高速率端口（如速率超过ＯＣ一１２），还可以选择采用数据包抽样Ｎｅｔｆｌｏｗ采集方式，减少对核心交换设备的资源消耗和Ｎｅｔｆｌｏｗ统计结果的输出数据量。通过进一步分析还可以发现，交换中心作为提供ＩＳＰ互联的服务商，只需要关注下联ＩＳＰ间的通信流量和流向统计，而无需进行更加详细的统计分析（如基于ＩＰ地址，ＩＰ网段，服务类型等的流量和流向分析）。由于每个ＩＳＰ都有各自不同的ＢＧＰＡＳ号码，所以交换中心管理员还可以进一步优化核心交换设备的Ｎｅｔｆｌｏｗ数据输出选项：利用ＮｅｔｆｌｏｗＶ８开始支持的统计数据内置汇聚功能，由核心交换设备对采集到的原始统计数据进行针对不同源和目的地ＢＧＰＡＳ号的统计汇总，只把汇总后的统计结果发送给上层管理系统。这样不但可以大大减少输出给上层管理系统的统计数据量，还可以简化上层管理系统的数据分析负荷，使其能够更加简便快速地生成所需的统计报表。图４．８为一个典型的互联网交换中心利用Ｎｅｔｆ］ｏｗ技术进行ＩＳＰ间通信流量和流向管理的系统结构图：网络流量监铡技术在异常流量分析上的应用与研究ＮＡＰ体系结构图４．８ＮＡＰ体系结构图２、运营商间互联链路的流量和流向监控每个电信运营商的网络都是通过互联链路与一个或多个其它运营商的网络相连接的。运营商为更好地服务自己的企业客户或个人用户，需要了解自己客户访问网络的模式以及访问网络资源的所在位置；同时运营商为了和其它运营商谈判签订双边或多边网络访问协议，也需要对双方相互访问的网络资源进行评估，这些都需要对双方网络互联链路进行通信流量和流向的监控和统计。３‘…。为实现对运营商间互联链路的流量和流向管理，管理员可以在每个与其它运营商互联的边界路由器上启动Ｎｅｔｆｌｏｗ，对互联网络端口迸行数据采集。根据互联链路的端口速率，可以选择全Ｎｅｔｆｌｏｗ采集或数据包抽样Ｎｅｔｆｌｏｗ采集方式。由于管理员需要分析自己客户的详细网络访问纪录，了解他们需要获取的网络资源的确切位置，所以管理中心应该收集尽可能详尽的Ｎｅｔｆｌｏｗ统计数据，意味着启动了Ｎｅｔｆｌｏｗ数据采集的边界路由器不应做任何统计数据的汇聚，而应把Ｎｅｔｆｌｏｗ原始统计记录直接发送给上层管理服务器ｍ７。管理服务器在接收第四章流量数据的采集到各个边界路由器发送来的Ｎｅｔｆｌｏｗ原始统计记录后，可以对数据进行统一分类处理或把原始记录存储到数据仓库中，由后续的数据挖掘应用程序对入库的数据进行细致分析，并生成运营商需要的统计报表。图４．９为运营商利用Ｎｅｔｆｌｏｗ技术监控与其它运营商间互联链路流量和流向的管理系统实施示意图：运营商间网络互联图４．９运营商间网络互联图３、企业客户流量计费随着中国宽带互联网的发展，越来越多的企业客户开始利用宽带网络改变公司的业务处理流程。电信运营商为了适应这种需求，需要提供比往更加丰富的服务内容，如不但提供数据接入业务，还可以提供ＩＰ电话、视频和网络存储等业务。由于不同类型业务的差异性，传统固定费率的计费方式也开始变得不能满足客户的需要。运营商需要跟随客户需求的转变，同步改变自己的运营支撑系统，提供多种灵活的业务计费方式供客户选择。网络流量监测技术在异常流量分析上的应用与研究利用Ｎｅｔｆｌｏｗ技术，运营商可以精确统计出客户租用的接入链路上传送各种不同类型业务的通信流量，包括业务类型，服务等级，通信时间和时长，通信数据量等参数。这些详细的通信流量统计数据可以被运营商的计费和帐务系统进行处理，生成基于客户业务流量的计费账单。为实现客户的业务流量计费．需要在接入客户的所有接入路由器相应网络端口上都启动Ｎｅｔｆｌｏｗ数据采集。由于计费数据要求高精确性，所以应该尽量采用全Ｎｅｔｆｌｏｗ数据采集方式，避免使用数据包抽样的Ｎｅｔｆｌｏｗ数据采集方式。接入路由器采集到的Ｎｅｔｆｌｏｗ流量统计数据需要被统一发送给运营商的计费系统，由其进行不同类型业务的流量分类，汇总、批价和计费，最终由帐务系统生成提交给客户的计费账单。图４．１０为利用Ｎｅｔｆ］ｏｗ技术采集客户业务流量信息的运营支撑系统结构图：客户流量统计或使用率计费图４．１０Ｎｅｔｆｌｏｗ采集业务流量信息的运营支撑系统结构图４、运营商网络优化为提高客户对运营商网络的使用满意度，运营商需要及时了解自己网络的负载状况，正确预测可能出现的网络瓶颈，适时规划未来的网络升级，这些管第四章流量数据的采集理需求都可以通过利用Ｎｅｔｆｌｏｗ技术对运营商网络进行准确的网络带宽使用率监测和网络流向分析来实现。由于主要是实现对运营商网络的优化，所以不一定需要对网络中传送的所有流量数据进行１００％的监测。为减少对网络设备的资源占用，降低对上层管理系统的容量要求，可以选用数据包抽样的Ｎｅｔｆｌｏｗ数据采集方式，对核心网络的重点链路进行统计。采集到的抽样统计数据可以利用上层管理系统进行全网集中处理，也可以分区域进行局部处理，分别计算出全网的通信流量和流向统计报表或部分区域的通信流量和流向统计报表。由此管理员可以迅速发现网络当前的使用状况，不同链路的使用率变化趋势，并可以此为依据规划两络是否需要调整和扩容，最终实现网络的优化使用。图４．１１为利用Ｎｅｔｆｌｏｗ技术进行运营商核心网络优化的管理系统结构图网络负荷分析和容量规划图４．１１运营商核心网络优化的管理系统结构图网络流量监测技术在异常流量分析上的应用与研究４．３．２ＮｅｔＦｌｏｗ数据采集针对路由器送出的ＮｅｔＦｌｏｗ数据，可以利用ＮｅｔＦｌｏｗ数据采集软件存储到服务器上，以便利用各种Ｎｅｆｆｌｏｗ数据分析工具进行进一步的处理。Ｃｉｓｃｏ提供了ＣｉｓｃｏＮｅｆｆｌｏｗＣｏｌｌｅｃｔｏｒ（ＮＦＣ）采集Ｎｅｆｆｌｏｗ数据，其它许多厂家也提供类似的采集软件【３７１。下例为利用ＮＦＣ２．０采集的网络流量数据实例：２１１，。．’．５７１２０２．＋．＋．１２１０ｔｈｅｒｓｔｌｏｃａｔａｓｌ９１６１２３９２１８０１８０１ｔ１４０１１出于安全原因考虑，本文中出现的Ｐ地址均经过处理。ＮｅｔＦｌｏｗ数据也可以在路由器上直接查看，以下为从ＣｉｓｃｏＧＳＲ路由器采集的数据实例，：（登录采集ＮｅｔＦｌｏｗ数据的ＧＳＲ２槽板卡）ＬＣ—Ｓｌｏｔ２＞ｓｈｉｐｃａｃｈｅｆｌｏｗＳｒｃＩｆＳｒｃＩＰａｄｄｒｅｓｓＤｓｔＩｆＤｓｔＩｐａｄｄｒｅｓｓＰｒＳｒｃＰＤｓｔＰＰｋｔｓＧｉ２／１２１９．·．｝．２２９Ｐ０４／２２１７．＋．＋．２２８０６０９ＣＢ１６８Ｄ２Ｇｉ２／１６１．｝．＋．２３ＮＩｌｌｌ６３．｝．｝．２４６１１０４２６０５９Ａ１本文中的Ｎｅｆｆｌｏｗ数据分析均基于ＮＦＣ采集的网络流量数据，针对路由器直接输出的Ｎｅｆｌｏｗ数据，也可以采用类似方法分析。ＮＦＣ可以定制多种ＮｅｔＦｌｏｗ数据采集格式，下例为ＮＦＣ２．０采集的一种流量数据实例，本文的分析都基于这种格式【３８ｊ９１。６１．＋．＋．６８１６１．＋．＋．１９５１６４９１７１０ｔｈｅｒｓｌ９１１３１４５２８１１３５１６１４１１９２１１数据中各字段的含义如下：第四章流量数据的采集源地址ｌ目的地址牌自治域旧的自治域ｌ流入接口号怵出接１：３号１源端口｝目的端口Ｊ协议类型Ｉ包数量Ｉ字节数ｌ流数量４．３．３流量采集对业务网络的影响评估１、带宽占用采用ＮｅｔＦｌｏｗ方案不要求处理从某个接口接受到的每个数据包，用来对被监控路由器进行流量分析的数据来自采集到的ＮｅｔＦｌｏｗ数据，从路由器送出的非采样ＮｅｔＦｌｏｗ数据不到流经该路由器数据量的１％。使用采样ＮｅｔＦｌｏｗ时数据更为大大减少。根据计算，在采样率为１０００：１时，对１０Ｇｂｉｔ／ｓ的流量进行ＮｅｔＦｌｏｗ分析，只产生１．３Ｍｂｉｔ／ｓ的流量。因此，ＮｅｔＦｌｏｗ产生的这部分流量对于骨干网的带宽占用很少［４１Ａ３１。２、路由器性能消耗利用ＮｅｔＦｌｏｗ技术实现流量监测需要路由器开启ＮｅｔＦｌｏｗ协议以配合采集数据，因此会对路由器的ＣＰＵ造成一定的负担。Ｃｉｓｃｏ公司和Ｊｕｎｉｐｅｒ公司等路由器厂家都针对这些问题作了详细的研究。不同的产品系列和ＮｅｔＦｌｏｗ协议是否经过采样等，对ＣＰＵ的影响程度也不同。根据Ｃｉｓｃｏ公司的“ＮｅｔＦｌｏｗＰｅｒｆｏｒｍａｎｃｅＡｎａｌｙｓｉｓ”‘４４１，在非采样方式下，路由器开启ＮｅｔＦｌｏｗ后，其ＣＰＵ使用状况如下：ａ１如果有１００００条同时在线的Ｆｌｏｗ，则路由器的ＣＰＵ使用率平均增加７．１４％：ｂ）如果有４５０００条同时在线的Ｆｌｏｗ，则路由器的ＣＰＵ使用率平均增加１９．１６％：网络流量监测技术在异常流量分析上的应用与研究ｃ１如果有６５０００条同时在线的Ｆｌｏｗ，则路由器的ＣＰＵ使用率平均增加２２．９８％。这些数据是基于不同的产品系列进行测试的平均值。在采样方式下开启ＮｅｔＦｌｏｗ对路由器的ＣＰＵ影响会更小。根据Ｃｉｓｃｏ公司的资料显示，１２０００系列的路由器在非采样方式下需要增加２３．５％的ＣＰＵ使用率来处理６５０００条Ｆｌｏｗ，而在采用１００：１的采样率时ＣＰＵ使用率仅增加３％。在不同的采样率下，ＣＰＵ的负担增加程度也不同【４５蛔。路由器上不同类型的线卡对ＮｅｔＦｌｏｗ的支持情况也有所不同。仍以Ｃｉｓｃｏ公司路由器为例，ＥｎｇｉＩｌｅ３和Ｅｎｇｉｎｅ４＋的线卡是采用专门的硬件来处理ＮｅｔＦｌｏｗ数据，开启ＮｅｔＦｌｏｗ对路由器性能影响较小；而通常认为Ｅｎｇｉｎｅ２的线卡开启ＮｅｔＦｌｏｗ对路由器性能的影响相对较大。４．３．４ＮｅｔＦＩｏｗ采样率的设定在采样方式下，路由器按照一定的采样率采集ＮｅｔＦｌｏｗ数据，流量分析系统接收Ｎｅｆｆｌｏｗ数据对网络的流量进行计算和分析，因此路由器的采样率在很大程度上决定了分析结果的准确性。如果路由器设定的采样率过高（如１０００：Ｉ或更高１，流量分析的误差将加大，尤其对小Ｆｌｏｗ或混杂在大流量中的部分关键的小Ｆｌｏｗ的分析，更容易产生比较大的误差。在路由器上开启ＮｅｔＦｌｏｗ会消耗一些设备资源，特别是需要占用一些ＣＰＵ和Ｍｅｍｏｒｙ等重要资源，而且采样率越低，对资源的占用越大。如果设置过低的ＮｅｔＦｌｏ，ｗ采样率会对路由器的性能带来较大的影响。因此，应根据路由器上需要打开的ＮｅｔＦｌｏｗ功能板卡的主要类型，并结合设备上开通的电路的流量情况灵活地设置路由器的ＮｅｔＦｌｏｗ采样率，包括１００：１、５００：１、１０００：１和３０００：１等。第四章流量数据的采集４．３．５流量采集点的设置为了实现对所监测网内的所有流量进行分析，首先需要合理地设置流量采集点。采集点的设置非常关键，直接影响到系统能否准确地对流量进行全面分析【４７１。下面主要针对运营商网络优化应用提出采集点设置建议方案。由于主要是实现对运营商网络的优化，所以不一定需要对网络中传送的所有流量数据进行１００％的监测。为减少对网络设备的资源占用，降低对系统的容量要求，可以选用数据包抽样的ＮｅｔＦｌｏｗ数据采集方式，对网络中的所有流量进行统计。通常情况下，运营商网络结构包括核心层和边缘层两个层次，网络流量通过边缘层的路由器汇接进入核心层，由核心层的路由器进行转接。而ＮｅｔＦｌｏｗ技术只能对端口的流入流量进行分析，因此，流量采集点的设置主要有两种方案可供选择：１、方案一：采集点设置在网络的核心层，核心层路由器之间的互联端口不需要开启ＮｅｔＦｌｏｗ，核心节点路由器对外的互联端口开启Ｎｅｔ＿Ｆｌｏｗ流入流量采集。该方案的优点是被采集的路由器数量少，因此管理比较简单，配置工作量比较小：缺点是采集端口集中在核心层路由器上，增加了核一１５，层路由器的负担，对业务网络的影响较大。２、方案二：采集点设置在网络的边缘层，边缘层路由器对外的互联端口开启ＮｅｔＦｌｏｗ流入流量采集，对从其他ＡＳ进入到网内的流量进行分析。该方案的优点是采集端口分散在边缘层的多台路由器上，相应地减少了单台路由器上的采集数据量和因流量采集而增加的负担，降低了开启ＮｅｔＦｌｏｗ对业务网络的影响；缺点是被采集的路由器数量较多，管理的复杂程度和配置工作量都相应加大，而且这种方案需要将采集的ＮｅｔＦｌｏｗ数据从边缘层的路由器传送到集中设置的采集机，会在网内增加一定的流量而占用网络带宽。网络流量监测技术在异常流量分析上的应用与研究在实际应用中，流量采集点的设置应根据网络的具体情况和管理要求来选择合适的方案。图４．１２为运营商网络优化时的流量采集点设置示意图。图４．１２运营商网络优化流量采集点设置示意图４．３．６系统组织方案流量分析系统由采集机和分析服务器组成ｆ４射。被采集的路由器将ＮｅｔＦｌｏｗ数据包发往ＮｅｔＦｌｏｗ流量采集机，采集机将采集到的ＮｅｔＦｌｏｗ数据送到分析服务器进行分析。被采集的路由器分布在全网各个节点，当系统规模较大时，需要配置多台采集机和分析服务器。采集机和分析服务器的部署有以下两种方案。１、方案一：将采集机分别部署在各个核心节点，每个核心节点的采集机负责采集连接至该核心节点的路由器；分析服务器集中部署在网管中心。该方案采集机通过以太网接口接入核心路由器或与核心路由器连接的局域网交换机，实现与被采集路由器的互通。利用用户数据报协议（ＵＤＰ）从被采集路由器上的端口采集ＮｅｔＦｌｏｗ数据，再通过口网络传送到分析服务器，由分析服务器进行数据汇总和分析处理，如图４．１３所示。第四章流量数据的采集图４．１３流量分析系统组织方案一示意图该方案的优点是，在至分析服务器的ＩＰ网络连接出现突发故障时，可以充分利用采集机的存储能力，暂存ＮｅｔＦｌｏｗ数据，待网络连接恢复时，再向分析服务器传送；这种分布式的部署方案还可以避免单点出现故障时导致全网流量无法采集，而且采集机还可以进行一些预处理工作，减轻分析服务器的压力。缺点是每个核心节点都需要配备一套采集机，设备的综合利用率不够高，管理和维护不够集中。２、方案二：采集机和分析服务器集中部署，由多台采集机共同负责采集全网内的路由器。该方案采集机通过以太网接口接入网管中心，实现与全网内被采集路由器的互通，采集机利用ＵＤＰ通过口网络从各节点被采集路由器上的端口采集ＮｅｔＦｌｏｗ数据，再通过局域网传送到分析服务器，由分析服务器进行数据汇总和分析处理，如图４．１４所示。网络流量监测技术在异常流量分析上的应用与研究图４．１４流量分析系统组织方案二示意图该方案的优点是，流量分析系统设备集中部署，便于统一管理和统一维护，也提高了设备的利用率；缺点是如果ｍ网络不稳定或发生故障时，路由器的Ｎｅｆｆｌｏｗ数据将不能传送到网管中心，处理不当可能造成Ｎｅｆｆｌｏｗ数据的丢失。实际部署时应根据具体的要求来选择合适的系统组织方案。４．３．７系统处理能力估算模型的分析１、计算数据的取定首先取定以下计算数据乱一个ＮｅｆｆｌｏｗＶ５输出数据包的包长为１５００Ｂｙｔｅ；ｂ１一个ＮｅｔＦｌｏｗＶ５输出数据包中包括的Ｆｌｏｗ的数量为３０；ｃ）网络流量中数据包的平均包长为３８４ｄ）采样率：５００：１Ｂｙｔｅ；其中，ＮｅｔＦｌｏｗＶ５输出数据包的包长及其包括的Ｆｌｏｗ的数量是确定的而网络流量中数据包的平均包长、采样率则需要根据具体的网络状况进行取定。２、系统处理能力第四章流量数据的采集流量分析系统实现对ＮｅｔＦｌｏｗ数据的采集和分析处理，本文采用“每秒处理Ｆｌｏｗ数”来衡量系统的处理能，．ｊ［４９１。在估算系统处理能力时，首先要计算系统需要分析的流量大小（Ｇｂｉｔ／ｓ），然后根据前面已经取定的计算数据，系统每秒需要进行处理的Ｆｌｏｗ数量为：ｆ系统需要分析的流量大小×１０２４×１０２４ｘ１０２４）／（５００Ｘ３８４Ｘ８、３、流量数据采集带宽采集ＮｅｔＦｌｏｗ数据需要占用一定的网络带宽。计算出系统每秒需要进行处理的Ｆｌｏｗ数量之后，就可以计算出采集ＮｅｔＦｌｏｗ数据需要的网络带宽（Ｍｂｉｔ／ｓ）最大为：（系统每秒需要进行处理的Ｆｌｏｗ数量／３０）×１５００×８／１０２４／１０２４网络流量监铡技术在异常流量分析上的应用与研究第五章流量监测技术的异常监测研究处理分析网络异常流量存在许多方法，如我们可以利用ＩＤＳ、协议分析仪、网络设备的Ｌｏｇ、Ｄｅｂｕｇ、ｉＰａｃｃｏｕｎｔｉｎｇ等功能查找异常流量来源，但这些方法的应用因各种原因受到，如效率低、对网络设备的性能影响、数据不易采集等因素。利用ＮｅｔＦｌｏｗ分析网络异常流量也存在一些条件，如需要网络设备对Ｎｅｆｆｌｏｗ的支持，需要分析Ｎｅｆｆｌｏｗ数据的工具软件，需要网络管理员准确区分正常流量数据和异常流量数据等。但相比其它方法，利用Ｎｅｆｆｌｏｗ分析网络异常流量因其方便、快捷、高效的特点，为越来越多的网络管理员所接受，成为互联网安全管理的重要手段，特别是在较大网络的管理中，更能体现出其独特优势。以下就ＮｅｔＦｌｏｗ在网络异常流量分析中的使用进行了分析。要对互联网异常流量进行分析，首先要深入了解其产生原理及特征，以下将重点从ＮｅｔＦｌｏｗ数据角度，对异常流量的种类、流向、产生后果、数据包类型、地址、端口等多个方面进行分析。５．１异常流量的种类目前，对互联网造成重大影响的异常流量主要有以下几种１２３３０Ｊ：１、拒绝服务攻击（ＤｏＳ）ＤｏＳ攻击使用非正常的数据流量攻击网络设备或其接入的服务器，致使网络设备或服务器的性能下降，或占用网络带宽，影响其它相关用户流量的正常通信，最终可能导致网络服务的不可用。例如ＤｏＳ可以利用ＴＣＰ协议的缺陷，通过ＳＹＮ打开半开的ＴＣＰ连接，占用系统资源，使合法用户被排斥而不能建立正常的ＴＣＰ连接。以下为一个典型的ＤｏＳＳＹＮ攻击的Ｎｅｆｆｌｏｗ数据实例，该案例中多个伪造的源口同时向～个目的ＩＰ发起ＴＣＰＳＹＮ攻击。１１７．＋．６８．４５１２１１．＋．＋．４９１０ｔｈｅｒｓｌ６４８５１｜３１２１１００００１１００００１６１１１４０］１第五章流量监测技术的异常监测研究１０４．＋．９３．８１１２１１．＋．‘．４９１０ｔｈｅｒｓｌ６４８５１｝３１２１５５５７｝５９２８１６…４０ｌｌ５８．＋．２５５．１０８１２１１．＋．＋．４９］Ｏｔｈｅｒｓｌ６４８５１１３１２１３３３０１１００００１６１１ｉ４０１１由于Ｉｎｔｅｍｅｔ协议本身的缺陷，口包中的源地址是可以伪造的，现在的ＤｏＳ工具很多可以伪装源地址，这也是不易追踪到攻击源主机的主要原因。２、分布式拒绝服务攻击（ＤＤｏＳ）ＤＤｏＳ把ＤｏＳ又发展了一步，将这种攻击行为自动化，分布式拒绝服务攻击可以协调多台计算机上的进程发起攻击，在这种情况下，就会有一股拒绝服务洪流冲击网络，可能使被攻击目标因过载而崩溃。以下为一个典型的ＤＤｏＳ攻击的Ｎｅｆｆｌｏｗ数据实例，该案例中多个口同时向～个口发起ＵＤＰ攻击。６１，＋．＋．６７１６９，＋．’．１００１６４８２１［ａｓ９１２１９１４９０６４１５２３０１１７ｔ６５７１１９８５６５００１１２１１．’．＋．１６３１６９．＋．＋．１００１６４７５１ｌａｓ９１３［９［１８４２３１２２７３１１１７１９０６１１３５９０００１１６１．＋．＋．１４５１６９．４．＋．１００１６４７３ｌＪＯｔｈｅｒｓｌ２１０１５２４５２１２２１５７Ｊ１７１３１４５００１１３、网络蠕虫病毒流量网络蠕虫病毒的传播也会对网络产生影响。近年来，ＲｅｄＣｏｄｅ、ＳＱＬ、Ｓｌａｍｍｅｒ、冲击波、振荡波等病毒的相继爆发，不但对用户主机造成影响，而且对网络的正常运行也构成了的危害，因为这些病毒具有扫描网络，主动传播病毒的能力，会大量占用网络带宽或网络设备系统资源。以下为最近出现的振荡波病毒Ｎｅｆｆｌｏｗ数据实例，该案例中一个口同时向随机生成的多个口发起４４５端口的ＴＣＰ连接请求，其效果相当于对网络发起ＤｏＳ攻击。６１．’．＋．’ｒ１６８．‘．‘．２００［ＯｔｈｅｒｓＩＯｔｈｅｒｓｌ３１０］１１８６１４４５１６１１１４８１１６１．。．＋．＋１３２．＋．‘．２０７１０ｔｈｅｒｓｌＯｔｈｅｒｓ［３［０［１００００１４４５１６１１１４８１１６１．＋．＋．＋１２４．＋．＋．２３１０ｔｈｅｒｓｌＯｔｈｅｒｓｌ３１０［１００００１４４５１６１１１４８１１网络流量监测技术在异常流量分析上的应用与研究４、其它异常流量我们把其它能够影响网络正常运行的流量都归为异常流量的范畴，例如一些网络扫描工具产生的大量ＴＣＰ连接请求，很容易使一个性能不高的网络设备瘫痪。以下为一个ｍ对１６７．＋．２１０．网段，针对ＵＤＰ１３７端口扫描的ＮｅｔＦｌｏｗ数据实例：２１１．＋．‘．５４１１６７．‘．２１０．９５１６５２１１Ｉａｓ３ｆ２１１０１１０２８１１３７１１７…７８１１２１１．＋．＋．５４１１６７．＋．２１０．１００１６５２１１Ｉａｓ３１２Ｉ】０１１０２８【１３７１１７１１１７８１１２１１．’．＋．５４１１６７．。．２１０．１０３１６５２１１Ｉａｓ３１２１１０１１０２８１１３７１１７１１１７８１１５．２．异常流量流向分析从异常流量流向来看，常见的异常流量可分为三种情况：的攻击、本网内对网外的攻击、本网内对本网内的攻击。针对不同的异常流量流向，需要采用不同的防护及处理策略，所以判断异常流量流向是进一步防护的前提，以下为这三种情况的ＮｅｔＦｌｏｗ数据实例：１、网外对本网内的攻击，网内地址为２１１开头，网外地址１２４．·．１４８．１１０。１２４．＋．１４８，１１０１２１１．＋．‘．４９１０ｔｈｅｒｓｌ６４８５１『３１２１１００００１１００００１６１１１４０１１２、本网内对网外的攻击，网内地址为２１１开头，网外地址１６７．·．２１０．２５２。２１１．＋，·．５４１１６７．＋．２１０．２５２１６５２１１Ｉａｓ３１２１１０１１０２８１１３７１１７１１１７８１１３、本网内对本网内的攻击，网内地址为２１１开头。２¨．＋．｝．１８７１２１１．＊．＊．６９１０ｔｈｅｒｓＪｌｏｃａｌａｓ［７１１６１１７２１１４４５１６１３１１４４１１网外对本网内５．３异常流量产生的后果异常流量对网络的影响主要体现在两个方面：占用带宽资源使网络拥塞，造成网络丢包、时延增大，严重时可导致网络不可用；第五章流量监测技术的异常监测研究占用网络设备系统资源（ＣＰＵ、内存等），使网络不能提供正常的服务。５．４．异常流量的数据包类型常见的异常流量数据包形式有以下几种ｌ、ＴＣＰＳＹＮｆｌｏｏｄ（４０字节）１１．’．６４．３１２．＋．３８．１８０１６４８２１Ｉａｓｌ０１５１４１１０１３１１８１６１１ｆ４０１１从Ｎｅｆｆｌｏｗ的采集数据可以看出，此异常流量的典型特征是数据包协议类型为６（ＴＣＰ），数据流大小为４０字节（通常为ＴＣＰ的ＳＹＮ连接请求）。２、ＩＣＭＰｆｌｏｏｄ２．‘．３３．１１１．＋．９７．２２１ａｓｌ２１６４８１１１５１２１０１０１１１１４６１７３１２１８３５９７０４１１从Ｎｅｆｆｌｏｗ的采集数据可以看出，此异常流量的典型特征是数据包协议类型为１（ＩＣＭＰ），单个数据流字节数达２１８Ｍ字节。３、ＵＤＰｆｌｏｏｄ’．‘．２０６．７３１１６０．’．７１．１２９１６４６２１ｌＯｔｈｅｒｓ［６［３４１１８１２１１８１２１１７１２２４１３３６０００１１＋．’．１７．１９６１２５．’．１５６．１１９１６４６２ｌＩＯｔｈｅｒｓｌ６１３４１１０２９１１３７１１７１１１７８１１从Ｎｅｆｆｌｏｗ的采集数据可以看出，此异常流量的典型特征是数据包协议类型为１７（ＵＤＰ），数据流有大有小。４、其它类型其它类型的异常流量也会在网络中经常见到，从理论上来讲，任何正常的数据包形式如果被大量滥用，都会产生异常流量，如以下的ＤＮＳ正常访问请求数据包（协议类型５３）如果大量发生，就会产生对ＤＮＳ服务器的ＤｏＳ攻击。２１１．＋．‘．１４６１２１１．’．‘．１２９１０ｔｈｅｒｓｌＯｔｈｅｒｓｌ７１１８１３２２７１５３１５３［１１５９１１网络流量监测技术在异常流量分析上的应用与研究５．Ｓ．异常流量的源、目的地址目的地址为固定的真地址，这种情况下目的地址通常是被异常流量攻击的对象，如下例数据：２１１．＋．＋．１５３１＋．１０．７２．２２６１ａｓ２１ａｓＳＩＳｌ４１３８４４１１００００１１７１２１３０００１２２１１．＋．’．１５３１＋．１０．７２．２２６１ａｓ２１ａｓＳｌ５１４１３８４５１１００００［１７１１ｒ１５００１１２１１．’．＋．１５３１＋．１０．７２．２２６１ａｓ２１ａｓＳｌ５ｆ４Ｊ３８４６１１００００１１７１１『１５００１１目的地址随机生成，如下例数据：２１１．＋．＋．１８７１１６９．＋．１９０．１７ｌＯｔｈｅｒｓｌｌｏｃａｌａｓｌ７１１６１１６６３１４４５１６１３１１４４１１２１１．＋．＋．１８７１１０３．＋．２０５．１４８１０ｔｈｅｒｓｌｌｏｃａｌａｓｌ７１１６１３６４７１４４５１６１３１１４４１１２１１．‘．＋．１８７１１３８．‘．８０．７９１０ｔｈｅｒｓｌｌｏｃａｌａｓｌ７１１６１１５７０１４４５１６１３１１４４１１目的地址有规律变化，如下例数据，目的地址在顺序增加：２１１．’．＋．２１９ｔ１９２．＋．２５４，１８１０ｔｈｅｒｓｌＯｔｈｅｒｓｌｌ５ｆ９１１００００１６７８９ｉ１７１１１３６１１２１ｌ。＋．＋．２１９１１９２。＋．２５４。１９［Ｏｔｈｅｒｓ［Ｏｔｈｅｒｓｌｌ５１９１１００００ｆ６７８９１ｔ７｛２１７２１２２１１．４．＋．２１９１１９２．’．２５４．２０［ＯｔｈｅｒｓｌＯｔｈｅｒｓｌｌ５１９１１００００１６７８９１１７１３１１０８１３源地址为真实口地址，数据同上例：源地址为伪造地址，这种情况源地址通常随机生成，如下例数据，源地址都是伪造的网络地址：６３．２４５．０．０１２０９．＋．’．３８１ａｓ５１ａｓ４１３１７１１９８３１２３１２３１１１４０１１１２．５１．０．０１２０９．＋．＋．３８Ｉａｓ６１ａｓ４Ｊ３［７１１１５９１２０４６１６Ｉｌｌ４０１ｌ２１２．６２，ｏ．０１２０９．＋．’．３８Ｉａｓ７１ａｓ４１３１７１１１４０１３５７５［６１１１４０１１第五章流量监铡技术的异常ｊｌ：【测研究５．６．异常流量的源、目的端口分析异常流量的源端口通常会随机生成，如下例数据：２１１．‘．＋．１８７１１６９．１７２．１９０．１７ｌＯｔｈｅｒｓ［１０ｃａｌａｓｌ７１１６『１６６３１４４５１６１３１１４４１１２１１．‘．＋．１８７１１０３．２１０．２０５．１４８ｔＯｔｈｅｒｓｌｌｏｃａｌａｓｌ７１１６１３６４７ｔ４４５１６１３１１４４１１２１ｌ。＋。’．１８７１１３８．２４１．８０．７９１０ｔｈｅｒｓｉｌｏｃａｌａｓｌ７１ｔ６ｔ１５７０１４４５１６１３１１４４１１多数异常流量的目的端口固定在一个或几个端口，我们可以利用这一点对异常流量进行过滤或，如下例数据，目的端口为ＵＤＰ６７８９：２１１．’．‘．２１９１１９２．＋．２５４．１８１０ｔｈｅｒｓｌＯｔｈｅｒｓｌｌ５１９１１００００｝６７８９１１７『１１３６１１２１１．＋．＋．２１９１１９２．＋．２５４．１９１０ｔｈｅｒｓｌＯｔｈｅｒｓｌｌ５１９１１００００１６７８９１１７１２１７２１２２１１．＋．＋．２１９１１９２．＋．２５４．２０ｒＯｔｈｅｒｓｌＯｔｈｅｒｓｌｌ５１９１１００００１６７８９１１７１３１１０８１３５．７利用Ｎｅｔ．Ｆｌｏｗ工具处理防范网络异常流量从某种程度上来讲，互联网异常流量永远不会消失而且从技术上目前没有根本的解决办法，但对网管人员来说，可以利用许多技术手段分析异常流量，减小异常流量发生时带来的影响和损失，以下是处理网络异常流量时可以采用的一些方法及工具：１．判断异常流量流向因为目前多数网络设备只提供物理端口入流量的ＮｅｔＦＩｏｗ数据，所以采集异常流量ＮｅｔＦｌｏｗ数据之前，首先要判断异常流量的流向【２４胡，进而选择合适的物理端口去采集数据。流量监控管理软件是判断异常流量流向的有效工具，通过流量大小变化的监控，可以帮助我们发现异常流量，特别是大流量异常流量的流向，从而进一步查找异常流量的源、目的地址。如果能够将流量监测部署到全网，这样在类似异常流量发生时，就能迅速找到异常流量的源或目标接入设备端口，便于快速定位异常流量流向。网络流量监铡技术在异常流量分析上的应用与研究有些异常流量发生时并不体现为大流量的产生，这种情况下，我们也可以综合异常流量发生时的其它现象判断其流向，如设备端口的包转发速率、网络时延、丢包率、网络设备的ＣＰＵ利用率变化等因素。２．采集分析Ｎｅｆｆｌｏｗ数据判断异常流量的流向后，就可以选择合适的网络设备端口，实施Ｎｅｆｌｏｗ配置，采集该端口入流量的ＮｅｔＦｌｏｗ数据。以下是在ＣｉｓｃｏＧＳＲ路由器ＧｉｇａｂｉｔＥｔｈｅｍｅｔｌ０／０端口上打开ＮｅｔＦｌｏｗ的配置实例：ｉｐｆｌｏｗ－ｅｘｐｏｒｔｉｐｓｏｕｒｃｅＬｏｏｐｂａｃｋ０ｆｌｏｗ－ｅｘｐｏｒｔｄｅｓｔｉｎａｔｉｏｎ’．‘．‘．６１９９９５ｉｐｆｌｏｗ·－ｓａｍｐｌｉｎｇ··ｍｏｄｅｐａｃｋｅｔ··ｉｎｔｅｒｖａｌ１００ｉｎｔｅｒｆａｃｅＧｉｇａｂｉｔＥｔｈｅｍｅｔｌ０／０ｉｐｒｏｕｔｅ－ｃａｃｈｅｆｌｏｗｓａｍｐｌｅｄ通过该配置把流入到ＧｉｇａｂｉｔＥｔｈｅｍｅｔｌ０／０的ＮｅｔＦｌｏｗ数据送到ＮｅｔＦｌｏｗ采集器｝．·．·．６１，该实例中采用ｓａｍｐｌｅｄ模式，采样间隔为１００：１。３．处理异常流量的方法（１）切断连接在能够确定异常流量源地址且该源地址设备可控的情况下，切断异常流量源设备的物理连接是最直接的解决办法。（２）过滤采用ＡＣＬ（ＡｃｃｅｓｓＣｏｎｔｒｏｌＬｉｓｔ）过滤能够灵活实现针对源目的ＩＰ地址、协议类型、端口号等各种形式的过滤，但同时也存在消耗网络设备系统资源的副作用，下例为利用ＡＣＬ过滤ＵＤＰ１４３４端口的实例：ａｃｃｅｓｓ－ｌｉｓｔ１０１ｄｅｎｙｕｄｐａｎｙａｎｙｅｑ１４３４ａｃｃｅｓｓ－ｌｉｓｔ１０１ｐｅｒｍｉｔｉｐａｎｙａｎｙ此过滤针对蠕虫王病毒（ＳＱＬＳｌａｍｍｅｒ），但同时也过滤了针对ＳＱＬＳｅｒｖｅｒ的正常访问，如果要保证对ＳＱＬＳｅｒｖｅｒ的正常访问，还可以根据病毒流数据包的大小特征实施更细化的过滤策略（本文略）。４２第五章流量监测技术的异常监测研究（３）静态空路由过滤能确定异常流量目标地址的情况下，可以用静态路由把异常流量的目标地址指向空（Ｎｕｌｌ），这种过滤几乎不消耗路由器系统资源，但同时也过滤了对目标地址的正常访问，配置实例如下：ｉｐｒｏｕｔｅ２０５．＋．＋．２２５５．２５５．２５５．２５５Ｎｕｌｌ０对于多路由器的网络，还需增加相关动态路由配置，保证过滤在全网生效。（４）异常流量限定利用路由器ＣＡＲ功能，可以将异常流量限定在一定的范围，这种过滤也存在消耗路由器系统资源的副作用，以下为利用ＣＡＲＵＤＰｌ４３４端口流量的配置实例：Ｒｏｕｔｅｒ＃（ｅｏｒｔｆｉｇ）ａｃｃｅｓｓ—ｌｉｓｔＲｏｕｔｅｒ＃（ｃｏｎｆｉｇ）ａｃｃｅｓｓｄｉｓｔ１５０ｄｅｎｙｕｄｐａｎｙａｎｙｅｑ１４３４１５０ｐｅｒｍｉｔｉｐａｎｙａｎｙＲｏｕｔｅｒ＃（ｃｏｎｆｉｇ）ｉｎｔｅｒｆａｃｅｆａｓｔＥｔｈｅｍｅｔ０／０Ｒｏｕｔｅｒ＃（ｃｏｎ．ｆｉｇ－ｉｆ）ｒａｔｅ·ｌｉｍｉｔ１５００２００００ｃｏｎｆｏｒｍ·－ａｃｔｉｏｎｄｒｏｐｅｘｃｅｅｄ··ａｃｔｉｏｎｄｒｏｐｉｎｐｕｔａｃｃｅｓｓ—ｇｒｏｕｐｒａｔｅ—ｌｉｍｉｔ１５０８０００此配置限定ＵＤＰ１４３４端口的流量为８Ｋｂｐｓ。５．８、常见蠕虫病毒的ＮｅｔＦＩｏｗ分析利用上述方法可以分析目前互联网中存在的大多数异常流量，特别是对于近年来在互联网中造成较大影响的多数蠕虫病毒，其分析效果非常明显，以下为几种蠕虫病毒的ＮｅｔＦｌｏｗ分析实例：１．红色代码（ＣｏｄｅＲｅｄＷｏｒｍ）ＮｅｔＦｌｏｗ流数据典型特征：目的端口８０，协议类型８０，包数量３，字节数１４４。２１１．＋．＋．２３７１１９２．＋．１４８．１０７１６５１１ｌｌａｓｌ【６１７２１３６８４１８０１８０１３１１４４１１２１１．’．＋．２３７１１９２．４．１４１．１６７１６５１１１ｌａｓｌｌ６１３６１４２４５１８０１８０１３１１４４１１网络流量监测技术在异常流量分析上的应用与研究２１１．’．＋．２３７１１６０．＋．８４．１４２１６５１ｌｌｌａｓｌｌ６１７２１４０３０１８０１８０ｔ３１１４４１１２．硬盘杀手（ｗｏｒｍ．ｏｐａｓｏｆｔ，Ｗ３２．Ｏｐａｓｅｒｖ．Ｗｏｒｍ）Ｎｅｆｆｌｏｗ流数据典型特征：目的端口１３７，协议类型ＵＤＰ，字节数７８。６１．＋．＋．１９６１２５．卜１５６．１０６１６４６２１ＩＯｔｈｅｒｓ［６１３６１１０２９１１３７［１７［Ｉ『７８１１６１．＋．‘．１９６１２５．’．１５６．１０７１６４６２１ＩＯｔｈｅｒｓ［６１３６１１０２９１１３７１１７１１１７８１１６１．’．‘．１９６１２５．＋．１５６．１０８１６４６２１ＩＯｔｈｅｒｓｌ６［３６１１０２９１１３７［１７１１１７８１１３．２００３蠕虫王（Ｗｏｒｍ．ＮｅｔＫｉｌｌｅｒ２００３，ＷＯＲＭ＿ＳＱＬＰｌ４３４，Ｗ３２．Ｓｌａｍｍｅｒ，Ｗ３２．ＳＱＬＥｘｐ．Ｗｏｒｍ）Ｎｅｆｆｌｏｗ流数据典型特征：目的端口１４３４，协议类型ＵＤＰ，字节数４０４。６１．＋．‘．１２４１２８．４．１７．１９０１６５１ｌｌｌａｓｌｌ６１３４１４４４４］１４３４１１７１１｜４０４１１６１．＋．＋．１２４１２８．‘．１５４．９０１６５１１１ｌａｓｌｌ６１７０１４４４４１１４３４１１７１１１４０４１１６１．＋．‘．１２４１２８．４．２２１．９０１６５１１１ｌａｓｌｆ６１３６１４４４４１１４３４１１７１１ｆ４０４１１４．冲击波（ＷＯＲＭ．ＢＬＡＳＴＥＲ，Ｗ３２．Ｂｌａｓｔｅｒ．Ｗｏｒｍ）典型特征：目的端口１３５，协议类型ＴＣＰ，字节数４８。２１１．＋．＋．１８４［９９．＋．１７９．２７１０ｔｈｅｒｓｌＯｔｈｅｒｓｌｌ６１ＩＯｌｌ５２３１１３５１６｝１１４８１１２１１．‘．‘．１８４１９９．＋．１７９．２８１０ｔｈｅｒｓｌＯｔｈｅｒｓ［１６１１０１１５２５１１３５１６１１１４８１１２１１．＋．＋．１８４１９９．‘．１７９．２９１０ｔｈｅｒｓｌＯｔｈｅｒｓｌｌ６１１０１１５２７１１３５１６１１１４８１１５．冲击波杀手（Ｗｏｒｍ．ＫｉｌｌＭｓＢｌａｓｔ，Ｗ３２．Ｎａｃ｝１ｉ．ＷＯｒｍ，３２．Ｗｅｌｃｈｉａ．Ｗｏｒｍ）第五章流量监测技术的异常监测研究ＮｅｔＦｌｏｗ流数据典型特征：目的端口２０４８，协议类型ＩＣＭＰ，字节数９２２１１．＋．＋．９１『２１１．’．＋．７７１０ｔｈｅｒｓｌＯｔｈｅｒｓｌ４１０１０１２０４８１１１１１９２１１２１１．’．’．９１『２１１．’．’．７８１０ｔｈｅｒｓＩＯｔｈｅｒｓｌ４Ｄ１０）２０４８１１１１『９２１１２１１．‘．＋．９１１２１１．＋．’．７９１０ｔｈｅｒｓｌＯｔｈｅｒｓｌ４１０１０１２０４８１１１１１９２１１６．振荡波（Ｗｏｒｍ．Ｓａｓｓｅｒ，Ｗ３２．Ｓａｓｓｅｒ）ＮｅｔＦｌｏｗ流数据典型特征：目的端口４４５，协议类型ＴＣＰ，字节数４８。６１．＋．＋．’１３２．＋．７０．２０７１０ｔｈｅｒｓｊＯｔｈｅｒｓｌ３１０１１００００１４４５１６ｒ１１４８１１６１．＋．＋．‘１２４．’．２１７．２３１０ｔｈｅｒｓＩＯｔｈｅｒｓｌ３１０１１００００１４４５１６１１１４８１１６１．＋．４．＋］２２１．＋，６５．８４１０ｔｈｅｒｓｌＯｔｈｅｒｓｌ３１０１１００００１４４５１６１１１４８１１从以上案例可以看出，蠕虫爆发时，应用Ｎｅｆｌｏｗ分析方法，可以根据病毒流量的ＮｅｔＦｌｏｗ特征快速定位感染病毒的口地址。并参考ＮｅｔＦｌｏｗ数据流的其它特征在网络设备上采取相应的、过滤措施，从而达到抑制病毒流量传播的目的。网络流量监测技术在异常流量分析上的应用与研究弟／、早绡比第六章结论网络流量监测技术已经成为保证现代网络管理性能的重要手段，在网络的配置管理、故障管理、性能管理、安全管理和计费管理等方面发挥着不可替代的作用。利用网络流量技术进行异常流量的监测和防御，具有重要的研究意义和应用前景。·本文对流量监测的应用范围进行了介绍，并对目前所流行的三种流量监测技术：基于网络流量全镜像的监测技术、基于ＳＮＭＰ的监测技术，基于Ｎｅｔｆｌｏｗ的监测技术进行了分析与对比，通过分析对比，指出了这三种监测技术的特点及适用范围。●本文还对于网络流量的采集方式进行了分析，对目前流量采集的体系结构、方式、技术等进行了介绍，提出了一种基于ＢＰＦ的数据包捕获模型，并设计出了一种基于Ｎｅｔｆｌｏｗ的数据采集系统组织方案。·本文结合Ｎｅｔｆｌｏｗ技术，从目前比较流行的异常流量的种类（如ＤｏＳ、ＤＤｏＳ、网络蠕虫病毒等）入手，进行了大量的研究实践，通过对所采集的数据包的源地址、目的地址、源端口、目的端口、协议类型、字节数等关键参数的分析，给出了一套准确判断、分析异常流量的的方法。●最后，本文提出了从判断到采集、分析，到处理的一套系统的网络异常流量处理方法。参考文献参考文献［１］晏家豪等，ＮｅｔＦｌｏｗ网络业务流量监测技术的应用和设计［Ｊ］，邮电设计技术２００６，１：１ｌ－１２［２］晏家豪等，互联网业务流量监测技术的应用和设计［Ｊ］，邮电设计技术２００５．１２：１３－１６［３］金华敏等，异常流量监测技术的电信ＩＰ网应用［Ｊ］，通信世界，２００５．５：３１～３８［４］中国ＩＴ认证实验室ＤｏＳ拒绝服务攻击专题［ＥＢ／ＯＬ］．ｈｔｔｐ：／／ｗｗ．ｃｈｉｎａｉｔｌａｈ。ｃｏｍ／ｗｗ／ｓｐｅｃｉａｌ／ｃｉｗＤＤｏＳ．ａｓｐ．２００６－０８．１４［５］ＨａｒｎｅｄｙＳ．简单网络管理协议教程［Ｍ］．北京．电子工业出版社１９９９：１５２，１５３，１５８［６］段宗涛，林莎．基于ＳＮＭＰ的网络流量监控系统的设计与实现［Ｊ］，微型机与应用，２００６．５：２０－２２［７］张海波，网络流量监测与分析［Ｄ］，西安：西北工业大学，２００１．［８］陈丽华，高速ＩＰ网络数据处理与分析模型的设计与实现，［Ｄ］，西安：西北工业大学，２００１［９］杨策，张永智，庞正社，网络流量监测技术及性能分析ＩＮ］，空军工程大学学报，２００３－Ｉ卜２４（６）［１０］ＪａｅｙｅｏｎＪｕｎｇ，ＢａｌａｃｈａｎｄｅｒＦｌａｓｈｃｒｏｗｄｓａｎｄｆｏｒｄｅｎｉａｌｃｄｎｓｏｆＫｒｉｓｈｎａｍｕｒｔｈｙ，ａｎｄｓｅｒｖｉｃｅａｎｄａｔｔａｃｋｓＭｉｃｈａｅｌＲａｂｉｎｏｖｉｃｈ．ａｎｄ：Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎｉｍｐｌｉｃａｔｉｏｎｗｅｂｓｉｔｅｓ［Ｎ】，ｗｗｌ０，ｗＷｗ２００２，Ｍａｙ７－１１，Ｈｏｎｏｌｕｌｕ，Ｈａｗａｉｉ，ＵＳＡ２００２．［１１］Ｐ．Ｆｅｒｇｕｓｏｎ，Ｄ．Ｓｅｎｉｅ．Ｎｅｔｗｏｒｋｓｅｒｖｉｃｅａｔｔａｃｋｓｗｈｉｃｈｅｍｐｌｏｙｉｎｇｒｅｓｓｆｉｉｔｅｒｉｎｇ：ＤｅｆｅａｔｉｎｇｄｅｎｉａｌＩＰｓｏｕｒｃｅｏｆａｄｄｒｅｓｓｓｐｌｌｆｉｎｇａｇｒｅｅｎｉｅｎｔｓｐｅｒｆｏｒｍａｎｃｅｍｏｎｉｔｏｒｉｎｇ，ＲＦＣ２８２７，Ｍａｙ２０００．［１２］ＴｏｂｉａｓＯｅｌｉｋｅｒ．ｍｒｔｇ—ＷｈａｔｉｓｔｏＭＲＴＧ［Ｊ］，２００４：１０１－１１２Ｓｏｆｔｗａｒｅ［Ｍ］，２００１：２３－２６ｆｏｒＭｏｎｉｔｏｒｉｎｇＴｒａｆｆｉｃｉｎ［１３］Ｉｎｔｒｏｄｕｃｅ［１４］ＰｈａａｌＣｉＳＣＯＮｅｔＦｌｏｗＳｗｉｔｃｈｉｎｇＳ，ＭｃＫｅｅＮ．ＡＭｅｔｈｏｄＰ，ＰａｎｃｈｅｎＳｗｉｔｃｈｅｄａｎｄＲｏｕｔｅｄＮｅｔｗｏｒｋｓ［嗣ＲＦＣ３１７６，２００１．４７网络流量监测技术在异常流量分析上的应用与研究［１５］ＫｉｂｅｎｇｐａｃｋｅｒＰａｒｋａｎｄＨｅｅｊｏＬｅｅ．ＯｎｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｄｏｓａｔｔａｃｋＡＣＭｐｒｅｖｅｎｔｉｏｎｒｏｕｔｅｒ－ｂａｓｅｄｉｎｐｏｗｅｒ一１ａｗＤｉｅｇｏ，ｆｉｌｔｅｒｉｎｇｆｏｒｄｉｓｔｒｉｂｕｔｅｄｏｆ２００１ｉｎｔｅｒｎｅｔｓ．ＩｎＰｒｏｃｅｅｄｉｎｇＳＩＧＣ０删Ｃｏｎｆｅｒｅｎｃｅ，ＳａｎＣａｌｉｆｏｒｎｉａ，Ｕ．Ｓ．Ａ．，Ａｕｇｕｓｔ２００１．［１６］ＳＳａｖａｇｅ，ＤＷｅｔｈｅｒａｌｌ，ＡＫａｒｌｉｎｏｎｅｔａ１．ＮｅｔｗｏｒｋＳｕｐｐｏｒｔｆｏｒＩＰＴｒａｃｅｂａｃｋ［ｊ］，ＪＥＥＥ／ＡＣＭ［１７］ＡｌｅｘＴｒａｎｓａｃｔｉｏｎＮｅｔｗｏｒｋｉｎｇ，２００１．ｅｔ．Ｈａｓｈ—ＢａｓｅｄＩＰＣＳｎｏｅｒｅｎ．ＣｒａｉｇＰａｒｔｒｉｄｇｅ．ＬｕｉｓＡＳａｎｃｈｅｚＡＣＭＴｒａｃｅＢａｃｋ［Ｃ］．Ｉｎ：Ｐｒｏｃ［１８］ＤｒｅｗＩＰＳＩＣＣＯ删Ｃｏｎｆ，２００１—０８．Ｄｅａｎ，ＭａｔｔＦｒａｎｋｌｉｎ，ＡｄａｍＳｔｕｂｂｌｅｆｉｅｌｄ，ＡｎＡｌｇｅｂｒａｉｃＡｐｐｒｏａｃｈｆｏｒ２００１ＮｅｔｗｏｒｋａｎｄＤｉｓｔｒｉｂｕｔｅｄＳｙｓｔｅｍＳｅｃｕｒｉｔｙＴｒａｃｋＢａｃｋ［Ｃ］．Ｉｎ：ＰｒｏＳｙｍｐ，２００１—０２．［１９］ＪｉａｎｘｉｎＹａｎ，ＳｔｅｐｈｅｎＥａｒｌｙ．ＴｈｅＸｅｎｏＳｅｒｖｉｃｅ：ＡＤｉｓｔｒｉｂｕｔｅｄＤｅｆｅｒａｆｏｒＤｉｓｔｒｉｂｕｔｅｄＤｅｎｉａｌｏｆＳｅｒｖｉｃｅ［Ｃ］．［２０］李桂成。杨玉森．魏晓丽。测量误差及数据处理原理【Ｍ】．长春：吉林大学出版社，１９９０。１２１～１２６［２１］盂学军，吴黎兵，石岗．基于ＮｅｔＦｌｏｗ网络流量分析的研究反应用［Ｊ］．华中科技大学学报．２００３，３１（１０）：２５３－－２５５。［２２］陈健．张亚平，李艳，基于流量分析的入侵检测系组研究［Ｊ］．天津理工学院学报．２００４，２０（２）；８６—８８。［２３］胡小新，王颖，罗旭斌．一种ＤＤＯＳ攻８的防御方案［Ｊ］．计算机工程与应用，２００４（１２＞：１６０一１６３．［２４］薛丽军，第文军，蒋世奇．一种新的网络流量异常检测方法．２００３，１６（３）：４５—４９．［２５］陈丽华，张凌，汤力群，许勇．基于流量的网络性能分析模型设计与实现．计算机工程，２０００，２６：３０４—３０８．［２６］邹柏贤．一种网络异常实时检测方法［Ｊ］．计算机学报，２００３，２６（８）：９４１—９４７．［２７］黄美莹，郑纬民，汪东升，杨厂文．基于Ｂ／Ｓ模式和ＪＳＰ编程指南［Ｍ］．电子工业出版社，２００１．参考文献［２８］ＫａｒｌＡｖｅｄｅｌ，ＤａｎｎｙＡｙｅｒｓ，ＴｉｍｏｔｈｙＢｒｉｇｇｓ．北京：ＪｓＰ编程指南［则．电子工业出版社，２００１，７７～８２［２９］ＲａｈｉｍＡｄａｔｉａ，ＦａｉｚＡｒｎｉ，ＫｙｌｅＧａｂｈａｒｔ．背景：ＥＪＢ编程指南［Ｍ］．电子工业出版社，２００２，６５～７２［３０］刘芳，陈泰伟，戴葵．分布式拒绝服务攻击预警系统的设计与实现［Ｊ］．计算机工程，２００１，２７（５）：１２９—１３０．［３１］刘特，徐迎晓等，基于ＪａｖａＳｅｒｖｌｅｔ的网络流量采集与监控技术．计算机工程．２００２．２８（５）：１６７—１６９．［３２］何飞，李健等．基于流量工程的网络性能监测和控制系统．计算机工程与应用，２００１，１６：５０一５３．［３３］Ｃａｓｅ，Ｊ．，Ｆｅｄｏｒ，Ｍ．Ｓｃｈｏｆｆｓｔａｌｌ，Ｍ，ａｎｄＪ．Ｄａｖｉｎ．ＡＭａｎａｇｅｍｅｎｔＳｙｓｔｅｍｓＳｉｍｐｌｅＮｅｔｗｏｒｋＰｒｏｔｏｃｏｌ（ＳＮＭＰ）．ＲＦＣ１１５７，ＳＮＭＰＲｅｓｅａｒｃｈ，ＰｅｒｆｏｒｍａｎｃｅＭＩＴＩｎｔｅｒｎａｔｉｏｎａｌ，ＰｅｒｆｏｒｍａｎｃｅＳｙｓｔｅｍｓＩｎｔｅｒｎａｔｉｏｎａｌ，ａｎｄＬａｂｏｒａｔｏｒｙｆｏｒＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，Ｍａｙ１９９０［３４］ＲｏｓｅＭ，ａｎｄＫ．ＭｃＣｌｏｇｈｒｉｅ．ＳｔｒｕｃｔｕｒｅａｎｄＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆＭａｎａｇｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎｆｏｒＴＣＰ／ＩＰ—ｂａｓｅｄｉｎｔｅｒｎｅｔｓＲＦＣ１１５５．ＰｅｒｆｏｒｍａｎｃｅＳｙｓｔｅｍｓＩｎｔｅｒｎａｔｉｏｎａｌ，ＨｕｇｈｅｓＬＡＮＳｙｓｔｅｍｓ，Ｍａｙ１９９０［３５３Ｍ．Ｒｏｓｅ．ＭａｎａｇｅｍｅｎｔＴＣＰ／ＩＰ—ｂａｓｅｄＩｎｆｏｒｍａｔｉｏｎＢａｓｅＲＦＣｆｏｒＮｅｔ—ｗｏｒｋＭａｎａｇｅｍｅｎｔｏｆｉｎｔｅｒｎｅｔｓ：Ｍ１９９０ＩＢ—１１１１５８．ＰｅｒｆｏｒｍａｎｃｅＳｙｓｔｅｍｓＩｎｔｅｒｎａｔｉｏｎａｌ．Ｍａｙ［３６］Ｃｏｎｎｅ（１０）：３～５Ｘｉｏｎｓ，ＳＭＰ／ＳＮ船Ｖｅｒｓｉｏｎ２：ｔｈｅＥｖｏｌｕｔｉｏｎｏｆＳＮ船，１９９２，６［３７］岑贤道，安常青，网络管理协议及应用开发［Ｍ］．北京：清华大学出版社，１９９８：３５—４３［３８］杨家海，任宪坤，王沛瑜编．网络管理原理与实现技术［Ｍ］．北京：清华大学出版社出版，２０００：６６—７５［３９］胡谷雨等．简单网络管理协议教程第２版［Ｍ］，电子工业出版社，１９９９：１１４一１１９［４０］王斌程明．基于ＳＮＭＰ协议的网络流量侦测系统设计及实现［Ｎ］．天津理工网络流量监测技术在异常流量分析上的应用与研究大学学报，２００５—６［４１］杨洁，窦伊男，雷振明．ＩＰ网络流量测量的研究与实现【Ｊ］．现代电信科技．２００５—１ｌ：３３—３６［４２］ＰｅｔｅｒｓＰｈａａｌ，ＳｏｎｉａＰａｎｅｈｅｎ和ＮｅｉｌＭｃＫｅｅ。ＲＦＣ３１７６，ＩｎＭｏｎＣｏｒｐｏｒａｔｉｏｎ’ｉｎａｓＦｌｏｗ：ＡＭｅｔｈｏｄｆｏｒＭｏｎｉｔｏｒｉｎｇＴｒａｆｆｉｃＳｗｉｔｃｈｅｄａｎｄＲｏｕｔｅｄＮｅｔｗｏｒｋｓ。［４３］ＫｉｍｂｅｒｌｙＡｐｐｌｉｃａｔｉｏｎｓＣ．Ｃｌａｆｆｙ，ＧｅｏｒｇｅｏｆＳａｍｐｌｉｎｇＣ．Ｐｏｌｙｚｏｓ和Ｈａｎｓ—ＷｅｒｎｅｒｔＯＢｒａｕｎ。ＴｒａｆｆｉｃＭｅｔｈｏｄｏｌｏｇｉｅｓＮｅｔｗｏｒｋＣｈａｒａｃｔｅｒｉｚａｔｉｏｎ。［４４］ＪｏｎａｔｈａｎＪｅｄｗａｂ，ＰｅｔｅｒＰｈａａｌ，ｒＢｏｂＰｉｎｎａ，（科罗拉多电信分公司）管Ｅｓｔｉｍａｔｉｏｎｆｏｒｔｈｅ理、数学和安全部，惠普布里斯托尔实验室。ＴｒａｆｆｉｃＬａｒｇｅｓｔＳｏｕｒｃｅｓｏｎａｎｅｔｗｏｒｋ，ＵｓｉｎｇＰａｃｋｅｔＳａｍｐｌｉｎｇｗｉｔｈＬｉｍｉｔｅｄＳｔｏｒａｇｅ。ａｎｄ［４５］Ｊ．Ｃａｓｅ，Ｍ．Ｆｅｄｏｒ，Ｍ．ＳｃｈｏｆｆｓｔａｌｌＭａｎａｇｅｍｅｎｔＪ．Ｄａｖｉｎ，ＡｓｉｍｐｌｅＮｅｔｗｏｒｋＰｒｏｔｏｃｏｌ（ＳＮＭＰ），ＲＦＣ１１５７．１９９０Ｒｅｃ．Ｍ．３０１０。ＰｒｉｎｃｉｐｌｅｓＧｒｏｕｐｌＩＶ，ｆｏｒ１９９６ａ［４６］ＩＴＵ—ＴＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＭａｎａｇｅｍｅｎｔＮｅｔｗｏｒｋ（ＴⅢ），Ｓｔｕｄｙ［４７］Ｋ．ＭｃＣｌｏｇｈｒｉｅａｎｄＭ．Ｒｏｓｅ，Ｓｕ—ｕｃｔｕｒｅａｎｄＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆＭａｎａｇｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎｆｏｒＴＣＰ／ＩＰｂａｓｅｄＩｎｔｅｍｅｔｓ．ＲＦＣｌ１５５，１９９０［４８］沈俊，顾冠群，罗军舟．网络管理的研究和发展［Ｊ］．计算机研究和发展，２００２．３９（１０）：１１５３～１１６７［４９］徐志光．网络管理的应用［Ｍ］．北京：人民出版社，１９９９：１４２～１５ｔ致谢致谢在研究生学习期间，指导老师刘锋老师严谨的治学态度，精益求精的工作作风和平易近人的处世哲学给笔者留下了深刻的印象，是笔者终生学习的楷模，也使笔者在短暂的研究生学习生涯中受益匪浅。在日常生活中，刘锋老师给予了无微不至的关怀；在学习上，刘老师为我创造了良好的外界环境，给予了研究方向的指导。正是由于刘老师给予我充分的支持和帮助，对我的学习和论文撰写进行了耐心细致的指导，使得学习和论文撰写得以顺利进行，在此，笔者向刘老师表示最诚挚的谢意。在论文的研究工作中，本人还与陈一飞、李伟等同学以及电子工程学院的袁泉博士进行了广泛的探讨，并从中得到许多有益的启发和启示。在此，笔者对他们表示深深的谢意，同时向所有在我攻读硕士期间关心和鼓舞我的领导、老师、同学和朋友们致以真诚的谢意。最后，衷心感谢我的父母在本人的求学生涯中给予的爱护和鼓励，感谢我的爱人王睿对我生活上的关爱和精神上的支持。网络流量监测技术在异常流量分析上的应用与研究攻读硕士学位期间的主要科研工作发表的论文ｌ、董冰，面向Ｊａｖａ语言的代码安全，信息技术，２００５．１ｔ５２网络流量监测技术在异常流量分析上的应用与研究

作者：

学位授予单位：

董冰安徽大学

1.学位论文 黄晓璐 网络流量的半马尔柯夫模型 2006

流量模型研究是网络领域的一项基础性研究，它是网络性能分析和通信网络规划设计的基础。高质量的流量模型对于设计高性能网络协议和高效的网络拓扑结构；对于设计高性价比的网络设备与服务器；对于精确的网络性能分析与预测；对于拥塞管理与流量均衡提高服务质量等都具有非常重要的意义。流量模型的建立是现代网络管理系统中一个重要的组成部分，它可以使管理人员掌握网络的特性，合理调配网络资源，实现网络的高效管理。网络流量模型化的核心是提取网络流量中关键随机属性。虽然对计算机网络流量特性、流量建模以及排队性能等方面的研究已经开展了十多年，但是在网络流量模型上仍然没有取得一致的结论。没有一种网络流量模型能像泊松模型在电信网络中那样，在IP网络研究领域中得到广泛的承认和应用。

本文的研究旨在引入半马尔柯夫过程描述网络流量特性，试图提出一个既精确描述网络流量特征，又计算简便的网络流量模型，使得我们能更好地理解网络流量行为，能更准确地预测网络流量，能更有效地管理、配置网络资源。本文创新性工作如下：

1．提出了一个网络流量半马尔柯夫模型。该模型根据IP网络流量组成及不同时期的特性将网络流量划分为四个状态：忙、闲、上升和下降。通过状态划分将系统关键随机特性分离，使其更加突出，从而易于提取。对不同状态下流量特征的研究和不同状态之间转换规律的研究构成了一个完整的描述网络流量的半马尔柯夫模型。根据各状态下传输协议对流量特性的影响，特别是对于流速率变化的影响，我们提出了以下假设：忙状态下网络流速率服从几何布朗运动；空闲状态下网络流速率服从正态分布；上升和下降状态下网络流速率服从指数分布。我们利用国际通用的流量数据进行验证，并由此探索揭示提取模型参数值的方法及模型参数的物理意义。实验结果表明，95％以上的流量数据在其所对应的状态下具有我们所假设的各状态下的流量特性。

2．应用此模型计算一个重要的网络性能指标——网络利用率。我们采用网络当前负载量与最大理论负载量之比来计算网络利用率，给出了基于网络流量半马尔柯夫模型的网络利用率计算公式。基于三组国际通用的流量数据的分析和验证 结果表明，计算值与实际统计值之间的相对误差小于5％，说明了网络流量半马尔柯夫模型描述网络流量特性的能力。

3.流量预测广泛应用于网络应用、网络管理当中，对于网络性能分析、网络管理和控制均具有重要意义。为了检验网络流量半马尔柯夫模型的应用性，同时也可从另一角度验证此模型的正确性，我们应用该模型进行流量预测。基于网络流量半马尔柯夫模型的流量预测算法将重点放置于预测某时刻可能的流量峰值，而不是预测某时刻精确的流量值。基于此思想，我们推导了基于网络流量半马尔柯夫模型的流量峰值预测公式，并通过实验对预测性能进行了检验。预测1秒和3分钟后的流量，预测精度达到80％，短期预测可达95％，表明我们的预测方法同时适用于长期和短期预测。偏离度的实验结果表明大部分的预测上 界值与实际流量值之间的误差较小，特别对于主干网数据而言，其误差低于15％。

这个工作难度很大。现在的工作只能说是一个开始，许多工作仍有待进行，尤其是关于网络流量半马尔柯夫模型的实际应用的研究工作还有待进一步深入。但不管如何，流量模型作为网络领域的基础研究，对于了解网络行为、网络设计规划以及提高网络性能等具有非常重大的意义，具有良好的前景。

2.期刊论文 王磊.Wang Lei 浅谈网络管理中网络流量的监测 -计算机光盘软件与应用2010(7)

本文从网络流量的特性,网络流量的测量等方面做了探讨,从而为流量监测技术的优化提出了一些建议.

3.学位论文 牛丽君 网络流量采集与分析系统的设计与实现 2006

通过网络管理，对网络设备或网络流量进行检测、分析，保障网络系统可靠、高效的运行。在网络管理中，国际标准化组织所规定的五大功能模块的实现或多或少的依赖于网络流量信息的采集与分析。目前的网络管理软件都是针对一般的网络来设计的，虽然满足一些有限的要求，然而却缺乏更进一步的网络管理支持。而且对于某一特定的网络环境来说，这种软件能够实现的功能有限，效率也不高。本文针对特定的网络环境，阐述了基于特定网络环境的网络流量采集与分析系统的设计思想和实现方法。

本文首先分析和比较了目前网络流量管理系统所采用的数据采集技术，指出了各种采集技术对网络管理实现的侧重点是不同的，用户采用其中的任何一种技术，都不能满足复杂网络的管理。因此，本文从两种技术结合互补的角度出发，设计和实现网络流量采集分析系统，从而以更全面的信息来管理网络的运行。其次，对采用的两种技术进行了探讨。第三，系统的设计借鉴了ISO层次结构的思想，采用了三层结构：数据采集层、数据处理层和结果呈现层。整个结构清晰，便于系统的进一步拓展。该系统利用两种技术采集进行数据采集，对获得的数据进行实时分析，能够及时全面地了解网络运行的状况。

系统通过对网络流量进行实时的监控，对整个网络的运行状况有实时的和动态的掌握。本文提出了如何应用NetFlow解决网络拥塞的方法，同时介绍了应对异常流量可以采用的方法等。最后针对这个课题研究过程中的不足做了总结并对NetFlow技术的前景进行了展望。

4.学位论文 练创新 网络流量分析与预测 2005

随着互联网在各行各业和人们生活中的大规模应用，网络的规模不断扩大，网络变得庞大而复杂，网络的运行、管理和维护(OAM)成本大大增加，这些使网络的管理成为网络运营越来越重要的一部分。简单网络管理协议(SNMP)规定了采集和管理网络信息的规则。使用该协议，任何体系结构的网络(包括局域网)可以被指定的网络服务器所管理。而网络流量监控是网络管理的基础。网络流量监控是网络性能评价、网络协议设计、网络规划等的基础。本论文设计基于实际网络流量模型的软件，并采用该软件监控管理网络流量。

本论文从目前国内络流量采集系统的现状开始，描述了SNMP的起源发展和基本原理，对管理信息库的原理和相关技术也做了简单的描述。论文着重对通过SNMP协议采集的网络流量进行监控管理。

网络流量的监控系统分为数据采集、配置管理、后台数据存储与处理、网络流量监控应用，其中监控应用包括实时监测和分析预测。系统各个功能要获取的网络流量信息通过数据采集的配置功能生成采集配置信息，然后由数据采集器根据配置信息进行采集，配置界面和配置信息维护界面使用表单来实现网络管理用户配置流量监控参数的输入；数据存储和数据一定程度的处理是本系统的核心之一；对网络流量历史的分析主要有不同时段的流量统计，流量的发展趋势等方面；在对流量现状方面分析主要是结合所监控设备的性能来为网络管理人员提供可靠及时的数据以便网络管理人员可在第一时间内对网络事件作出反应，保证网络的正常高效运转。网络流量的实时分析等同于网络的实时监控。在预测方面，我们项目组在华南理工大学计算机学院梅成刚博士的带领下对网络流量预测的算法进行了研究，并提出了一些新的算法模型。经过模拟网络测试实验表明，我们的软件在流量监控方面具有一定的精度，并适用于实际运行的网络环境，能有效地为网络管理人员提供帮助，并且对网络流量的预测也有相当的参考价值。

5.期刊论文 使用MRTG监控并统计网络流量 -信息通信2005(5)

MRTG(Multi Router Traffic Grapher)是一个监控网络链路流量的工具软件,它通过SNMP协议从设备得到设备的流量信息,并将流量负载情况以

HTML文档方式显示给用户.该软件可以实现远程统计监控网络流量,是网络管理的非常有效地辅助管理工具.本文详细介绍了MRTG服务器的工作原理和安装配置方法,以及在实践中的应用.

6.学位论文 易泽湘 IP网络流量数据采集与存储系统的设计与实现 2007

近年来，随着以TCP/IP为核心协议的互连网的快速发展，IP技术作为一种承载业务和沟通传输的中间体得到了极大的发展。基于IP的业务应用发展迅速，网络的规模日趋庞大。网络的可用性与网络规模膨胀的矛盾显得更加突出。结构越来越复杂和规模越来越庞大的网络系统更需要网络管理软件来保证系统的正常运作，网络管理的质量会直接影响到网络的运行质量，管理好一个网络与网络的建设同等重要。

网络管理软件通过对网络数据的分析达到对网络资源、性能、故障的管理，而网络数据的获取是网络管理软件中最为重要的部分，本文详细阐述了IP网络流量数据采集与存储系统的设计与实现。

文章首先介绍了网络管理的一些基础知识，包括网络管理的基本概念、网络管理的五大功能以及网络管理的体系结构。

其次，文章分析了网管数据采集系统所使用的主要协议，包括SNMP、NetFlow、sFlow以及RMON等。 接着，文章介绍了IP网络海量数据的存储方法，并比较了几种存储方案的优劣。

文章最后结合项目实践详细描述了IP网络数据采集与存储系统的设计与实现。鉴于被管网元的多样性和管理类别的不同，我们在数据采集层上采取了不同的协议采集不同的网管数据，把数据采集分为主动数据采集和被动数据采集。NetFlow、sFlow、SNMP TRAP属于被动采集的范畴，在flowd里面自动实现数据的采集、告警和入库操作；而SNMP、CLI属于主动采集，必须让采集服务器使用轮询操作来及时取得网管数据。为了避免海量数据存取导致的平凡I/O操作，在数据存储上我们采取了嵌入式数据库，并将原始数据和处理了的业务数据进行分库存储；另外为了提高系统的整体效率，我们对系统进行分层处理，每一层对应着不同的进程，数据采集层为flowd进程和arpd进程、业务处理层为flow-mining进程，而前台展示层我们则使用J2EE规范技术实现。

为了提高数据接收和处理效率，我们用C语言编写了数据采集层和业务处理层，而前台展示层我们则用跨平台性良好的JAVA技术实现。

7.会议论文 高鸿峰.傅光轩 基于Web的网络流量分析系统 2002

首先分析了传统网络管理特别是网络流量采集和分析的缺陷,提出基于Web的流量分析系统,通过SNMP和RMON管理协议提取网络设备中的各种网络运行数据,构建一个基于Web的与管理者工作平台无关的流量分析系统.

8.学位论文 关卿 分布式网络流量数据分析与管理技术研究与实现 2008

随着互联网的迅猛发展，网络管理已变得日益重要。流量监测和统计分析是整个网络管理的基础。为了实现对网络进行综合管理，有必要及时全面的收集、管理网络的流量信息，准确获取网络流量数据，对网络流量态势进行分析，对网络健康状况及未来的发展趋势作出准确判断。

网络流量分析一直是通信网络性能分析的一个极其重要的问题。但是目前大部分网络及流量监控都是针对单个或局部链路进行的，然而，当今网络研究者面临的更重要的问题是需要同时对网络所有链路的流量进行建模和分析，包括流量矩阵的估算。针对当前大部分网络流量矩阵估算方法都是采用单一的SNMP链路负载或抽样的NetFlow数据，本文提出一种综合利用多个数据源进行流量矩阵估算的方法。算法将SNMP链路负载与抽样的NetFlow数据结合作为相互纠错码，并设计过滤这两种数据源中的脏数据，从而进行更为精确地流量矩阵估算。同时本文也设计了在单数据源情况下，已知网络的拓扑结构和链路流量，通过期望最大化算法对网络OD对之间的流量需求进行估计。论文使用校园网为实验环境采集数据对本文提出的几种算法进行评估，并与tomogravity、generalized gravitymodel方法进行比较，实验结果证明了本文提出的算法在进行估算时具有更高的准确性。

同时本文结合网络综合态势管理技术的需求，设计了流量态势管理系统的体系结构，完成了原型系统的设计与实现。对流量采集、数据接收、数据传输、流量分析、以及数据的存储与管理等五个功能模块进行了详细的设计；提出了基于OD流的流量分析架构，采用四种相应的算法完成了流量数据的分析，实现了确定网络中关键链路、瓶颈节点、识别大象流以及判定异常流这几种态势分析；设计了流量数据库完成了对大规模流量原始数据以及各种态势分析数据的管理。论文以校园网为实验环境采集真实的网络流量数据，针对本文提出的系统架构，设计的各个功能模块，根据数据的处理流程对整个原型系统进行了功能测试和性能分析。

综上所述，本文的工作针对分布式网络流量数据的分析与管理技术提出了有效的解决方案，具有一定的理论价值和应用价值。

9.学位论文 杜瑞峰 网络流量监测技术的研究及其在安全管理中的应用 2005

伴随着Internet的迅速发展，网络安全事件开始频繁发生，各种攻击手段层出不穷，计算机网络的保密性、完整性和可用性受到了严峻考验。分布式拒绝服务DDoS攻击就是目前一种危害极大的攻击方式，给网络服务器带来严重的威胁，也给千千万万的网络用户造成了段,在网络流量监测技术已经成为保证现代网络管理性能的重要手段，在网络的配置管理、故障管理、性能管理、安全管理和计费管理等方面发挥着不可替代的作用。本文研究的目的是通过对网络流量监测技术进行研究，然后应用到DDoS攻击的监测和防御中。

简单网络管理协议SNMP是目前网络管理的基础，已经得到了得到广泛应用，本文对SNMP进行了详细的介绍和探讨，并分析了SNMP的发展趋势；流量数据的采集是整个流量监控系统的基础，文章对现有的数据采集技术进行了分类，然后深入地研究了基于NetFlow技术的网络流量采集技术；在研究分析了几种网络流量异常检测算法的基础上，提出了一种改进的广义似然估计(IGLR)的检测算法。

在分布式拒绝服务DDoS攻击发生时，由于会使用大量的虚假IP地址，因此受害者所在的网段上网络流量显著增加，并且在流量中新源IP地址产生的数据包的百分比明显上升。借助开放源代码实现了NetFlow技术，对流量数据进行采集，运用IGLR算法进行网络流量异常检测，运用方差分析算法对新源IP地址产生的数据包比重进行检测，设计实现了一种基于流量监测技术的DDoS攻击检测与防御，实验表明效果良好，但是如果将系统应用到实际的高性能网络环境中，还需要考虑到数据量、速度等等问题，解决这些问题是进一步讲究的重点。

10.期刊论文 成吉良 网络管理中网络流量监测研究 -现代商贸工业2010,22(17)

从网络流量的特性,网络流量的测量等方面做了探讨,从而为流量监测技术的优化提出了一些建议.

本文链接：http://d.g.wanfangdata.com.cn/Thesis_Y1192121.aspx

授权使用：北京服装学院(bjfzxy)，授权号：1d3b4491-4e27-4d10-9755-9e6c00c5f2e4

下载时间：2011年1月15日