构建支撑网络安全态势感知的大数据平台

（青海党校，西宁810001 ）摘 要：网络安全态势感知系统有助于用户准确感知所在网络安全情况，从而准确做出安全规划和决策。现阶

段的技术水平在一定程度上制约了安全态势感知的应用。本文重点阐述了构建网络安全态势感知系统所涉及的

大数据平台关键技术，旨在为搭建网络安全态势感知的用户提供借鉴。关键词：网络安全态势感知系统；大数据平台；数据处理过程中图分类号：TP309

文献标识码：A文章编号：1005-9393(2021)01-0055-031网络安全态势感知的定义当下网络安全形势日趋严峻，传统安全防护

能力受到挑战。我们的安全防护意识不能仅仅停

Hadoop、Spark和Storm,其中Hadoop市场占有率

最高，但Spark和Storm也发展迅猛，各有优势,

不容小觑。本文重点介绍这三种大数据平台的优

势。Hadoop平台主要优势：（1）易跨平台性。系

留在部署防火墙、流量异常检测、漏洞扫描、入 侵检测等网络安全防护设备上，一定要化被动防

统为分布式基础架构，底层接口友好，使用语言

御为主动预判，积极充分利用网络产生的各类数

据进行分析处理，建立自适应预测预警防御系统,

主要是java,也支持C和C++语言，这样使基于

云平台开发的应用具有较强的兼容性。（2）建设

自动抵御潜在攻击和威胁，大幅提升网络安全性。态势感知的定义有多种说法，比较认可的是

Endsley和Albert提出的定义，其核心内容都是基

成本低。由于平台可部署在不同型号的计算机集

群，大幅节约硬件成本。（3）可靠高效。数据存

储方式采用冗余模式，即如果有某一部分集群出

于大规模数据的搜集处理，利用人工智能实现对未

来一定时间内的态势进行动态判断。随着态势感知

现故障，其副本立即启用，保障应用功能正常。

其强大的分布式数据采集存储和处理能力，保证

理念的成熟，网络安全态势的定义也日趋清晰。所 快速响应TB甚至PB级的数据。Spark平台为提高计算速度和实时性而横空出

谓网络安全事态感知是以大型网络为环境、实时产

生的大数据为基础，从整体视角对能够改变网络安 世,不但囊括了主流平台Hadoop的全部性能优势, 而且有针对性地解决了其瓶颈问题。它的最大优

势在于高效的运算能力和速度，其通用易用性很

全趋势的安全因素进行分析、理解和处理，并给出

近期网络安全的现状和和未来发展趋势。得用户青睐，尤其是运用于流动数据的多种模式

2主流大数据平台目前应用最多的大数据平台主要有三种，即使其逐渐成为当下最具潜力的大数据云平台。Storm的优势在于整合性、可扩展性以及信

息处理可靠性。它能够整合多种外来实时流数据,作者简介：陈迎春，高级工程师，研究方向为大数据、信息化安全。-55 -2021年第1期支持多种语言，有能力开发更强大的应用服务。传感器类型主要分为如下三种：纯采集类、采集

网络安全态势感知系统必须是高效稳定的, 检测类型、采集检测分析类型。3.1.2 网络爬虫(WEB Crawler)实时响应速度快，未来预判准确，大数据平台和

技术的重要性毋庸置疑。以上三种大数据平台各 有优势，Hadoop主要适用于批量数据，Spark适

它是一种定向搜索并抓取信息的脚本程序,

首先准确“爬”到相关Web上，依照脚本预定的

规则抓取所需网页信息，并将抓取的数据进行存

用于准实时流数据，而Storm适用于实时流数据, 用户既可以搭建单一数据平台，也可以建设混合

储、分析，过滤一部分无用数据，最后建立索引

数据平台。本文搭建大数据平台选择最普及的

Hadoop o方便查询使用。3.1.3日志收集系统随着大数据深度分析技术的日趋成熟，各类

3构建支撑网络安全态势感知系统的大数据

日志的价值越来越凸显，不再被定期清除，而是

平台网络安全态势感知系统的大数据平台建设主

收集起来进行高效的分析，其结果对网络安全态 势的预判起到了极大作用。3.1.4数据抽取工具Hadoop平台能够存储分析处理多源数据，那

要包含四层数据处理过程：采集与预处理过程、

存储与管理过程、处理与分析过程和大数据可视

么，不同来源不同结构不同状态的数据是如何出

入大数据平台的呢？比较流行的数据抽取工具

化技术过程。3.1数据采集与预处理过程是Sqoop。它是Hadoop家族中的一员，专用于

Hadoop平台与SQL数据库之间抽取各类数据，它

大数据的核心价值主要是在纷繁杂乱的数据

中提取有用的东西。大数据种类繁多，按结构形 的一个重要功能是支持“增量更新”，使数据平台

框架具备易扩展性和实时性。3.1.5分布式消息队列系统态分类，可分为结构化类和非结构化类，在网安

管理中的结构化数据主要有日志、报警信息等,

非结构化数据包括电子文档、音频录像文档等； Hadoop大数据平台包含多个子系统的数据,

按照使用状态分类，可分为静数据和动数据。不 同来源的静数据一般只是简单保存在数据仓库中，

我们可以利用数据挖掘和分析工具对这些静数据

数据在各个子系统之间不停抽取，为保障服务的 高性能，这些数据的流转必须是低延迟不间断。

分布式消息队列就是数据流转的中间容器，数据

进行处理，发现有用价值。动数据是一组连续变 传输到中间容器后，它根据消息路由快速安全地

分发数据至目的地。化的数据集合，对这类数据的处理也是动态实时

的，处理过程内存消耗持续而巨大，例如天气等

趋势判断。适用于网络安全态势感知系统的中间件产 品有Kafka、ActiveMQ等，应用比较广泛的是

Kafkao早期它主要被应用于各类日志搜集、状态

在网络安全态势感知系统中，用于安全趋势

分析和预测数据主要提取于网络数据、日志数据、

服务数据、报警数据等。我们对这些数据的采集

监控等数据的保存和预处理，逐渐发展成为实时

系统的中间容器件。这样，各子系统之间的接口

标准统一，极大简化了组网和编程难度，而Kafka 承担了数据枢纽作用。3.2大数据存储与管理过程和预处理方法是不同的，本文重点介绍几种常用 的大数据采集方式和预处理技术。3.1.1 传感器(Sensor )以软硬件形式旁挂在网络中，主要负责监控

记录网络上通过的各种信息，同时实施漏洞扫描、

大数据的采集完成后就要把底层数据分门别

类可靠保存在介质上，存储必须是安全可靠的。

大数据平台的存储硬件主要是服务器集群资源。

入侵检测、协议自主识别等。目前市场上常见的

-56 -2021年第1期用户最关注的问题是如何合理调配和高效管理数

据。分布式文件系统、分布式数据库、分布式协 调系统等大数据技术比较适用于网络安全态势感

是将繁杂的大数据以直观的图像模式呈现，通过 相关数据分析和处理，辅助用户对数据进行更深

入的度了解，进而快速发现本质问题。传统的数据可视化表现形式通常是二维空间，

知系统的数据存储与管理。分布式文件系统工作原理是通过网络传输把 比如统计图。当今大数据可视化，尤其是应用于

数据存储在服务器集群上。系统采用标准通信协 网络安全态势感知领域的大数据可视化，关注重

点是度多角度的结果呈现，以辅助用户预判

议，通过C/S模式在Internet环境中与数据服务器

建立连接。在访问权限的约束下，终端和服务器 端均可提出大数据访问请求。现在使用较广泛的

有 GFS ( Google 研发)和 HDFS ( Hadoop 研发)。

和决策。4结语面对日益复杂的网络环境，建设网络安全态 势感知系统是非常有必要的。它有助于用户准确

感知所在网络安全情况，从而高效科学快速准确

开发HDFS的唯一目的就是可靠存储和有效管理 大数据。一是防止数据在传输和处理过程中丢失,

二是对运行环境要求极低，可以在老旧或廉价服

务器上实现数据存储和管理。由于对硬件条件的

宽容，系统的容错能力必须强悍。在存储服务器

地做出安全规划和决策。但是网络安全态势感知

是一个涉及多种信息化技术的复杂系统工程，现 阶段的技术水平在一定程度上制约了安全态势感 知的应用，我们要从思想上重视，技术上跟进,

集群部分设备出现故障时，HDFS依旧运转良好, 并保持很高的数据吞吐率。3.3大数据处理与分析过程适用于态势感知系统的数据处理与分析技术 框架有很多种，如批量数据处理、交互式数据挖掘、

分步骤达成建设目标。本文重点阐述了构建网络

安全态势感知系统所涉及的主流大数据平台关键

流式计算等框架。限于篇幅，本文只介绍Hadoop

的批量数据处理。MapReduce是Hadoop大数据平台上用于批量

技术，旨在为搭建网络安全态势感知的用户提供

借鉴。参考文献：[1] 赵争业.面向网络空间态势的多元数据融合技术研究[D].

数据处理的并行运算方法。它的理念是将大规模

廉价集群上的庞大运算分散至各个计算机，形成 并行计算，而将过程自动抽象到Map ( )、Reduce

长沙：国防科技大学,2012.[2] Tom White. Hadoop权威指南——大数据存储与分析[M].王

()两个函数上。这种计算方式将使技术人员可以

通过底层透明接口自由调配、高效处理大数据。3.4大数据可视化技术过程海，华东，刘宇，等译.北京:清华大学出版,2017.⑶张俊林.大数据日知录一架构与算法[M].北京:电子工业

大数据可视化是大数据整个过程的最后环节, 出版社,2016.也是非常重要的环节。大数据可视化技术的理念

-57 -