基于大数据的网络安全分析

发布 2023-09-01 07:24:43 阅读 8983

作者: 蓝盾研发中心-刘峰。

今年接手soc产品研发,产品经理一直强调核心是事件关联分析,数据大集中后挖掘各种安全隐患,实时性关联分析以及识别或预防各种未知的攻击是技术难点。了解了一下,soc已进入3.0时代,随着大数据技术的成熟,各个竞争对手都引入大数据平台解决先前无法解决的各种技术问题,比如大数据量存储、实时**分析,以及各种机器挖掘技术,虽然有技术难度,但比较好的是大数据技术最近才成熟流行起来,大型的互联网公司和运营商虽然已掌握,但大部分公司和产品还未采用或者正在研发,大家基本上都在同一个起跑线上,由于大数据必须与业务紧密结合才能发挥价值,对我们来说是一个机会,正好赶上。

当前的挑战。

当前网络与信息安全领域,正面临着全新的挑战。一方面,伴随大数据和云计算时代的到来,安全问题正在变成一个大数据问题,企业和组织的网络及信息系统每天都在产生大量的安全数据,并且产生的速度越来越快。另一方面,国家、企业和组织所面对的网络空间安全形势严峻,需要应对的攻击和威胁变得日益复杂,这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。

面对这些新挑战,现有安全管理平台的局限性显露无遗,主要体现在以下三个方面。

1. 数据处理能力有限,缺乏有效的架构支撑:当前分析工具在小数据量时有效,在大数据量时难以为继,海量异构高维数据的融合、存储和管理遇到困难;安全设备和网络应用产生的安全事件数量巨大,ids误报严重,一台ids系统,一天产生的安全事件数量成千上万,通常99%的安全事件属于误报,而少量真正存在威胁的安全事件淹没在误报信息中,难以识别;

2. 威胁识别能力有限,缺乏安全智能:安全分析以基于规则的关联分析为主,只能识别已知并且已描述的攻击,难以识别复杂的攻击,无法识别未知的攻击;安全事件之间存在横向和纵向方面(如不同空间**、时间序列等)的关系未能得到综合分析,因此漏报严重,不能实时**。

一个攻击活动之后常常接着另外一个攻击活动,前一个攻击活动为后者提供基本条件;一个攻击活动在多个安全设备上产生了安全事件;多个不同**的安全事件其实是一种协作攻击,这些都缺乏有效的综合分析。

3. 安全预判能力有限,缺乏对抗能力:安全运营以被动应急响应为主,难以对风险进行提前的评估与研判,总是疲于救火。

soc3.0时代来临。

soc3.0以大数据分析架构为支撑,以业务安全为导向,构建起以数据为核心的安全管理体系,强调更加主动、智能地对企业和组织的网络安全进行管理和运营。

在dt时代, soc3.0的核心要素是:业务、主动、智能、大数据。

业务?用户的业务系统是安全的终极保障对象,以业务为核心的安全就是要从业务四要素(支撑环境、流程、数据和人)出发去保障业务安全,并通过建立指标体系来度量安全效果。

主动?强调构建主动的安全机制,进行前摄性的安全防御,包括集成漏洞管理、配置核查,并引入外部威胁情报,进行积极的安全预警和主动运维。

智能?强调建立起智能化的安全分析能力,既要保留现有基于规则的关联分析,也要利用更加丰富的情境数据(漏洞、情报、身份、资产等信息)进**境关联,更要借助诸如行为分析、机器学习、数据挖据等技术来做到知所未知。

大数据?大数据时代的安全管理必然是数据驱动的,必须以大数据架构为支撑,基于大数据技术重新构建信息采集、数据融合、事件存储、高级安全分析、态势感知和可视化等安全管理能力。

事件关联分析场景介绍。

对于每套系统管理都有它的安全防护措施,只不过是安全孤岛,但是万物之间必然有它的联系,将这些日志联系到一起分析,就是关联分析,这里关联的好坏就决定于他的关联库、关联规则和知识库。

场景一。针对一个典型的网络构成如下图,介绍基本的关联分析过程:

1. 路由器记录所有数据包通过的信息。

2. 防火墙根据指定的策略记录下所有允许和丢弃的数据包访问信息。

3. ids对所有数据检测后,记录可疑数据包的告警信息。

4. 应用服务器记录对各种服务的访问信息以及进行的文件操作。

场景二。对于web漏洞发起的攻击包检测,通常经历下面几步:

1. ids检查到对目标web服务器的漏洞攻击包。

2. 检查路由器日志,触发告警的包是否通过路由器。

3. 分析防火墙日志,过滤器是否拦截攻击包。

4. 检查服务器文件完整性,运行tripwire检查文件完整性,查看文件权限是否修改。

5. 分析syslog输出或服务器事件日志,检查攻击是否真正发生。

通过上述分析,基本确定一个攻击事件是否发生,需要通过分析许多相关设备日志信息,同时能够追溯到攻击源,从全局来观察攻击事件的开始、发展、结束过程以及是否造成危害。

场景三。1. 比如在vpn服务器日志显示张三3:00钟,从外面登陆到内部网。

2. 在3:05分登陆ftp服务器,并在ftp服务器上**了某个文件。

3. 在门禁系统的日志显示张三在不久前刚刚进入办公区域。

这三个日志可以关了出一个安全事件。

场景四。1. 某公司核心数据库前端部署了防火墙系统,某日安全系统监测发现张三登陆了mys ql 数据库服务器。

2. 但是在防火墙日志中并没有发现张三的访问日志。

这说明张三很有可能绕过防火墙直接登陆数据库服务器。

场景五。1. 网络中openvas扫到某台linux主机存在的 scoreboard(本地安全限制绕过)漏洞。

2. 与此同时,nids检测到了一个正在对该主机漏洞扫描的尝试攻击事件,如果此时该linux服务器打上了相应补丁,则关联分析结果不会报警,如果没有,此时应该会产生报警。

关联分析类型。

数据关联:将多个数据源的数据进行联合(association)、相关(correlation)或组合(combination)分析,以获得高质量的信息。它将不同空间设备的日志,不同时间序列存在的问题进过特定关联方法结合在一起,最终确定工具的分析方法。

交叉关联:它是最常见的数据关联方式,可以将安全事件与网络拓扑、系统开放的服务、设备存在的漏洞进行关联匹配,以分析攻击成功的可能性。利用这种关联方法可以检测到某些威胁,并实现自动响应(比如发出告警等)。

情境关联: 将安全事件、故障告警事件与当前网络、业务、设备的实际运行环境、状态、重要程度进行关联,透过更广泛的信息相关性分析,识别安全威胁。情境关联可以根据事件的特点结合不同情境进行关联分析,扩展成不同的功效。

参考下面几种:

与漏洞信息关联:将安全事件与该事件所针对的目标资产当前具有的漏洞信息进行关联,包括端口关联和漏洞编号关联;(如:ids告警源ip对目的ip进行漏洞攻击 & 目的ip存在该编号的漏洞 & 该漏洞是个高危漏洞)

与资产信息关联:将事件中的ip地址与资产价值、资产类型、自定义资产属性(如密级)等进行关联判断事件的准确性与风险程度;(如:ids告警源ip对目的ip进行sql注入攻击 & 目的ip是个web应用服务器 & 该web应用是个机密性很高的系统)

与性能状态关联:将事件中的ip地址与设备的当前对应性能指标关联判断事件的准确性与风险程度;(如:ids告警源ip对目的ip进行syn攻击并且目的ip的响应参数明显降低或不响应)

与网络状态关联:将安全事件与该事件所针对的目标资产(或发起的源资产)当前发生的告警信息以及当前的网络告警信息进行关联;(如:ids告警存在arp攻击 & 发生攻击的网段大部分设备掉线 & 只有某台设备**->基本可以判定该设备就是攻击源)

与物理拓扑关联:根据网络物理拓扑信息进行网络连接关联分析与网络路径可达性检测,自动进行网络根本故障源定位。(如:

某区域终端设备突然全部掉线 & 这些终端都连接同一个交换设备 & 该交换机也属于掉线状态 & 该交换机上联的网络设备**->基本可以判定该交换机是故障源)

逻辑关联:等于、不等于、大于、小于、不大于、不小于、与、或、非、位于……之间、属于、包含、followby

统计关联:对单位时间内日志某个或多个属性进行统计计数分析,关联出达到一定统计规则的事件。如:一分钟内某个源ip连续向某个目的ip发送2000个syn半连接包。

时序关联:按照某些事件发生的时序进行关联分析。根据某些攻击行为、网络故障特征,可通过时序关联来设定相应的分析规则,达到事前警告、事中阻断的效果。

如:某源ip先对某目的ip的所有端口进行连接,然后ids告警源ip对目的ip进行漏洞攻击;

大数据分析场景。

基线分析:将重要设备或业务的安全关键点要素(如服务器上的账户信息、权限信息、端口开放信息、进程启动信息、服务启动信息、网络连接信息)进行基线分析,通过单个或多个关键点的变动进行综合分析,达到对威胁的确认。

如:某台服务器突然增加了个登录账号;突然打开某个端口,并且向外部连接;

宏观态势分析:基于时间周期同比对某一类或整体事件数进行宏观分析,判定当前网络整体性能或安全状况、**后期网络性能或安全的态势。

如:今天某个时段的ids告警量突然比之前同一时段增加很多(由于同一时间段网络的使用情况应该是相差不大的,告警量的突增标明网络中肯定存在某些威胁或故障)

大数据的切入点。

分析引擎实现。

实时关联分析实现。

离线分析实现。

态势评估:包括关联分析(correlation analysis)、态势分析(situation? analysis)、态势评价(situation evaluation),核心是事件关联分析。

关联分析就是要使用采用数据融合(data fusion)技术对多源异构数据从时间、空间、协议等多个方面进行关联和识别。态势评估的结果是形成态势评价报告和网络综合态势图,借助态势可视化为管理员提供辅助决策信息,同时为更高阶段的业务评估提供输入。

?业务评估:包括业务风险评估(business risk assessment)和业务影响评估(business impact assessment),还包括业务合规审计(businesscomplianceaudit)。

业务风险评估主要采用面向业务的风险评估方法,通过业务的价值、弱点和威胁情况得到量的出业务风险数值;业务影响评估主要分析业务的实际流程,获知业务中断带来的实际影响,从而找到业务对风险的承受程度。

?预警与响应:态势评估和业务评估的结果都可以送入预警与响应模块,一方面借助态势可视化进行预警展示,另一方面,送入流程处理模块进行流程化响应与安全风险运维。

基于Linux系统的网络安全策略

摘要 linux系统是一种应用越来越广泛的网络操作系统,为确保系统安全稳定的运转,在实际运用时应该采用适当的安全机制,本文就此提出了切实可行的基于linux系统的网络安全策略和保护措施。关键词 linux 操作系统 网络安全策略。1.引言。随着internet intranet网络的日益普及,采用l...

基于Linux系统的网络安全策略

摘要 linux系统是一种应用越来越广泛的网络操作系统,为确保系统安全稳定的运转,在实际运用时应该采用适当的安全机制,本文就此提出了切实可行的基于linux系统的网络安全策略和保护措施。关键词 linux 操作系统 网络安全 策略。1引言。随着internet intranet网络的日益普及,采用l...

基于Linux系统的网络安全策略

摘要 linux系统是一种应用越来越广泛的网络操作系统,为确保系统安全稳定的运转,在实际运用时应该采用适当的安全机制,本文就此提出了切实可行的基于linux系统的网络安全策略和保护措施。关键词 linux 操作系统 网络安全 策略。1引言。随着internet intranet网络的日益普及,采用l...