加入收藏 | 设为首页 | 会员中心 | 我要投稿 开发网_开封站长网 (http://www.0378zz.com/)- 科技、AI行业应用、媒体智能、低代码、办公协同!
当前位置: 首页 > 服务器 > 安全 > 正文

如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

发布时间:2017-03-12 06:33:54 所属栏目:安全 来源:雷锋网
导读:副标题#e# 近年来态势感知、威胁情报等等新词不断出现,其实万变不离其宗,它们都是利用已知的数据来判断风险,甚至预知未发生的威胁。这如同一个老练的探险者孤身穿行在原始丛林,他能轻巧自然地避开蛇虫鼠蚁,用脚印来预知猛兽的威胁。这一切都依赖于他那
副标题[/!--empirenews.page--]

近年来态势感知、威胁情报等等新词不断出现,其实万变不离其宗,它们都是利用已知的数据来判断风险,甚至预知未发生的威胁。这如同一个老练的探险者孤身穿行在原始丛林,他能轻巧自然地避开蛇虫鼠蚁,用脚印来预知猛兽的威胁。这一切都依赖于他那颗善于思考,经验丰富的大脑。

在网络安全的原始森林里,SIEM就扮演这样一个威胁感知大脑的角色。如何在合理成本下打造一个最为强大、合适的 SIEM 系统,是许多安全人员头疼的问题。小编有幸邀请到了拥有十年安全产品经验的百度安全专家兜哥,为大家讲解如何使用开源软件搭建企业的SIEM系统。

嘉宾简介

兜哥,百度安全专家,具有十年云安全产品经验,主要研究方向为机器学习、僵尸网络、威胁情报、沙箱技术、具有多年企业安全建设经验,拥有安全方向相关专利多项;发表多篇安全学术论文。

如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

【百度安全专家-兜哥】

公开课内容整理▼

小编按:由于本次公开课偏向实操,涉及到许多的实际操作和代码示例,限于篇幅就不一一展示,文章下方附本次公开课视频,有兴趣的读者可以自行观看,本文主要以展示思路为主。了解技术细节可以关注兜哥的个人公众号:“兜哥带你学安全”,和兜哥本人进行技术交流。

前言

在RSA2017会议上,应用大数据技术在安全领域,挖掘深入的攻击行为依然是一个热点。

SIEM简介

市场调研机构IDC预计,未来全球数据总量年增长率将维持在50%左右,到2020年,全球数据总量将达到40ZB。一个中型互联网公司一天产生的数据量通常可以超过几T甚至几十T。传统的盒子形式的安全产品已经没有能力处理如此大量的数据。

SIEM(security information and event management),顾名思义就是针对安全信息和事件的管理系统。SIEM通过统一搜集、格式化、存储、分析企业内部的各类日志、流量数据,挖掘攻击行为。

完整的SIEM至少会包括以下功能:

  • 漏洞管理
  • 资产发现
  • 入侵检测
  • 行为分析
  • 日志存储、检索
  • 报警管理
  • 酷炫报表

其中最核心的我认为是入侵检测、行为分析和日志存储检索。

SIEM的发展

对比 Gartner2009 年和 2016年的全球SIEM厂商排名,可以清楚看出,基于大数据架构的厂商Splunk迅速崛起,传统四强依托完整的安全产品线和成熟市场渠道,依然占据领导者象限,其他较小的厂商逐渐离开领导者象限。最重要的存储架构也由盘柜(可选)+商业数据库逐渐转变为可横向扩展的大数据架构,支持云环境也成为趋势。

如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

开源SIEM

常见的开源SIEM主要有 OSSIM 和 OPENSOC,其中 OPENSOC 完全基于大数据架构,更适合目前的中大型企业。OPENSOC 是思科2014年在 BroCon 大会上公布的开源项目,但是没有真正开源其源代码,只是发布了其技术框架。我们参考了 OPENSOC 发布的架构,结合公司实际落地了一套方案。

OPENSOC 完全基于开源的大数据框 架kafka、storm、spark 和 es 等,天生具有强大的横向扩展能力。本文重点讲解的也是基于 OPENSOC 的 SIEM 搭建,以及简单介绍如何使用规则和算法来发现入侵行为。

SIEM架构

如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

上图是Opensoc给出的框架,初次看非常费解,我们以数据存储与数据处理两个纬度来细化,以常见的 linux 服务器 ssh 登录日志搜集为例。

数据搜集纬度

数据搜集纬度需求是搜集原始数据,存储,提供用户交互式检索的UI接口,典型场景就是出现安全事件后,通过检索日志回溯攻击行为,定损。

如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

logtash其实可以直接把数据写es,但是考虑到 storm 也要数据处理,所以把数据切分放到 logstash,切分后的数据发送 kafka,提供给 storm 处理和 logstash 写入 es。数据检索可以直接使用 kibana,非常方便。数据切分也可以在 storm 里面完成。

这个就是大名鼎鼎的ELK架构。es比较适合存储较短时间的热数据的实时检索查询,对于需要长期存储,并且希望使用hadoop或者spark进行大时间跨度的离线分析时,还需要存储到hdfs上,所以比较常见的数据流程图为:

如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

数据处理纬度

这里以数据实时流式处理为例,storm 从 kafka 中订阅切分过的ssh登录日志,匹配检测规则,检测结果的写入 mysql 或者 es。

如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

在这个例子中,孤立看一条登录日志难以识别安全问题,最多识别非跳板机登录,真正运行还需要参考知识库中的常见登录IP、时间、IP情报等以及临时存储处理状态的状态库中最近该IP的登录成功与失败情况。比较接近实际运行情况的流程如下:

如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

具体判断逻辑举例如下,实际中使用大量代理IP同时暴力破解,打一枪换一个地方那种无法覆盖,这里只是个举例:

如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

扩展数据源

(编辑:开发网_开封站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读