【阿里云MVP第五期】安畅网络韩军辉:ELK在数据中心流量分析中的应用-阿里云开发者社区

开发者社区> Elasticsearch 技术团队> 正文

【阿里云MVP第五期】安畅网络韩军辉:ELK在数据中心流量分析中的应用

简介: 本文节选自阿里云MVP第五期嘉宾上海安畅运维专家韩军辉分享话题《ELK在运维工作中应用两三事》。从实际应用的角度,分享了ELK在混合云数据中心场景下流量收集、分析、存储、展现、告警中的实践。

嘉宾介绍

韩军辉 上海安畅运维专家
热衷于开源技术的学习和研究,从事多年的ELK运维相关工作,对ELK Stack有深入研究,对ELK相关运维有丰富的经验。

数据中心流量分析的挑战

早期的时候安畅网络是做IDC的,当时我们有13个数据中心和两个公共云的节点,出口带宽大概在200G左右。

_

我们当时面临的困难是告警信息无法给出明确的攻击情况。我们只能是收到DDOS告警,然后通知机房现场,或者是运维工程师来手动的用抓包分析。这样以来,定位时间不可控,如果DDOS直接把机房的流量打死,或者机房直接瘫痪,这对客户的业务影响是不可估量的。所以当时我们就想能不能当DDOS攻击来临的时候,直接快速的分析出是哪个IP被攻击了,来源IP是什么,这样直接可以指到黑洞或者封堵,比较大的时候通知运营商进行封堵,这样可以减少最小的影响范围。

基于ELK的流量分析技术架构

每个数据中心核心或者路由器配置SFlow收集数据,然后经过sflowtool这个工具进入logstash。输出分为离线和在线两路。在线部分输入ES集群,最后经过Kibana展示。离线部分输出到kafka集群,然后进入Spark Streaming计算,通过算法生成告警。

_

流量全景分析和告警

下面是其中一个数据中心的流量全景图。

_

这边大家可以看到,就是这个电信入口,它TOP10的客户,而且后面可能是没有展现出来,它可以带到比较高的流量IP,可以跟电信入口或者联通入口,当DDOS攻击来的时候肯定是某个IP破坏量特别的高,而且从ES搜索路径是可以看到是哪个IP被攻击了,来源IP是什么。这个是我们当时根据我们公司自己业务从流量分析里面抓出来我们自己属于我们公司业务自己内部的一些流量,最上面的是我们这个流量的趋势图,还有下面的协议分布,或者是我们公司业务哪一些地区访问的最多,还能进行高德地图判断出这个流量客户的热点图等。

_

DDOS告警大屏

DDOS攻击来的时候,我们是通过FLOW数据发送到Logstash然后再进ES。如果这个数据只用来展示的话是不够用的,我们想做一个告警。数据从FLOW发过以后,然后进入Logstash,最后再进入kafka消息队列,最后再进入大数据计算平台,通过一定的算法来判断。比如说长沙有一个数据中心,哪一个客户,哪一个IP被攻击了都可以显示出来的。

_

关键配置

核心交换机的主要配置,如下图所示。上面有一个Agent Address,用于标识哪一个数据中心的IP,过滤的时候就可以知道是哪一个IP。然后下面Collector里面有两个Address,一个是进入ES的,另一个是进入kafka的。

_

接下来配置端口,最主要的配置是Flow Rate,这个比率大概是256或者8192都是可以的,具体值取决于交换机。这里采取512比率,也就是每512个包抓取一个包。当然这个值小的话,交换机压力会比较大,而且进入ES的数据量也会倍增。下面部分这个是IP地址和客户的关系表。这个关系表是我们从CRM系统导入Logstash的,大概是2个小时同步一次。

_

配置logstash的input插件,通过UDP端口,从sflowtoot抓出每个数据中心的数据。进入logstash后,通过grok插件来结构化需要分析的数据。同时使用了两个translate插件,用来分析协议和转换数据格式。

_

_

阿里云MVP介绍

阿里云最有价值专家,简称 MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云技术的意见领袖。点击了解更多产品信息
阿里云 MVP Meetup 第5期活动视频回顾。点击观看

加入钉钉技术讨论群

dingQR

阿里云Elasticsearch已正式发布啦,Elastic开源官方联合开发,集成5.5商业版本XPack功能,欢迎开通使用。
点击了解更多产品信息

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

Elasticsearch 作为一个分布式、高扩展、实时的搜索与数据分析引擎,因其轻量级、稳定、可靠、快速等特性受到越来越多开发者的青睐,在搜索、日志分析、运维监控和安全分析等领域得到广泛应用。

官方博客
友情链接