ELK之日志查询、收集与分析系统-阿里云开发者社区

开发者社区> 数据库> 正文
登录阅读全文

ELK之日志查询、收集与分析系统

简介:

项目由来

  (1)开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力
(2)日志数据分散在多个系统,难以查找与整合
(3)日志数据量巨大,查询速度太慢,无法满足需求
(4)无法全局掌控项目运行状况
(5)日志数据查询不够实时
(6)数据分析人员不会写代码,无法分析统计数据
(7).........

 

 

框架里包含的组件

  Logstash+Elasticsearch+Kibana(ELK
Logstash:监控,过滤,收集日志。
Elasticsearch:存储日志,提供搜索功能。
kibana:提供web界面,支持查询,统计,和图表展现。
filebeat:轻量级的日志收集工具。
很多公司都采用该架构构建分布式日志系统,包括新浪微博,freewheel,畅捷通等

  注意:在应用端收集日志时,建议用filebeat。

 

 

 

 

效果图

 

 

 

 

 

 

架构设计

  (1)使用filebeat
架构设计1:filebeat(1.3)-->logstash(parse)-->es集群-->kibana--ngix
 缺点:如果logstash出问题会导致filebeat收集的数据丢失
架构设计2:filebeat(1.3)-->logstash(parse)[loadbalance]-->es集群-->kibana--ngix
filebeat和>logstash耦合性太高
架构设计3filebeat(1.3)(3台)-->redis-->logstash(parse)-->es集群-->kibana--ngix(可选)  (我这里,目前为了学习,走这条线路)
里面redis是一个单线程的实例,redis单线程每秒处理能力一般是10W次左右。
架构设计4:filebeat(5.0)-->redis/kafka-->logstash(parse)-->es-->kibana--ngix
filebeat(1.3)不支持输出到kafka,5.x版本中支持输出到kafka
(2)不使用filebeat
logstash-->kafka-->logstash(parse)-->es-->kibana--ngix
里面kafka支持水平扩展,可以使用多分区,支持多线程并行执行。
在应用端收集日志的话,logstash比较重量级,性能消耗比filebeat大
(3)Filebeat用于日志收集和传输,相比Logstash更加轻量级和易部署,对系统资源开销更小。

 

后续贴图。



本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6621794.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章