Elk
Elasticsearch logstash kibana
传统：Shell sed awk grep 简单的信息筛选
进行海量日志的筛选遇到的问题：1信息搜索（费时） 2 多维度分析
适用于服务器数量少
因此，海量日志的情况下需要日志分析系统
日志分析系统常见方案：ELF /EFK/graylog/流式分析/ELK
日志分析系统作用：
1 信息检索——>快速找到bug——>修复
2 服务诊断——>负载均衡和运行状态——>优化
3 数据分析——>
日志系统的角色（组件）：
1 采集端（agent）：采集日志源数据，对数据进行封装并发送给聚合端。
2 聚合端（collector）：搜集来自多个采集端的日志数据，并按照一定规则进行数据的处理（例如：加索引）。
3 存储端（storage）：负责存储来自聚合端的数据。
ELK方案示意图
data collection数据的收集
Redis 消息队列（可加可不加）
Data processing 数据的处理
Storage 存储
Visuablize可视化（获取数据进行显示）
Beats 负责对日志源数据进行采集
Logstash 建立索引
Elasticsearch 存储
实验
基础环境
四台虚拟机
