1、ELK概述：
ELK简介 ：
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求
ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。 Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。 Elasticsearch 是个分布式搜索和分析引擎，优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。 Logstash：作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch。 Logstash 由JRuby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。 Kiabana：是基于 Node.js 开发的展示工具，可以为 Logstash 和 ElasticSearch 提供图形化的日志分析 Web 界面展示，可以汇总、分析和搜索重要数据日志。 Filebeat：轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。
为什么要使用 ELK ：
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。
完整日志系统基本特征 ：
- 收集：能够采集多种来源的日志数据
- 传输：能够稳定的把日志数据解析过滤并传输到存储系统
- 存储：存储日志数据
- 分析：支持 UI 分析 警告：能够提供错误报告，监控机制
ELK 的工作原理 ：
- 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash
- Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中
- Elasticsearch 对格式化后的数据进行索引和存储
- Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示
2、ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）：
环境准备：
Node1节点（2C/4G）：node1/20.0.0.20 Elasticsearch
Node2节点（2C/4G）：node2/20.0.0.30 Elasticsearch
Apache节点：apache/20.0.0.40 Logstash Apache Kibana
systemctl stop firewalld setenforce 0 1．环境准备 #更改主机名、配置域名解析、查看Java环境 Node1节点：hostnamectl set-hostname node1 Node2节点：hostnamectl set-hostname node2 vim /etc/hosts 20.0.0.20 node1 20.0.0.40 node2 java -version <br>#如果没有安装，yum -y install java 2．部署 Elasticsearch 软件 （1）安装elasticsearch—rpm包 #上传elasticsearch-5.5.0.rpm到/opt目录下 cd /opt rpm -ivh elasticsearch-5.5.0.rpm （2）加载系统服务 systemctl daemon-reload systemctl enable elasticsearch.service （node1 . 2 都要操作） （3）修改elasticsearch主配置文件 node2 也要一样的操作 cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml --17--取消注释，指定集群名字 cluster.name: my-elk-cluster --23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2 node.name: node1 --33--取消注释，指定数据存放路径 path.data: /data/elk_data --37--取消注释，指定日志存放路径 path.logs: /var/log/elasticsearch/ --43--取消注释，改为在启动的时候不锁定内存 bootstrap.memory_lock: false --55--取消注释，设置监听地址，0.0.0.0代表所有地址 network.host: 0.0.0.0 --59--取消注释，ES 服务的默认监听端口为9200 http.port: 9200 --68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2 discovery.zen.ping.unicast.hosts: ["node1", "node2"] grep -v "^#" /etc/elasticsearch/elasticsearch.yml （4）创建数据存放路径并授权 mkdir -p /data/elk_data chown elasticsearch:elasticsearch /data/elk_data/ （5）启动elasticsearch是否成功开启 systemctl start elasticsearch.service netstat -natp | grep 9200 （6）查看节点信息 浏览器访问 http://20.0.0.20:9200 、 http://20.0.0.30:9200 查看节点 Node1、Node2 的信息。 浏览器访问 http://20.0.0.20:9200/_cluster/health?pretty 、 <br>http://192.168.80.11:9200/_cluster/health?pretty查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。 浏览器访问 http://20.0.0.20:9200/_cluster/state?pretty 检查群集状态信息。 #使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。 3．安装 Elasticsearch-head 插件 Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。 安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。 node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。 phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。 （1）编译安装 node #上传软件包 node-v8.2.1.tar.gz 到/opt yum install gcc gcc-c++ make -y cd /opt tar zxvf node-v8.2.1.tar.gz cd node-v8.2.1/ ./configure make -j4 && make install （2）安装 phantomjs #上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到 cd /opt tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/ cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin （3）安装 Elasticsearch-head 数据可视化工具 #上传软件包 elasticsearch-head.tar.gz 到/opt cd /opt tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/ cd /usr/local/src/elasticsearch-head/ npm install （4）修改 Elasticsearch 主配置文件 vim /etc/elasticsearch/elasticsearch.yml ...... --末尾添加以下内容-- http.cors.enabled: true #开启跨域访问支持，默认为 false http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有 systemctl restart elasticsearch （5）启动 elasticsearch-head 服务 #必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。 cd /usr/local/src/elasticsearch-head/ npm run start & > elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head > grunt server Running "connect:server" (connect) task Waiting forever... Started connect web server on http://localhost:9100 #elasticsearch-head 监听的端口是 9100 netstat -natp |grep 9100 （6）通过 Elasticsearch-head 查看 Elasticsearch 信息 通过浏览器访问 http://192.168.80.10:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。 （7）插入索引 #通过命令插入一个测试索引，索引为 index-demo，类型为 test。 curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}' //输出结果如下： { "_index" : "index-demo", "_type" : "test", "_id" : "1", "_version" : 1, "result" : "created", "_shards" : { "total" : 2, "successful" : 2, "failed" : 0 }, "created" : true } 浏览器访问 http://20.0.0.20:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本。 点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息。
