Win10安装ELK

2022-06-11 400

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

云数据库 Tair（兼容Redis），内存型 2GB

检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月

Redis 开源版，标准版 2GB

简介： Win10安装ELK

主页:写程序的小王叔叔的博客欢迎来访👀

支持:点赞收藏关注

本文章初学者请先全部浏览完成后，在进行逐步学习！！！

本文章不做文字搬运工，只做实战搬运工！！

详细基础请看官网或者【1.Elastic简介】~ ~ ~

ELK的参考资料

ELK官网：Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic

ELK官网文档：https://www.elastic.co/guide/...

ELK中文手册：https://www.elastic.co/guide/...

ELK中文社区：Elastic 中文社区

1.Elastic简介

《Elastic：菜鸟上手指南》地址： Elastic：开发者上手指南_Elastic 中国社区官方博客的博客-CSDN博客_elasticsearch菜鸟教程

Elastic 公司也拥有 Logstash 及 Kibana 开源项目。这个三个开源项目组合在一起，就形成了 ELK 软件栈。他们三个共同形成了一个强大的生态圈。

简单地说，

Elasticsearch 处于最核心的位置，它可以帮我们对数据进行快速地搜索及分析,

Logstash 负责数据的采集，处理（丰富数据，数据转型等），

Kibana 负责数据展，分析及管理。

整体版本的下载地址： https://www.elastic.co/cn/downloads/past-releases#kibana 三大件一定要使用相同的版本号!（否则将导致下面的错误）. （由于外网要用VPN访问）

上面的地址是官网，我本地下载的文件在我的资源中，点击我的资源就可以下载

2.配置java开发环境

2.1）jdk1.8+ 本电脑借用前同事的版本【 1.9+更好】

3.准备基本的开发jar 及相关开发工具

3.1）如 Redis mysql (这些辅助后面的使用，在我的资源文件中)

3.2) Elasticsearch v7.3.1 KibanaV7.3(可直接下载)

3.3）Redis客户端（这些辅助后面的使用）

3.4）Postman （这些辅助后面的使用）

安装注意：安装elk时，创建文件时，一定不能出现“空格”，如果出现，“空格”变成“-”代替

4.1）Windows10 配置安装Elasticsearch 和 Elasticsearch-head及使用

它的产品可以在Elasticsearch: The Official Distributed Search & Analytics Engine | Elastic 进行下载。Elasticsearch 是一个分布式的基于 REST 接口的为云而设计的搜索引擎。想要发挥其强大的作用，你需使用 Java 并要将其集成到你的应用中。

在 Windows 上运行 bin\elasticsearch.bat：

elasticsearch.bat

以上操作成功后，访问：http://localhost:9200 将显示下图表示安装成功！

安装成功之后，开始安装Elasticsearch-head，在安装之前需要安装node.js 和 grunt 。

首先下载:

nodejs : Download | Node.js

es-head: GitHub - mobz/elasticsearch-head: A web front end for an elastic search cluster

运行grunt：在es-head文件夹下进行 cmd 执行命令：npm install -g grunt -cli ，安装成功后，如图：

安装Head插件

上面下载之后，进行解压，cmd 进入es-head 执行npm install命令安装pathomjs，时间过长，静静等待即可

启动成功后，在上面截图中，输入grunt server，进行启动head,如图：

然后在es/config/elasticsearch.yml，文件末端另起一行分别顶格添，保存后重启elasticsearch.bat

http.cors.enabled: true
http.cors.allow-origin: "*"

启动之后，浏览器访问：Node Exporter

使用方法：

4.2)Windows10 配置安装 Kibana

【4.1】成功安装后，在浏览器中输入地址：http://localhost:5602。则将显示如图：

我的电脑没有直接安装，因此通过【4.2】进行单独安装。

分别在/kibana/config/kibana.yml中修改，找到对应的位置修改即可：

server.port: 5602
elasticsearch.url: "http://localhost:9200"

修改成功，启动.\bin\kibana.bat 如下：在启动kibana前一定要先启动es.bat

下载对应的ELK网址
Elasticsearch7.3 官方下载链接：下载 Elastic 产品 | Elastic
Kibana7.3官方下载链接：Download Kibana Free | Get Started Now | Elastic

5）安装之后遇见的问题进行汇总：

This version of Kibana requires Elasticsearch v6.4.1 on all nodes. I found the following incompatible nodes in your cluster: v7.3.1 @ 127.0.0.1:9200 (127.0.0.1)

解决：

基本语法学习使用：

6）Windows10 配置安装 Logstash

下载地址：https://www.elastic.co/cn/downloads/past-releases#logstash

Logstash 包含3个主要部分：输入(inputs)，过滤器(filters)和输出(outputs)。你必须定义这些过程的配置才能使用 Logstash，尽管不是每一个都必须的。在有些情况下，我们可以甚至没有过滤器。在过滤器的部分，它可以对数据源的数据进行分析，丰富，处理等等。

logstash的作用是将redis中的日志信息收集并保存到elasticsearch中，redis只是作为缓存保存数据，logstash取完之后会删除redis中的数据信息。

下图展示的是下载官网下载ELK的历史版本链接，请根据具体情况进行选在下载。

安装filebeat

file beat用于将实时监测日志文件的变化并传递到制定的目的地。在创建Logstash管道之前，你需要先配置Filebeat来发送日志行到Logstash。

修改filebeat.yml文件内容：

安装Logstash：

成功下载Logstash文件之后，在/bin/*创建一个Logstash.conf文件,内容是：

input {
    file {
        path => "D:/software/elasticsearch-7.3.1/elasticsearch-7.3.1/logs/*"
    start_position=>"beginning"
      sincedb_path => "/dev/null"
    }
}
output {
    stdout {
        codec => json_lines
    }
}

并通过cmd命令运行文件通过：bin/logstash -f logstash.conf 运行，并得到如下界面：

截图中红色箭头出现删除/data/.lock的文件重新执行上面的命令即可。

修改文件pipeline.yml文件内容，设置推送的logs文件路径：

- pipeline.id: test
   pipeline.workers: 1
   pipeline.batch.size: 1
   config.string: "input { generator {} } filter { sleep { time => 1 } } output { stdout { codec => dots } }"
 #- pipeline.id: another_test
#   queue.type: persisted
   path.config: "D:/software/elasticsearch-7.3.1/logstash-7.3.1/bin/logstash.conf"