【工具安装】logstash的安装

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: Logstash 它是 ES 下的一款开源软件,它能够同时从多个来源采集数据、转换数据,然后将数据发送到 Eleasticsearch 中创建索引。 我们在项目中通常使用 Logstash 将数据库(如 MySQL)中的数据采用到ES索引中。也就是Logstash的工作是从MySQL中读取数据,向ES中创建索引,这里需要提前创建mapping的模板文件以便logstash使用。

一、Logstash的介绍

Logstash 它是 ES 下的一款开源软件,它能够同时从多个来源采集数据、转换数据,然后将数据发送到 Eleasticsearch 中创建索引。

我们在项目中通常使用 Logstash 将数据库(如 MySQL)中的数据采用到ES索引中。也就是Logstash的工作是从MySQL中读取数据,向ES中创建索引,这里需要提前创建mapping的模板文件以便logstash使用。

二、下载Logstash

官网下载地址:https://www.elastic.co/cn/downloads/logstash

1.png

解压:

2.png

这是解压后的目录结构。

三、安装logstash-input-jdbc


为什么要安装logstash-input-jdbc呢?


因为版本不同,自身所带的插件也不同,本文所说的是6.x的版本。而6.x版本本身不带logstash-input-jdbc插件,需要手动安装。Logstash5.x以上版本本身自带有logstash-input-jdbc

3.png

logstash-input-jdbc 是ruby开发的,先下载ruby并安装


下载地址: https://rubyinstaller.org/downloads/


下载2.5版本即可。


安装完成查看是否安装成功

4.png

安装成功后我们可以在logstash根目录下的以下目录查看对应的插件版本:

5.png

如果想省事的话,可以下载解压本文提供的logstash-6.2.1.zip,此logstash中已集成了logstash-input-jdbc插件。

四、配置mysql.conf

logstashconfig目录下配置mysql.conf文件供logstash使用,logstash会根据mysql.conf文件的配置的地址从MySQL中读取数据向ES中写入索引。(本文讲的数据库是MySQL)

参考 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html

配置输入数据源和输出数据源。


input {
stdin {
  }
jdbc {
jdbc_connection_string=>"jdbc:mysql://localhost:3306/jy_brand?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC"# the user we wish to excute our statement asjdbc_user=>"root"jdbc_password=>123456# the path to our downloaded jdbc driver  jdbc_driver_library=>"F:/develop/maven/repository3/mysql/mysql-connector-java/5.1.41/mysql-connector-java-5.1.41.jar"# the name of the driver class for mysqljdbc_driver_class=>"com.mysql.jdbc.Driver"jdbc_paging_enabled=>"true"jdbc_page_size=>"50000"#要执行的sql文件#statement_filepath => "/conf/course.sql"statement=>"select * from course_pub where timestamp > date_add(:sql_last_value,INTERVAL 8 HOUR)"#定时配置schedule=>"* * * * *"record_last_run=>truelast_run_metadata_path=>"D:/ElasticSearch/logstash-6.2.1/config/logstash_metadata"  }
}
output {
elasticsearch {
#ES的ip地址和端口hosts=>"localhost:6200"#hosts => ["localhost:6200","localhost:6202","localhost:6203"]#ES索引库名称index=>"jy_brand"document_id=>"%{id}"document_type=>"doc"template=>"D:/ElasticSearch/logstash-6.2.1/config/jy_brand_template.json"template_name=>"jy_brand"template_overwrite=>"true"  }
stdout {
#日志输出codec=>json_lines  }
}

特别说明:

1、ES采用UTC时区问题


ES采用UTC 时区,比北京时间早8小时,所以ES读取数据时让最后更新时间加8小时

wheretimestamp> date_add(:sql_last_value,INTERVAL 8 HOUR)


2、增量同步数据


logstash每个执行完成会在D:/ElasticSearch/logstash-6.2.1/config/logstash_metadata记录执行时间下次以此时间为基准进行增量同步数据到索引库。



完结!

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
监控
MetricBeat安装使用
MetricBeat安装使用
|
4月前
获取Grafana安装包并安装
获取Grafana安装包并安装
40 1
|
12月前
|
运维 监控 Shell
Filebeat 自动安装部署&一键配置实现
Filebeat 自动安装部署&一键配置实现
|
存储 Linux 数据处理
Logstash 7.11安装配置
Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。Logstash 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构,从 IP 地址解码出地理坐标,匿名化或排除敏感字段,并简化整体处理过程。数据往往以各种各样的形式,或分散或集中地存在于很多系统中。Logstash 支持各种输入选择,可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
218 0
Logstash 7.11安装配置
|
存储 监控 数据可视化
windows安装es、kibana教程
windows安装es、kibana教程
244 0
windows安装es、kibana教程
|
自然语言处理 监控 网络协议
[基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置
[基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置
351 0
[基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置
|
Linux Docker Windows
Kibana下载与安装
Kibana下载与安装
1059 0
Kibana6.8.2 下载与安装
Kibana6.8.2 下载与安装
362 0
|
Java iOS开发 MacOS
Elasticsearch实战(三)-MacOS下载安装启动Elasticserch、Kibana
Elasticsearch实战(三)-MacOS下载安装启动Elasticserch、Kibana
372 0
Elasticsearch实战(三)-MacOS下载安装启动Elasticserch、Kibana