AI 助理
备案控制台
开发者社区 数据库 文章 正文

淘东电商项目（41） -利用Logstash自动同步数据库内容到ES（超详细）

2023-11-08 177
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
简介： 淘东电商项目（41） -利用Logstash自动同步数据库内容到ES（超详细）

引言

本文代码已提交至Github，有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop

在前面三篇博客里，已经成功的安装好了ELK以及设计了商品搜索服务的表结构，内容可以参见：

商品的搜索我们用到了ES，那如何把数据录入ES呢？不可能是一条数据一条数据的手动录入，这多耗时间呀，那该如何做呢？本文来讲。

本文目录结构：

l____引言

l____ 1. 如何实现数据库与ES同步

l____ 2. 数据库数据录入

l____ 3. logstash同步数据库内容到ES

l________ 3.1 logstash安装插件

l____________ 3.1.1 logstash-input-jdbc插件安装

l____________ 3.1.2 logstash-output-elasticsearch插件安装

l________ 3.2 logstash配置

l____________ 3.2.1 logstash配置文件讲解

l____________ 3.2.2 上传配置文件

l____ 4. 测试

l____ 5. 总结

1. 如何实现数据库与ES同步

我们都知道ES是搜索引擎，它的搜索速度比数据库快很多，那如何将数据库里面的内容同步到ES呢？这个时候就需要用到中间件Logstash了。

Logstash是一个开源数据收集引擎，具有实时管道功能，Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。

我自己画了一张数据库与ES同步的原理图，如下：

首先在Logstash里配置相关的信息，如下：

1.配置MySQL信息有：

  • 数据库连接信息
  • 数据库查询最新数据SQL

2.配置定时器：

  • 配置定时器的定时规则（如：每分钟从数据库里定时一次）

3.配置ES：

  • 配置ES连接信息
  • ES文档id等信息

2. 数据库数据录入

数据库的表设计已经在前面的博客《淘东电商项目（39） -商品搜索服务数据库设计》已经讲解过了，为了本文有演示效果和以后的博客讲解，先插入假数据，内容我是参考京东生鲜（如有侵权，作者可以联系我）：

category表：

INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (1, 0, '新鲜水果', 0, 0, NULL, NULL, '2020-03-02 15:00:57', '2020-03-02 15:00:57', '2020-03-02 15:00:57');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (2, 1, '热销水果', 0, 0, NULL, NULL, '2020-03-02 15:02:08', '2020-03-02 15:02:08', '2020-03-02 15:02:08');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (3, 1, '时令水果', 0, 0, NULL, NULL, '2020-03-02 15:02:08', '2020-03-02 15:02:08', '2020-03-02 15:02:08');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (4, 1, '热带水果', 0, 0, NULL, NULL, '2020-03-02 15:02:08', '2020-03-02 15:02:08', '2020-03-02 15:02:08');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (5, 1, '地标水果', 0, 0, NULL, NULL, '2020-03-02 15:02:08', '2020-03-02 15:02:08', '2020-03-02 15:02:08');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (6, 2, '苹果', 0, 0, NULL, NULL, '2020-03-02 15:03:19', '2020-03-02 15:03:19', '2020-03-02 15:03:19');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (7, 2, '橙子', 0, 0, NULL, NULL, '2020-03-02 15:03:19', '2020-03-02 15:03:19', '2020-03-02 15:03:19');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (8, 0, '海鲜水产', 0, 0, NULL, NULL, '2020-03-02 15:28:39', '2020-03-02 15:28:39', '2020-03-02 15:28:39');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (9, 8, '鱼类', 0, 0, NULL, NULL, '2020-03-02 15:28:49', '2020-03-02 15:28:49', '2020-03-02 15:28:49');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (10, 8, '虾类', 0, 0, NULL, NULL, '2020-03-02 15:28:49', '2020-03-02 15:28:49', '2020-03-02 15:28:49');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (11, 9, '三文鱼', 0, 0, NULL, NULL, '2020-03-02 15:30:10', '2020-03-02 15:30:10', '2020-03-02 15:30:10');
INSERT INTO `taodong-goods`.`category`(`ID`, `PARENT_ID`, `NAME`, `STATUS`, `SORT_ORDER`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (12, 9, '鳕鱼', 0, 0, NULL, NULL, '2020-03-02 15:30:10', '2020-03-02 15:30:10', '2020-03-02 15:30:10');

attribute_key表：

INSERT INTO `taodong-goods`.`attribute_key`(`ID`, `CATEGORY_ID`, `ATTRIBUTE_NAME`, `NAME_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (1, 6, '重量', '0', 1, NULL, '2020-03-02 15:34:35', '2020-03-02 15:34:35', '2020-03-02 15:34:35');
INSERT INTO `taodong-goods`.`attribute_key`(`ID`, `CATEGORY_ID`, `ATTRIBUTE_NAME`, `NAME_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (2, 6, '类别', '0', 1, NULL, '2020-03-02 15:34:35', '2020-03-02 15:34:35', '2020-03-02 15:34:35');
INSERT INTO `taodong-goods`.`attribute_key`(`ID`, `CATEGORY_ID`, `ATTRIBUTE_NAME`, `NAME_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (3, 6, '原产地', '0', 1, NULL, '2020-03-02 15:34:35', '2020-03-02 15:34:35', '2020-03-02 15:34:35');
INSERT INTO `taodong-goods`.`attribute_key`(`ID`, `CATEGORY_ID`, `ATTRIBUTE_NAME`, `NAME_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (4, 6, '售卖方式', '0', 1, NULL, '2020-03-02 15:34:35', '2020-03-02 15:34:35', '2020-03-02 15:34:35');

attribute_vallue表：

INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (1, '1', '3kg-4kg', '0', 1, NULL, '2020-03-02 15:36:27', '2020-03-02 15:36:27', '2020-03-02 15:36:27');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (2, '1', '1000g以下', '0', 1, NULL, '2020-03-02 15:36:42', '2020-03-02 15:36:42', '2020-03-02 15:36:42');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (3, '1', '1000-1999g', '0', 1, NULL, '2020-03-02 15:36:43', '2020-03-02 15:36:43', '2020-03-02 15:36:43');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (4, '1', '2000-3999g', '0', 1, NULL, '2020-03-02 15:36:43', '2020-03-02 15:36:43', '2020-03-02 15:36:43');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (5, '2', '红富士', '0', 1, NULL, '2020-03-02 15:38:55', '2020-03-02 15:38:55', '2020-03-02 15:38:55');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (6, '2', '雪莲果', '0', 1, NULL, '2020-03-02 15:38:55', '2020-03-02 15:38:55', '2020-03-02 15:38:55');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (7, '2', '徐香', '0', 1, NULL, '2020-03-02 15:38:55', '2020-03-02 15:38:55', '2020-03-02 15:38:55');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (8, '3', '陕西', '0', 1, NULL, '2020-03-02 15:38:57', '2020-03-02 15:38:57', '2020-03-02 15:38:57');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (9, '3', '四川', '0', 1, NULL, '2020-03-02 15:38:57', '2020-03-02 15:38:57', '2020-03-02 15:38:57');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (10, '3', '泰国', '0', 1, NULL, '2020-03-02 15:38:57', '2020-03-02 15:38:57', '2020-03-02 15:38:57');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (11, '3', '海南', '0', 1, NULL, '2020-03-02 15:38:59', '2020-03-02 15:38:59', '2020-03-02 15:38:59');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (12, '3', '山东', '0', 1, NULL, '2020-03-02 15:38:59', '2020-03-02 15:38:59', '2020-03-02 15:38:59');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (13, '3', '广西', '0', 1, NULL, '2020-03-02 15:38:59', '2020-03-02 15:38:59', '2020-03-02 15:38:59');
INSERT INTO `taodong-goods`.`attribute_value`(`ID`, `ATTRIBUTE_ID`, `ATTRIBUTE_VALUE`, `VALUE_SORT`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (14, '3', '越南', '0', 1, NULL, '2020-03-02 15:38:59', '2020-03-02 15:38:59', '2020-03-02 15:38:59');

product表：

INSERT INTO `taodong-goods`.`product`(`ID`, `CATEGORY_ID`, `NAME`, `SUBTITLE`, `MAIN_IMAGE`, `SUB_IMAGES`, `DETAIL`, `ATTRIBUTE_LIST`, `PRICE`, `STOCK`, `STATUS`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (1, 6, '烟台红富士苹果', '红富士苹果', 'https://ss1.bdstatic.com/70cFvXSh_Q1YnxGkpoWK1HF6hhy/it/u=1296845473,2218916964&fm=26&gp=0.jpg', '{\"imgages\":[{\"https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=3443692772,1819655971&fm=26&gp=0.jpg\"},{\"https://ss0.bdstatic.com/70cFuHSh_Q1YnxGkpoWK1HF6hhy/it/u=1435166030,2305236542&fm=26&gp=0.jpg\"}]}', '烟台红富士苹果 12个 净重2.6kg以上', '1,2,3,4', NULL, NULL, 0, 1, NULL, '2020-03-02 16:02:40', NULL, '2020-03-02 16:02:40');

product_specs表：

INSERT INTO `taodong-goods`.`product_specs`(`ID`, `PRODUCT_ID`, `PRODUCT_SPECS`, `SPECS_SEQ`, `PRODUCT_STOCK`, `PRODUCT_PRICE`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (1, 1, '{\"内存\":\"4G\",\"颜色\":\"红色\",\"年份\":\"2019\",\"尺寸\":\"16寸\"}', 0, 30, 3699.00000000, 1, NULL, '2019-03-02 15:50:04', '2019-03-02 15:50:04', '2019-03-02 15:50:04');
INSERT INTO `taodong-goods`.`product_specs`(`ID`, `PRODUCT_ID`, `PRODUCT_SPECS`, `SPECS_SEQ`, `PRODUCT_STOCK`, `PRODUCT_PRICE`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (2, 1, '{\"内存\":\"8G\",\"颜色\":\"白色\",\"年份\":\"2019\",\"尺寸\":\"16寸\"}', 0, 30, 3899.00000000, 1, NULL, '2019-03-02 15:50:04', '2019-03-02 15:50:04', '2019-03-02 15:50:04');
INSERT INTO `taodong-goods`.`product_specs`(`ID`, `PRODUCT_ID`, `PRODUCT_SPECS`, `SPECS_SEQ`, `PRODUCT_STOCK`, `PRODUCT_PRICE`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (3, 1, '{\"内存\":\"16G\",\"颜色\":\"白色\",\"年份\":\"2019\",\"尺寸\":\"16寸\"}', 0, 30, 4199.00000000, 1, NULL, '2019-03-02 15:50:04', '2019-03-02 15:50:04', '2019-03-02 15:50:04');

3. logstash同步数据库内容到ES

3.1 logstash安装插件

3.1.1 logstash-input-jdbc插件安装

如果要要实现logstash同步MySQL的数据到ES，首先的前提是要让logstash与Mysql建立连接，那该如何建立呢？其实是需要安装jdbc插件的，安装方法如下：

1.启动logstash：

docker start logstash

2.进入logstash插件目录：

docker exec -it logstash /bin/bash
cd /usr/share/logstash/bin

3.在线安装jdbc插件：

./logstash-plugin install logstash-input-jdbc

最后一句的中文翻译是：“错误：安装终止，插件“ logstash-input-jdbc” 已经被'logstash-integration-jdbc'支持”。表示已经安装了，无需再安装。

3.1.2 logstash-output-elasticsearch插件安装

要让logstash与es能进行信息交互，还需要安装“logstash-output-elasticsearch”插件。

进入logstash目录后，执行安装命令：

./logstash-plugin install logstash-output-elasticsearch

安装成功！

3.2 logstash配置

3.2.1 logstash配置文件讲解

先贴上logstash配置内容（mysql.conf）:

input {
  jdbc {
    jdbc_driver_library => "/usr/share/logstash/lib/mysql-connector-java-5.1.46.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://192.168.18.166:3306/taodong-goods"
    jdbc_user => "root"
    jdbc_password => "123456"
    schedule => "* * * * *"
    statement => "SELECT * FROM product WHERE UPDATED_TIME >= :sql_last_value"
    use_column_value => true
    tracking_column_type => "timestamp"
    tracking_column => "updated_time"
    last_run_metadata_path => "syncpoint_table"
  }
}
output {
    elasticsearch {
        hosts => ["192.168.162.134:9200"]
        index => "product"
        document_id => "%{id}"
        document_type => "product"
    }
    stdout {
        codec => json_lines
    }
}

配置字段字段解析：

字段名 解析
jdbc_driver_library jdbc mysql 驱动的路径
jdbc_driver_class 驱动类的名字，mysql 填 com.mysql.jdbc.Driver 就好了
jdbc_connection_string mysql 地址
jdbc_user mysql 用户
jdbc_password mysql 密码
schedule 执行 sql 时机，类似 crontab 的调度
statement 要执行的 sql
sql_last_value 以 “:” 开头是定义的变量，可以通过 parameters 来设置变量，这里的 sql_last_value 是内置的变量，表示上一次 sql 执行中 update_time 的值，这里 update_time 条件是 >= 因为时间有可能相等，没有等号可能会漏掉一些增量。上次时间点会记录到/usr/share/logstash文件夹的syncpoint_table文件里
use_column_value 使用递增列的值
tracking_column_type 递增字段的类型，numeric 表示数值类型, timestamp 表示时间戳类型
tracking_column 注意一定要小写，递增字段的名称，这里这列的类型是 timestamp
last_run_metadata_path 同步点文件，这个文件记录了上次的同步点，重启时会读取这个文件，这个文件可以手动修改，在/usr/share/logstash文件夹的syncpoint_table文件里
hosts ES的IP地址及端口
index 索引名称 可自定义
document_id 注意一定要小写，要关联的数据库中有一个id字段，对应类型中的id
codec 输出格式
3.2.2 上传配置文件

注意：上面的配置文件里面配置了mysql 的驱动包，所以要下载驱动包，下载地址：https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.46/mysql-connector-java-5.1.46.jar

首先上传msql驱动包到logstash的lib目录/usr/share/logstash/lib（如果不知道怎么上传，可以参考我的博客《Docker 如何上传本地文件到容器目录？》）:

然后上传配置文件mysql.conf到/usr/share/logstash/config目录（方法同上）：

4. 测试

1.启动elasticsearch，成功：

docker start elasticsearch

2.启动kibana，成功：

docker start kibana

3.在kibana控制台，搜索全部，可以看到一共搜索出3条数据：

4.修改logstash.conf，退出并重启logstash：

## 进入容器
docker exec -it logstash /bin/bash
cd /usr/share/logstash/config/
## 修改mysql.conf名字
mv mysql.conf logstash.conf
## 替换默认启动配置文件
rm -rf /usr/share/logstash/pipeline/logstash.conf 
mv logstash.conf /usr/share/logstash/pipeline
exit
docker restart logstash

5.查看日志：

docker logs -f logstash

耐心等候，可以看到定时去查询数据库的内容，如下图：

6.查看es，可以看到已经查询出来了：

GET product/_search

7.本地数据库再次插入一条数据

INSERT INTO `taodong-goods`.`product`(`ID`, `CATEGORY_ID`, `NAME`, `SUBTITLE`, `MAIN_IMAGE`, `SUB_IMAGES`, `DETAIL`, `ATTRIBUTE_LIST`, `PRICE`, `STOCK`, `STATUS`, `REVISION`, `CREATED_BY`, `CREATED_TIME`, `UPDATED_BY`, `UPDATED_TIME`) VALUES (2, 6, '赣南脐橙', '甜橙子', 'https://ss1.bdstatic.com/70cFvXSh_Q1YnxGkpoWK1HF6hhy/it/u=1296845473,2218916964&fm=26&gp=0.jpg', '{\"imgages\":[{\"https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=3443692772,1819655971&fm=26&gp=0.jpg\"},{\"https://ss0.bdstatic.com/70cFuHSh_Q1YnxGkpoWK1HF6hhy/it/u=1435166030,2305236542&fm=26&gp=0.jpg\"}]}', '赣南脐橙 鲜甜橙子 2.5kg装 单果160g-200g 生鲜自营新鲜水果', '1,2,3,4', NULL, NULL, 0, 1, NULL, '2020-03-31 17:00:40', NULL, '2020-03-31 17:00:40');

日志可以看到查询到新的数据

es也能看到有新的数据写入：

5. 总结

本文主要讲解“如何利用Logstash自动同步数据库内容到ES”，说明了原理和注意的细节。

文章标签：
检索分析服务 Elasticsearch版
云数据库 RDS MySQL 版
数据库
关系型数据库
MySQL
搜索推荐
SQL
关键词：
数据库同步
数据库项目
数据库es
数据库淘东
淘东数据库
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
阿甘兄
目录
相关文章
程序员小海绵
|
3月前
|
canal 缓存 NoSQL
Redis缓存与数据库如何保证一致性？同步删除+延时双删+异步监听+多重保障方案
根据对一致性的要求程度，提出多种解决方案：同步删除、同步删除+可靠消息、延时双删、异步监听+可靠消息、多重保障方案
程序员小海绵
553 5
Redis缓存与数据库如何保证一致性？同步删除+延时双删+异步监听+多重保障方案
qhhf_地道酬勤
|
2月前
|
存储 关系型数据库 MySQL
一个项目用5款数据库？MySQL、PostgreSQL、ClickHouse、MongoDB区别，适用场景
一个项目用5款数据库？MySQL、PostgreSQL、ClickHouse、MongoDB——特点、性能、扩展性、安全性、适用场景比较
qhhf_地道酬勤
404 0
土木林森
|
4月前
|
运维 监控 NoSQL
【MongoDB 复制集秘籍】Secondary 同步慢怎么办？深度解析与实战指南，让你的数据库飞速同步！
【8月更文挑战第24天】本文通过一个具体案例探讨了MongoDB复制集中Secondary成员同步缓慢的问题。现象表现为数据延迟增加，影响业务运行。经分析，可能的原因包括硬件资源不足、网络状况不佳、复制日志错误等。解决策略涵盖优化硬件（如增加内存、升级CPU）、调整网络配置以减少延迟以及优化MongoDB配置（例如调整`oplogSize`、启用压缩）。通过这些方法可有效提升同步效率，保证系统的稳定性和性能。
土木林森
110 4
mikechen的互联网架构
|
1月前
|
缓存 关系型数据库 MySQL
高并发架构系列：数据库主从同步的 3 种方案
本文详解高并发场景下数据库主从同步的三种解决方案：数据主从同步、数据库半同步复制、数据库中间件同步和缓存记录写key同步，旨在帮助解决数据一致性问题。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
mikechen的互联网架构
182 1
高并发架构系列：数据库主从同步的 3 种方案
李杰-@yd
|
2月前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容，旨在帮助读者全面了解并应对相关技术挑战。
李杰-@yd
55 3
快乐就是哈哈哈
|
2月前
|
SQL JavaScript 关系型数据库
node博客小项目：接口开发、连接mysql数据库
【10月更文挑战第14天】node博客小项目：接口开发、连接mysql数据库
快乐就是哈哈哈
36 2
1100237741946300
|
2月前
|
SQL 关系型数据库 MySQL
Go语言项目高效对接SQL数据库：实践技巧与方法
在Go语言项目中，与SQL数据库进行对接是一项基础且重要的任务
1100237741946300
90 11
游客4a75ofz7vhoha
|
3月前
|
JavaScript Java 关系型数据库
毕设项目&课程设计&毕设项目：基于springboot+vue实现的在线考试系统（含教程&源码&数据库数据）
本文介绍了一个基于Spring Boot和Vue.js实现的在线考试系统。随着在线教育的发展，在线考试系统的重要性日益凸显。该系统不仅能提高教学效率，减轻教师负担，还为学生提供了灵活便捷的考试方式。技术栈包括Spring Boot、Vue.js、Element-UI等，支持多种角色登录，具备考试管理、题库管理、成绩查询等功能。系统采用前后端分离架构，具备高性能和扩展性，未来可进一步优化并引入AI技术提升智能化水平。
游客4a75ofz7vhoha
235 3
毕设项目&课程设计&毕设项目：基于springboot+vue实现的在线考试系统（含教程&源码&数据库数据）
游客4a75ofz7vhoha
|
3月前
|
Java 关系型数据库 MySQL
毕设项目&课程设计&毕设项目：springboot+jsp实现的房屋租租赁系统（含教程&源码&数据库数据）
本文介绍了一款基于Spring Boot和JSP技术的房屋租赁系统，旨在通过自动化和信息化手段提升房屋管理效率，优化租户体验。系统采用JDK 1.8、Maven 3.6、MySQL 8.0、JSP、Layui和Spring Boot 2.0等技术栈，实现了高效的房源管理和便捷的租户服务。通过该系统，房东可以轻松管理房源，租户可以快速找到合适的住所，双方都能享受数字化带来的便利。未来，系统将持续优化升级，提供更多完善的服务。
游客4a75ofz7vhoha
273 4
毕设项目&课程设计&毕设项目：springboot+jsp实现的房屋租租赁系统（含教程&源码&数据库数据）
小王老师呀
|
2月前
|
Java 关系型数据库 数据库连接
SpringBoot项目使用yml文件链接数据库异常
【10月更文挑战第3天】Spring Boot项目中数据库连接问题可能源于配置错误或依赖缺失。YAML配置文件的格式不正确，如缩进错误，会导致解析失败；而数据库驱动不匹配、连接字符串或认证信息错误同样引发连接异常。解决方法包括检查并修正YAML格式，确认配置属性无误，以及添加正确的数据库驱动依赖。利用日志记录和异常信息分析可辅助问题排查。
小王老师呀
324 10

热门文章

最新文章

  • 1
    RDS入门——Excel文件转存到RDS数据库实践
  • 2
    memcached数据库缓存
  • 3
    为什么NTFS删除超过4G大文件或数据库文件后FILE RECORD大小表现为0
  • 4
    找到SQL Server数据库历史增长信息
  • 5
    【PostgreSQL】基于CentOS系统安装PostgreSQL数据库
  • 6
    达梦（DM）1、安装达梦数据库（Windows篇）
  • 7
    adb shell查看sqlite数据库
  • 8
    C++ 连接数据库的入口和获取列数、数据
  • 9
    【Oracle】Oracle 11g 中的自动数据库维护任务管理
  • 10
    thinkphp数据库添加表单提交的数据
  • 1
    数据库- 动态属性策略
    122
  • 2
    DataFrame 与数据库交互：从导入到导出
    176
  • 3
    云原生数据库PolarDB自定义权限策略参考
    67
  • 4
    云原生数据库 PolarDB系统权限策略参考
    60
  • 5
    云原生分布式数据库 PolarDB-X系统权限策略参考
    223
  • 6
    Beekeeper Studio是一个多功能的数据库管理和开发工具
    316
  • 7
    一些SQL数据库工具的介绍
    93
  • 8
    使用mongodb数据库实例
    159
  • 9
    安全检测 | 数据库审计系统为何如此重要？
    139
  • 10
    实时计算 Flink版操作报错合集之采集oracle的时候报ORA-65040:不允许从可插入数据库内部执行该操作如何解决
    297

    • 相关课程

    更多
  • 数据库的前世今生
  • 数据库核心概念
  • 从传统数据库到云数据库演进
  • 数据库常见问题排查
  • 数据库及SQL/MySQL基础
  • 高校精品课-西安交通大学 -数据库理论与技术

    • 相关电子书

    更多
  • DTCC 2022大会集锦《云原生一站式数据库技术与实践》
  • 阿里云瑶池数据库精要2022版
  • 2022 DTCC-阿里云一站式数据库上云最佳实践

    • 相关实验场景

    更多
  • 使用DAS实现数据库SQL优化
  • 自建数据库迁移到云数据库
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 云原生HTAP数据库，让你的交易和分析一库搞定
  • 快速体验PolarDB开源数据库
  • 使用交互方式创建数据表
    • 下一篇
    DataWorks售前咨询