go-mysql-elasticsearch实现mysql 与elasticsearch实时同步深入详解-阿里云开发者社区

开发者社区> laoyang360> 正文

go-mysql-elasticsearch实现mysql 与elasticsearch实时同步深入详解

简介: 引言: go-mysql-elasticsearch 是国内作者开发的一款插件。测试表明:该插件优点:能实现同步增、删、改、查操作。不足之处(待完善的地方): 1、仍处理开发、相对不稳定阶段; 2、没有日志,不便于排查问题及查看同步结果。 本文深入详解了插件的安装、使用、增删改查同步测试。
+关注继续查看

1. go-mysql-elasticsearch 插件安装

步骤1:安装go

yum install go


步骤2:安装godep

go get github.com/tools/godep


步骤3:获取go-mysql-elastisearch插件

go get github.com/siddontang/go-mysql-elasticsearch


步骤4:安装go-mysql-elastisearch插件

cd $GOPATH/src/github.com/siddontang/go-mysql-elasticsearch

make


2.go-mysql-elasticsearch 插件使用

2.1修改配置文件

[root@5b9dbaaa148a etc]# cat river.toml

# MySQL address, user and password

# user must have replication privilege in MySQL.

my_addr = "192.168.1.1:3306"

my_user = "root"

my_pass = "password@!"


# Elasticsearch address

es_addr = "192.168.1.1:9200"


# Path to store data, like master.info, and dump MySQL data

data_dir = "./var"


# Inner Http status address

stat_addr = "192.168.1.1:12800"


# pseudo server id like a slave

server_id = 1


# mysql or mariadb

flavor = "mysql"


# mysqldump execution path

mysqldump = "mysqldump"


# MySQL data source

[[source]]

schema = "test"


# Only below tables will be synced into Elasticsearch.

# "test_river_[0-9]{4}" is a wildcard table format, you can use it if you have many sub tables, like table_0000 - table_1023

# I don't think it is necessary to sync all tables in a database.

tables = ["cc"]


# Below is for special rule mapping

#[[rule]]

#schema = "test"

#table = "cc"

#index = "go_river"

#type = "go_rivert"


   # title is MySQL test_river field name, es_title is the customized name in Elasticsearch

#   [rule.field]

   # This will map column title to elastic search my_title

 #  title="es_title"

   # This will map column tags to elastic search my_tags and use array type

  # tags="my_tags,list"

   # This will map column keywords to elastic search keywords and use array type

   #keywords=",list"


# wildcard table rule, the wildcard table must be in source tables

[[rule]]

schema = "test"

table = "cc"

index = "gocc"

type = "gocc_t"


   # title is MySQL test_river field name, es_title is the customized name in Elasticsearch

   [[rule.fields]]

   mysql = "mysql101"

   elastic = "es_mysql101"

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

2.2执行同步操作

cd $GOPATH/src/github.com/siddontang/go-mysql-elasticsearch

./bin/go-mysql-elasticsearch -config=./etc/river.toml


3. go-mysql-elasticsearch 插件同步测试结果

3.1插入Insert操作实时同步验证(验证ok)

3.1.1Mysql端插入操作

mysql> insert into cc(id,name) values(12, ‘test12’);

Query OK, 1 row affected (0.06 sec)


3.1.2Mysql执行insert后查询结果

mysql> select * from cc where id =12;

+—-+——–+——–+———————+

| id | name | status | modified_at |

+—-+——–+——–+———————+

| 12 | test12 | ok | 2016-06-24 02:27:29 |

+—-+——–+——–+———————+

1 row in set (0.02 sec)


3.1.3ES端能查询到新增的value字段。

[root@5b9dbaaa148a bin]# curl -XGET http://192.168.1.1:9200/gocc/_search?pretty -d '

> {"query":

> {"term":

> {"id":12}}}'

{

 "took" : 402,

 "timed_out" : false,

 "_shards" : {

   "total" : 8,

   "successful" : 8,

   "failed" : 0

 },

 "hits" : {

   "total" : 1,

   "max_score" : 1.0,

   "hits" : [ {

     "_index" : "gocc",

     "_type" : "gocc_t",

     "_id" : "12",

     "_score" : 1.0,

     "_source" : {

       "id" : 12,

       "modified_at" : "2016-06-24T02:27:29+01:00",

       "name" : "test12",

       "status" : "ok"

     }

   } ]

 }

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

3.2修改Update操作实时同步验证(验证ok)

3.2.1mysql执行更新操作

mysql> update cc set name = 'test12_001' where id = 12;

Query OK, 1 row affected (0.05 sec)

Rows matched: 1  Changed: 1  Warnings: 0

1

2

3

3.2.2mysql执行修改后查询

Mysql查询修改后结果:


mysql> select * from cc where id = 12;

+----+------------+--------+---------------------+

| id | name       | status | modified_at         |

+----+------------+--------+---------------------+

| 12 | test12_001 | ok     | 2016-06-24 02:27:29 |

+----+------------+--------+---------------------+

1 row in set (0.00 sec)

1

2

3

4

5

6

7

3.2.3 ES查询修改结果

[root@5b9dbaaa148a bin]# curl -XGET http://192.168.1.1:9200/gocc/_search?pretty -d '

{"query":

{"term":

{"id":12}}}'

{

 "took" : 59,

 "timed_out" : false,

 "_shards" : {

   "total" : 8,

   "successful" : 8,

   "failed" : 0

 },

 "hits" : {

   "total" : 1,

   "max_score" : 1.0,

   "hits" : [ {

     "_index" : "gocc",

     "_type" : "gocc_t",

     "_id" : "12",

     "_score" : 1.0,

     "_source" : {

       "id" : 12,

       "modified_at" : "2016-06-24T02:27:29+01:00",

       "name" : "test12_001",

       "status" : "ok"

     }

   } ]

 }

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

3.3删除操作实时同步验证

3.3.1Mysql执行删除操作

mysql> delete from cc where id = 12;

Query OK, 1 row affected (0.04 sec)

1

2

3.3.2删除后查询表

mysql> select * from cc;

+----+--------------------+--------+---------------------+

| id | name               | status | modified_at         |

+----+--------------------+--------+---------------------+

|  1 | laoyang360         | ok     | 0000-00-00 00:00:00 |

|  2 | test002            | ok     | 2016-06-23 06:16:42 |

|  3 | dlllaoyang360      | ok     | 0000-00-00 00:00:00 |

| 11 | test11             | ok     | 2016-06-24 02:09:15 |

|  5 | jdbc_test_update08 | ok     | 0000-00-00 00:00:00 |

|  7 | test7              | ok     | 0000-00-00 00:00:00 |

|  8 | test008            | ok     | 0000-00-00 00:00:00 |

|  9 | test009            | ok     | 0000-00-00 00:00:00 |

| 10 | test10             | ok     | 2016-06-24 02:08:14 |

+----+--------------------+--------+---------------------+

9 rows in set (0.02 sec)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

3.3.3ES查询删除后结果

[root@5b9dbaaa148a bin]# curl -XGET http://192.168.1.1:9200/gocc/_search?pretty -d '

{"query":

{"term":

{"id":12}}}'

{

 "took" : 40,

 "timed_out" : false,

 "_shards" : {

   "total" : 8,

   "successful" : 8,

   "failed" : 0

 },

 "hits" : {

   "total" : 0,

   "max_score" : null,

   "hits" : [ ]

 }

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

4小结

验证发现:

(1)go-mysql-elasticsearch插件可以实现同步insert、update、delete操作。

(2)可视化做的不好,没有打印日志。

(3)go-mysql-elasticsearch尚不大稳定,出现过无法同步成功的情况,但没有报错。不便于排查。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
logstash-output-mongodb实现Mysql到Mongodb数据同步
本文主要讲解如何通过logstash-output-mongodb插件实现Mysql与Mongodb数据的同步。源数据存储在Mysql,目标数据库为非关系型数据库Mongodb。
13 0
【最佳实践】Elastic stack 实时分析下你的Redis slowlog
Redis 是目前最流行的 NoSQL 内存数据库,然而如果在使用过程中出现滥用、乱用的情况,很容易发生性能问题,此时我们就要去关注慢查询日志,本文尝试给大家介绍一种通过 elastic stack 来快速分析 Redis 慢查询日志的方法,希望能给大家提供帮助。
498 0
Python/MySQL时间的实际应用记录
前言 网上关于mysq时间、python时间与时间戳等文章很多,翻来翻去找不到头绪,根据不同博客的写法,挑了几个来测试,这里记录一下。 况且,不以实际需求为前提的博文,就是瞎写,估计以后自己都看不懂。
1232 0
【最佳实践】大数据时代,通过OSS快照迁移Elasticsearch数据
本文以将自建Elasticsearch迁移至阿里云Elasticsearch中为例,为您介绍通过OSS快照迁移数据的具体方法。
1102 0
logstash-input-jdbc 同步原理及相关问题解读
前言: 基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点,以下研究主要针对 logstash-input-jdbc 展开。 针对logstash-input-jdbc常见的几个疑难问题,部分问题也在git和stackoverflow进行了激烈讨论,以下统一给出验证和解答。
37 0
mysql 与elasticsearch实时同步常用插件及优缺点对比
前言: 目前mysql与elasticsearch常用的同步机制大多是基于插件实现的,常用的插件包括:elasticsearch-jdbc, elasticsearch-river-MySQL , go-mysql-elasticsearch, logstash-input-jdbc。 本文对四种插件的优缺点进行了图表对比。
32 0
MySQL到Elasticsearch数据同步
MySQL数据同步Elasticsearch方案
3425 0
logstash-input-jdbc实现oracle 与elasticsearch实时同步详解
前言: logstash-input-jdbc实现mysql 与elasticsearch的解读之前博文已经解析。本次只是在原有的基础上,针对oracle特性部分做解读。
41 0
实战 | canal 实现Mysql到Elasticsearch实时增量同步
MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品。MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。
5415 0
+关注
348
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载