AI 助理
备案控制台
开发者社区 数据库 文章 正文

MySQL到MongoDB的同步工具_Tungsten Replicator安装配置

2014-01-08 1704
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 MongoDB，独享型 2核8GB
推荐场景：
构建全方位客户视图
云数据库 RDS PostgreSQL，高可用系列 2核4GB
简介： Tungsten Replicator 是一种MySQL复制引擎，类似于MySQL 自身的replication，基于日志复制模式，不同的是 Tungsten 通过Extractor控件读取mysql主库的binlog 解析成自己的日志格式--THL（Transaction History Log）, 在从库上通过Applier控件写入数据库。
Tungsten Replicator 是一种MySQL复制引擎，类似于MySQL 自身的replication，基于日志复制模式，不同的是 Tungsten 通过Extractor控件读取mysql主库的binlog 解析成自己的日志格式--THL（Transaction History Log）, 在从库上通过Applier控件写入数据库。

第三方数据复制引擎--Tungsten-Replicator 主要特点：
1 支持高版本MySQL向低版本复制,5.1-->5.0
2 支持跨数据库系统的复制,MySQL->PgSQL ，MySQL->MongoDB
3 支持多主库向单台Slave的复制,Multi-Master-->Slave
4 G-Replicator提取数据的更新记录写到MySQL 队列表Queue;基于这个队列,可以为其他应用服务提供便利

现在最新版本为Tungsten Replicator2.0.6，较2.0.4，安装可以用cookbook方式，cookbook提供了许多写好的安装脚本等信息；
版本信息： http://code.google.com/p/tungsten-replicator/wiki/Release_Notes
Tungsten Replicator2.0.6的WIKI： http://code.google.com/p/tungsten-replicator/w/list
Tungsten Replicator2.0.4相关文档： https://s3.amazonaws.com/release ... /content/index.html
Tungsten Replicator下载地址: http://code.google.com/p/tungsten-replicator/downloads/list

Tungsten Replicator的基本支持
一、系统要求
ruby 1.8.5 or later (ruby --version)
Ruby openssl libraries ( echo "p 'OK'" | ruby -ropenssl )
Java 1.6 or later (java -version)
GNU tar (tar --version)
rsync 并启动

二、用户权限要求
1、新建用户tungsten,且属于mysql组，这样tugsten才有权限读取MYSQL binlog目录
useradd tungsten -g mysql
2、用户必须能对所有服务器有SSH权限，且无需要密码。可通过 ssh-agent来完成

三、网络要求
1、所有用户可以通过hostname
hostname --ip-address必须返回一个IP（如果用IP方式可以不用配置host）

2、程序应用对外开放接口
3306 (MySQL database)
2112 (Tungsten THL)
10000 (Tungsten RMI)
10001 (JMX management)

四、数据库要求
1、必须支持bin-log,且不同server有不同的server-id

设置MYSQL支持bin-log
修改配置文件my.cnf

点击(此处)折叠或打开

  1. [mysqld]
  2.     # Master replication settings.
  3.     log-bin=mysql-bin
  4.     server-id=1
  5.     max_allowed_packet=48m
  6.     innodb_flush_lot_at_trx_commit=2
  7.     sync_binlog=1
注：
default-storage-engine 必须为innodb引擎
innodb_buffer_pool_size 512M为最低设置
max_allowed_packet最低设置为16M，建议48M。如果设置的较小，复制过程中将报错 "Packet for query is too large"
innodb_flush_lot_at_trx_commit=2 and sync_binlog=1 ,此设置是为防止BinLog崩溃，如未设置，install过程中会报warn
之后重新启动MYSQL

binlog-ignore-db = tungsten_tungsten

执行tungsten会往数据库里写数据，所所加上这句。不让这句写入binlog ；tungsten_服务名
2、数据库必须支持innodb
默认搜索引擎要设置为innodb
MYSQL5.1设置为，修改配置文件my.cnf

default-table-type=innodb
MYSQL5.5默认引擎为innodb，无需设置

3、必须有能所有SERVER都有权限的用户，可通过mysql -u USER -pPASSWORD -P PORT -h HOST 连接
创建Tungsten Replicator数据用户与数据库,

点击(此处)折叠或打开

  1. mysql> grant all on *.* to root@'hostIP' identified by 'password' with grant option;
  2.     mysql> grant all on *.* to tungsten@'hostIP' identified by 'password' with grant option;
注：此处除了master与slave要相互有权限之外，还要对自己的localhost有权限；

Tungsten Replicator的安装（Tungsten Replicator 2.0.4 及2.0.6亦可）
一、下载Tungsten Replicator

点击(此处)折叠或打开

cd /usr/local/src/
     wget http://tungsten-replicator.googlecode.com/files/tungsten-replicator-2.0.4.tar.gz
    tar zxvf tungsten-replicator-2.0.4.tar.gz
    mv tungsten-replicator-2.0.4 /usr/local/tungsten
    chown -R tungsten /usr/local/tungsten
二、用tungsten-installer安装master-slave模式
可通过./tools/tungsten-installer --help-all 查看所有参数
datasource-user与password 要有权限均可以master与slave中执行MYSQL权限
service-name可以随意取名
home-directory为tungsten目录
start-and-report 为配置并启动，用这个参数执行后会自动启动replicator，并且conf中写入services等相关配置

点击(此处)折叠或打开

./tools/tungsten-installer --master-slave \
     --master-host=masterhost \
    --datasource-user=tungsten \
    --datasource-password=badpwd \
    --datasource-port=3306 \
    --cluster-hosts=masterhost ,slavehost \
    --service-name=tungsten \
    --home-directory=/usr/local/tungsten \
    --start-and-report

执行过程中，可能会出现SSH权限、MYSQL权限报错、mysqldump路径报错等；
如果两个HOST的SSH端口不是默认的22，要加入参数--net-ssh-option=port=19000 \

执行中会输出 大概如下内容

点击(此处)折叠或打开

  1. ...
  2.     Processing services command...
  3.     NAME VALUE
  4.     ---- -----
  5.     appliedLastSeqno: -1
  6.     appliedLatency : -1.0
  7.     role : slave
  8.     serviceName : tungsten
  9.     serviceType : local
  10.     started : true
  11.     state : ONLINE
  12.     Finished services command...


只要SSH互通，slave暂时不需设置。
执行完成后，会同时在master\slave两台上出现tungsten_tungsten数据库、同时有replicator进程，且打开10000端口；
查看tungsten_tungsten数据库

点击(此处)折叠或打开

mysql> show tables;
     +-----------------------------+
    | Tables_in_tungsten_tungsten |
    +-----------------------------+
    | consistency |
    | heartbeat |
    | trep_commit_seqno |
    | trep_shard |
    +-----------------------------+
    4 rows in set (0.00 sec)


其中trep_commit_seqno 表会一直记录最新的binlog和最新的posttion

点击(此处)折叠或打开

  1. mysql> select * from trep_commit_seqno\G;
  2.     *************************** 1. row ***************************
  3.     task_id: 0
  4.     seqno: 0
  5.     fragno: 0
  6.     last_frag: 1
  7.     source_id: 192.168.0.12
  8.     epoch_number: 0
  9.     eventid: mysql-bin.000039:0000000000000427;140
  10.     applied_latency: 0
  11.     update_timestamp: 2013-02-18 15:28:12
  12.     shard_id: tungsten_tungsten
  13.     extract_timestamp: 2013-02-18 15:28:12
  14.     1 row in set (0.00 sec)


更新数据内容后重新执行,查看数据ID已发生变化 ，且slave端数据库已和master数据同步；

Tungsten Replicator的备份与恢复功能
Tungsten Replicator提供了简单的备份与恢复的功能 ，使用了两个简单的plugins(mysqldump and xtrabackup)
配置文件中已经默认配置了BackUp相关功能，可做相应修改
配置文件位置为/usr/local/tungsten/tungsten-replicator/conf/，列出如下几个重要参数

点击(此处)折叠或打开

  1. less tungsten-replicator/conf/static-tungsten.properties |grep backup
  2.     replicator.backup.default=mysqldump
  3.     ...
  4.     replicator.backup.agent.mysqldump.mysqldumpOptions=--opt --all-databases --add-drop-database
  5.     replicator.storage.agent.fs.directory=/usr/local/tungsten/backups/tungsten
  6.     replicator.backup.agent.mysqldump.hotBackupEnabled=true
  7.     replicator.backup.agent.xtrabackup.hotBackupEnabled=true
  8.     replicator.backup.agent.xtrabackup.options=user=${replicator.global.db.user}&password=${replicator.global.db.password}&host=${replicator.global.db.host}&port=${replicator.global.db.port}&directory=/tmp/innobackup&archive=/tmp/innobackup.tar&mysqldatadir=/var/lib/mysql/&mysql_service_command=/etc/init.d/mysql


可在配置文件中加入replicator.auto_backup=true，设置自动备份
注：备份与恢复 都要在offline的情况下执行，状态为“OFFLINE:NORMAL”，如不正常情况会出现“OFFLINE:ERROR”，则会恢复失败

查看Replicator当前状态
  1. ./tungsten-replicator/bin/trepctl status
  2. ...
  3. state : ONLINE


设置为offline状态，并备份与恢复
  1. ./tungsten-replicator/bin/trepctl status
  2. ...
  3. state : OFFLINE:NORMAL
  4. Finished status command...

  1. # ./tungsten-replicator/bin/trepctl backup
  2. Backup completed successfully; URI=storage://file-system/store-0000000003.properties

  1. # ./tungsten-replicator/bin/trepctl restore -uri storage://file-system/store-0000000003.properties
  2. Restore is pending; check log for status

查看恢复后的文件，根据conf/static-tungsten.properties配置下的备份目录查看
  1. # ls /usr/local/tungsten/backups/tungsten
  2. storage.index store-0000000002-mysqldump-1871676336962858846.sql store-0000000003.properties
  3. store-0000000001-mysqldump-341047084963524507.sql store-0000000002.properties
  4. store-0000000001.properties store-0000000003-mysqldump-4915067303150219872.sql

在Master/Slave模式下，新加Slave
在正常Master/Slave模式下，如果有其中一台Slave坏掉，不影响正常的Tungsten-Replicator运行，但如果 Master失败，则要重新都offline,然后保证数据一致性；
正常要加Slave，要同时offline 数据一致后，重新online,但因为已经有一台Slave，则可以避免Master的OFFLINE；思路为用一台Slave做一台新Slave的供体，保证两台数据一致；
1、设置slave1 为offline状态 ，然后备份数据，然后再online,online后，会自动同步offline的过程中产生的master的数据
  1. trepctl -host slave1 offline
  2. trepctl -host slave1 backup
  3. trepctl -host slave1 online

2、在新的Slave上恢复数据，然后online
  1. trepstart
  2. trepctl -host newslave restore
  3. trepctl -host newslave online

Tungstent 错误处理： http://www.lishiming.net/thread-5306-1-1.html
Tungstent 日志管理 : http://www.lishiming.net/thread-5309-1-1.html
文章标签：
云数据库 MongoDB 版
云数据库 RDS MySQL 版
关系型数据库
数据库
MySQL
NoSQL
网络安全
关键词：
云数据库 RDS MySQL 版配置
云数据库 RDS MySQL 版工具
云数据库 RDS MySQL 版同步
云数据库 MongoDB 版工具
云数据库 RDS MySQL 版mongodb
zhangdiandong
目录
相关文章
Star时光
|
11月前
|
安全 关系型数据库 MySQL
如何将数据从MySQL同步到其他系统
【10月更文挑战第17天】如何将数据从MySQL同步到其他系统
Star时光
1519 0
蓝易云
|
24天前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
蓝易云
115 10
游客kufrkwrbkmpsa
|
6月前
|
关系型数据库 MySQL Java
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
游客kufrkwrbkmpsa
191 0
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
1786310562865821
|
6月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本：支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本，支持本地存储、远程服务器同步（SSH+rsync）、阿里云 OSS 备份，并自动清理过期备份。适用于数据库管理员和开发者，帮助确保数据安全。
1786310562865821
217 0
蓝易云
|
4月前
|
关系型数据库 MySQL Java
安装和配置JDK、Tomcat、MySQL环境，以及如何在Linux下更改后端端口。
遵循这些步骤，你可以顺利完成JDK、Tomcat、MySQL环境的安装和配置，并在Linux下更改后端端口。祝你顺利！
蓝易云
315 11
蓝易云
|
5月前
|
Ubuntu 关系型数据库 MySQL
在Ubuntu 22.04上配置和安装MySQL
以上就是在Ubuntu 22.04上配置和安装MySQL的步骤。这个过程可能看起来有点复杂，但只要按照步骤一步步来，你会发现其实并不难。记住，任何时候都不要急于求成，耐心是解决问题的关键。
蓝易云
611 30
数据库知识学习者
|
4月前
|
canal 关系型数据库 MySQL
MySQL 自动同步开源工具
本文介绍了几种开源工具用于实现 MySQL 数据库的自动同步。
数据库知识学习者
744 11
蓝易云
|
5月前
|
关系型数据库 MySQL Linux
CentOS 7系统下详细安装MySQL 5.7的步骤：包括密码配置、字符集配置、远程连接配置
以上就是在CentOS 7系统下安装MySQL 5.7的详细步骤。希望这个指南能帮助你顺利完成安装。
蓝易云
1384 26
小王老师呀
|
11月前
|
SQL 关系型数据库 MySQL
mysql主从复制概述和配置
【10月更文挑战第22天】MySQL 主从复制是一种将主服务器的数据复制到一个或多个从服务器的技术，实现读写分离，提高系统性能和可用性。主服务器记录变更日志，从服务器通过 I/O 和 SQL 线程读取并应用这些变更。适用于读写分离、数据备份和恢复、数据分析等场景。配置步骤包括修改配置文件、创建复制用户、配置从服务器连接主服务器并启动复制进程。
小王老师呀
357 1
游客r2tgrg3ez7yzc
|
8月前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示：“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后，连接时提示不允许连接问题解决
游客r2tgrg3ez7yzc
346 69

热门文章

最新文章

  • 1
    Ubuntu 22.04.1上安装MySQL 8.0及设置root密码的注意事项
  • 2
    MySQL数据库中进行日期比较的多种方法介绍。
  • 3
    使用命令行cmd查询MySQL表结构信息技巧分享。
  • 4
    MySQL中binlog、redolog与undolog的不同之处解析
  • 5
    在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
  • 6
    MySQL数据库约束条件概述及其重要性讨论。
  • 7
    降低MySQL高CPU使用率的优化策略。
  • 8
    PostgreSQL黑科技大集会
  • 9
    MySQl之最全且必会的sql语句
  • 10
    .net连接mysql，插入中文乱码问题
  • 1
    MongoDB：它如何悄然改变了全球开发者的数据游戏规则？
    124
  • 2
    云中对决：Amazon DocumentDB 与 MongoDB的终极较量，谁将主宰云端数据库的未来？
    358
  • 3
    MongoDB Atlas与大语言模型的梦幻联动：如何瞬间提升企业级AI应用的构建效率？
    244
  • 4
    揭秘MongoDB：这个神奇的建模技巧将如何彻底改变你的数据结构？
    95
  • 5
    揭秘MongoDB时间序列集合：这个超级功能将如何彻底改变你的数据管理？
    638
  • 6
    DTS 的惊天挑战：迁移海量 MongoDB 数据时，捍卫数据准确完整的生死之战！
    213
  • 7
    MongoDB：改变游戏规则的数据库，看它如何统治数据世界的每一个角落
    145
  • 8
    SpringBoot中MongoDB的那些骚操作用法
    462
  • 9
    mongodb 无线层级父子结构
    104
  • 10
    5-MongoDB实战演练
    199

    • 相关课程

    更多
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 阿里云数据库产品家族及特性
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • MySQL 技术大全：开发、优化与运维实战
  • 阿里云数据库运维实战手册
  • 搭建电商项目架构连接MySQL

    • 推荐镜像

    更多
  • mongodb
  • mysql
    • 下一篇
    蛋白质语言模型 ProGen：在实验室合成由 AI 预测的蛋白质