Canal 数据同步(canal 安装) | 学习笔记

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 快速学习 Canal 数据同步(canal 安装)

开发者学堂课程【微服务+全栈在线教育实战项目演练(SpringCloud Alibaba+SpringBoot)Canal 数据同步(canal 安装)】学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/667/detail/11517


Canal 数据同步(canal 安装)


目录:

一、在 mysql 里面添加相关用户和权限

二、安装 canal 工具

三、总结过程


一、在 mysql 里面添加相关用户和权限

在安装前,需要见证一个用户,有一个要求:需要用户通过远程也能访问到数据库。

比如说看到本地库,默认有数据库和表,叫 user,用户能通过本地访问,通过远程访问访问不到。

需要加入:%,表示远程访问。

image.png

CREATE USER "canal"@'%"IDENTIFIED BY‘canal';GRANT SHOW VIEW, SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO'canal'@";

FLUSH PRIVILEGES;

这里的 canal 就是通过远程可以访问到,root 默认不能访问,需要加入用户。之前已经加过就可以不用操作,如果没加需要操作一下。Y 表示可以访问。


二、安装 canal 工具

下载地址:

https://github.com/alibaba/canal/releases

下载之后,放到目录中,解压文件

cd /usr/1ocal/canal

canal.deployer-1.1.4.tar.gz

tar zxvf canal.deployer-1.1.4.tar.gz

(1)把 canal 压缩文件上传到 liunx 系统中

(2)解压压缩文件

[ root@online test]# Is

canal . deployer-1.1.4.tar.gz

[ root@online test]# tar zxvf canal. deployer-1.1.4.tar.gz 0

(3)修改 canal 配置文件

vi conf/example/instance.properties

#需要改成自己的数据库信息

canal.instance.master.address-192.168.44.132:3306

#需要改成自己的数据库用户名与密码

canal.instance.dbUsername=canal

canal.instance.dbPassword=canal

#需要改成同步的数据库表规则,例如只是同步一下表。

#canal . instance. filter .regex=. *//..*

canal. instance. filter . regex=guli_ ucenter . ucenter_member

mysql数据解析关注时表,Perl 正则表达式.

多个正则之间以逗号(,)分隔,转义符需要双斜杠(\)

常见例子:

1.所有表:.*  or  .*. \\ ..*

2.canal schema' 下所有表: canal\1..*

3. canal 下的以canal打头的表: canal\\. canal. *

4.canal schema下的一张表: canal. test1

5. 多个规则组合使用: canal\.. *, mysql. test1, mysql. test2 (逗号分隔)

注意:

此过滤条件只针对 row 模式的数据有效(ps. mi xed/statenent因为不解析 sql,所以无法准确提职 tableliame 进行过滤)

(4)启动 canal 数据同步工具

进入 bin 目录里,有它的脚本:

restart.sh start up.bat startup.sh stop.sh

[ root@online binls ./startup. sh

这就完成了启动和关闭。

此时已经安装到了。


三、总结过程

canal 同步过程:

1.准备工作:

在 liunx 系统和 windows 系统中都需要创建数据库和数据表。

192.168. 13.132

(1)安装 IySQL 数据库

创建数据库和数据表中

名称和表结构一样:

Members

(1)安装 canal 数据同步工具

(2)操作过程

第一步修改 liunx 系统 lySQL 数据库中配置

(1)检查 binl og 功能是否有开启

show variables like 'log_ bin'

mysql> show variables like 'log bin'

|Variable_ _name| Value|

|log_ bin        |  OFF

如果执行,看到 Value 值是 0FF,表示没有开启,需要开启

如果 Value 值是 0N,表示已经开启。

(2)修改 mysql 的配置文件 my. cnf

vi /etc/my. cnf 追加内容:

log-bin=mysql-bin

#binlog文件名

binlog_ format=RO

#选择 row 模式

server_ id=1

#mysql 实例 id,不能和 canal 的 slaveId 重复

(3)重启 mysql 数据库

重启之后,再去查看 binlog 值,变成 ON,表示已经开启了。

3.安装过程

主要是修改信息方面

(1)改自己的数据库信息

(2)改自己的数据库用户名与密码

(3)改同步的数据库表规则

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
7月前
|
SQL 分布式计算 Oracle
数据同步工具DataX的安装
数据同步工具DataX的安装
1394 0
|
3月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
848 4
|
4月前
|
canal 关系型数据库 MySQL
"揭秘阿里数据同步黑科技Canal:从原理到实战,手把手教你玩转MySQL数据秒级同步,让你的数据处理能力瞬间飙升,成为技术界的新晋网红!"
【8月更文挑战第18天】Canal是一款由阿里巴巴开源的高性能数据同步系统,它通过解析MySQL的增量日志(Binlog),提供低延迟、可靠的数据订阅和消费功能。Canal模拟MySQL Slave与Master间的交互协议来接收并解析Binary Log,支持数据的增量同步。配置简单直观,包括Server和Instance两层配置。在实战中,Canal可用于数据库镜像、实时备份等多种场景,通过集成Canal Client可实现数据的消费和处理,如更新缓存或写入消息队列。
887 0
|
7月前
|
消息中间件 关系型数据库 MySQL
Maxwell 概述、安装、数据同步【一篇搞定】!
Maxwell 是一个由 Zendesk 开源的用于 MySQL 数据库实时数据捕获和同步的工具,支持多种数据库系统,以 JSON 格式输出变更数据。它实时监控数据库中的更新,将变化传递给其他系统,常用于实时数据管道、数据仓库和事件驱动架构。Maxwell 具有实时性、可配置性和高性能等特点。其工作流程包括 Binlog 解析、数据解析、重构、发布到消息队列(如 Kafka)以及事件处理。安装时需注意 JDK 版本,并配置 MySQL、Zookeeper 和 Kafka。此外,Maxwell 支持定向监听特定库表,并能进行历史和增量数据同步。
886 1
|
7月前
|
canal 关系型数据库 MySQL
Canal数据同步工具
Canal数据同步工具
168 2
|
消息中间件 NoSQL 关系型数据库
Canal+Kafka实现MySQL与Redis数据同步(二)
Canal+Kafka实现MySQL与Redis数据同步
245 0
|
消息中间件 canal NoSQL
Canal+Kafka实现MySQL与Redis数据同步(一)
Canal+Kafka实现MySQL与Redis数据同步
656 0
|
canal NoSQL 关系型数据库
淘东电商项目(22) -Canal数据同步框架
淘东电商项目(22) -Canal数据同步框架
112 0
|
4月前
|
SQL DataWorks 关系型数据库
DataWorks操作报错合集之如何处理数据同步时(mysql->hive)报:Render instance failed
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
2月前
|
监控 关系型数据库 MySQL
深入了解MySQL主从复制:构建高效稳定的数据同步架构
深入了解MySQL主从复制:构建高效稳定的数据同步架构
146 1

热门文章

最新文章