一、开启mysql binlog
参考mysql binlog日志开启
https://jingyan.baidu.com/article/cb5d6105a9be41005d2fe07f.html
二、通过canal
三、数据解析
insert、update、delete
将数据存入hbase，然后判断操作类型，根据唯一主键修改数据，最后查询当前结果下发
mysql binlog日志实时接入
2023-12-29
119
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
mysql binlog日志实时接入
相关实践学习
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
11天前
|
监控
关系型数据库
MySQL
|
23天前
|
存储
安全
关系型数据库
Mysql 的binlog日志的优缺点
MySQL的binlog（二进制日志）是一个记录数据库更改的日志文件，它包含了所有对数据库执行的更改操作，如INSERT、UPDATE和DELETE等。binlog的主要目的是复制和恢复。以下是binlog日志的优缺点：
### 优点：
1. **数据恢复**：当数据库出现意外故障或数据丢失时，可以利用binlog进行点恢复（point-in-time recovery），将数据恢复到某一特定时间点。
2. **主从复制**：binlog是实现MySQL主从复制功能的核心组件。主服务器将binlog中的事件发送到从服务器，从服务器再重放这些事件，从而实现数据的同步。
3. **审计**：b
31
1
1
|
2月前
|
SQL
关系型数据库
MySQL
|
27天前
|
SQL
监控
关系型数据库
|
23天前
|
SQL
关系型数据库
MySQL
Mysql 的binlog日志的原理【4月更文挑战第1天】
【4月更文挑战第1天】
MySQL的binlog（二进制日志）是一个记录数据库更改的日志文件，它主要用于复制和恢复操作。以下是binlog日志的工作原理的简要概述：
**事件写入**：当MySQL服务器执行一个事务时，它会将该事务中所有对数据库的修改操作（如INSERT、UPDATE和DELETE等）记录为一个事件（event）。这些事件包含了修改操作的相关信息，如操作类型、涉及的表、修改的行等。
89
1
1
|
27天前
|
SQL
存储
关系型数据库
轻松入门MySQL：深入理解MySQL日志，二进制日志、中继日志、回滚日志和重做日志（19）
轻松入门MySQL：深入理解MySQL日志，二进制日志、中继日志、回滚日志和重做日志（19）
33
0
0
|
21天前
|
SQL
存储
关系型数据库
|
22天前
|
SQL
存储
关系型数据库
|
7天前
|
SQL
存储
关系型数据库
|
11天前
|
关系型数据库
MySQL
数据库
热门文章
最新文章
1
更优性能与性价比，从自建 ELK 迁移到 SLS 开始
2
使用Java代码打印log日志
3
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
4
/var/log/auth.log日志详解
5
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断（下）
6
Linux&Windows 日志分析 陇剑杯 CTF
7
R语言计量经济学：工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
8
提升日志管理效率：掌握CKA认证中的边车容器技巧
9
centos7 Nginx Log日志统计分析 常用命令
10
基于Java的公司员工工作日志办公系统的设计与实现(源码+lw+部署文档+讲解等)