Maxwell使用

简介: Maxwell使用

简介


Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。


踩到的坑


Maxwell是不支持create、drop存储过程的。如果SQL语句仅仅是create 、drop存储过程之类的,maxwell会把这类SQL过滤掉,不做任何处理。但是,一旦这个SQL里面有一些块注释/**/包围的,那么maxwell将无法匹配到这种SQL,会当成正常SQL解析,最终解析失败抛出异常。导致maxwell挂掉。然后数据就不同步了。


解决方案


目前的解决方法


1:sql里面不要有任何注释


2:注释使用单行处理,如:#号、或者–


3:修改源码,将/**/包围的注释过滤掉。我采用了这种方案


友情提示:新手勿入



目录
相关文章
|
11月前
|
消息中间件 关系型数据库 MySQL
使用Flume实现MySQL与Kafka实时同步
使用Flume实现MySQL与Kafka实时同步
|
12月前
|
消息中间件 前端开发 关系型数据库
|
消息中间件 SQL JSON
3、数仓之采集工具MaxWell(MaxWell简介、MaxWell原理、MaxWell部署、MaxWell使用)
3、数仓之采集工具MaxWell(MaxWell简介、MaxWell原理、MaxWell部署、MaxWell使用)
|
SQL 存储 关系型数据库
Flink CDC 系列 - 构建 MySQL 和 Postgres 上的 Streaming ETL
本篇教程将展示如何基于 Flink CDC 快速构建 MySQL 和 Postgres 的流式 ETL。
Flink CDC 系列 - 构建 MySQL 和 Postgres 上的 Streaming ETL
|
关系型数据库 MySQL
maxwell监听MySQL的Binlog
maxwell监听MySQL的Binlog
129 0
|
SQL XML 缓存
实时同步 Mysql 到 Hive-3 | 学习笔记
快速学习实时同步 Mysql 到 Hive-3
366 0
实时同步 Mysql 到 Hive-3  |  学习笔记
|
SQL XML JSON
实时同步 Mysql 到 Hive-2 | 学习笔记
快速学习实时同步 Mysql 到 Hive-2
397 0
实时同步 Mysql 到 Hive-2  |  学习笔记
|
SQL 缓存 NoSQL
实时同步 Mysql 到 Hive-1 | 学习笔记
快速学习实时同步 Mysql 到 Hive-1
493 0
|
canal 消息中间件 SQL
基于Canal和Kafka实现MySQL的Binlog近实时同步
近段时间,业务系统架构基本完备,数据层面的建设比较薄弱,因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存、更新或者软删除)到一个另一个数据源,持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力,优先调研了Alibaba开源中间件Canal的使用。这篇文章简单介绍一下如何快速地搭建一套Canal相关的组件。
853 0
基于Canal和Kafka实现MySQL的Binlog近实时同步
|
消息中间件 JSON 分布式计算
利用maxwell组件监听mysql之binlog日志进行实时同步数据
利用maxwell组件监听mysql之binlog日志进行实时同步数据