Maxwell使用

简介: Maxwell使用

简介


Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。


踩到的坑


Maxwell是不支持create、drop存储过程的。如果SQL语句仅仅是create 、drop存储过程之类的,maxwell会把这类SQL过滤掉,不做任何处理。但是,一旦这个SQL里面有一些块注释/**/包围的,那么maxwell将无法匹配到这种SQL,会当成正常SQL解析,最终解析失败抛出异常。导致maxwell挂掉。然后数据就不同步了。


解决方案


目前的解决方法


1:sql里面不要有任何注释


2:注释使用单行处理,如:#号、或者–


3:修改源码,将/**/包围的注释过滤掉。我采用了这种方案


友情提示:新手勿入



目录
相关文章
|
canal SQL 关系型数据库
|
canal SQL 关系型数据库
Canal报错总结(三)
Canal报错总结(三)
|
4月前
|
消息中间件 canal 关系型数据库
Maxwell:binlog 解析器,轻松同步 MySQL 数据
Maxwell:binlog 解析器,轻松同步 MySQL 数据
451 11
|
canal druid 关系型数据库
Canal报错总结(二)
Canal报错总结(二)
|
消息中间件 前端开发 关系型数据库
|
消息中间件 SQL JSON
3、数仓之采集工具MaxWell(MaxWell简介、MaxWell原理、MaxWell部署、MaxWell使用)
3、数仓之采集工具MaxWell(MaxWell简介、MaxWell原理、MaxWell部署、MaxWell使用)
|
canal 消息中间件 关系型数据库
canal同步binlog实战
canal同步binlog实战
|
canal 关系型数据库 MySQL
Canal
Canal是一个用于MySQL数据增量订阅和消费的开源组件,支持多种数据订阅方式,包括基于GTID位点的订阅。
1163 0
|
关系型数据库 MySQL
maxwell监听MySQL的Binlog
maxwell监听MySQL的Binlog
152 0
|
canal SQL 关系型数据库
Canal 数据同步(canal 安装) | 学习笔记
快速学习 Canal 数据同步(canal 安装)
Canal 数据同步(canal 安装) | 学习笔记