对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements

大家好,我是明哥!

1. 聊聊信创与 Oceanbase 数据库

熟悉金融行业的小伙伴们大都知道,银行券商基金公司保险公司等金融行业的中大型企业,都在积极响应国家号召,高举信创的大旗,从服务器/操作系统/数据库/中间件等软件生态的方方面面,探索国产化的各种可能方案。

其中在数据库层面,我司目前推出的方案主要有三个:

  • 对接蚂蚁的 Oceanbase;
  • 对接 PingCAP的 Tidb;
  • 对接我司的 LightDb;

以上三种方案,目前我司在不同券商都有一些落地方案。

2. 聊聊 datax 的 Oceanbase 数据同步方案

不管客户选用哪种信创数据库的方案,不可避免的一个话题都是数据集成/数据同步,目前我司使用最多的一个方案是基于阿里开源的数据集成方案 datax 二次开发而来的一个方案。

那么 datax 对接 OceanBase 时,都有哪些同步方案可选呢?

  • 一是 datax 的 rdbmsreader/rdbmswriter: 因为 Oceanbase 提供了 JDBC 驱动,所以当然可以使用 datax 的支持所有关系型数据库的通用RDBMS插件来同步数据;
  • 二是 datax 推出的 OceanBase 专用插件 oceanbasev10writer/oceanbasev10reader:了解社区发展动向的小伙伴们,会留意到,datax 在2021年5月推出了开源的OceanBase 专用插件 oceanbasev10writer/oceanbasev10reader,如下图所示:

640.png

3. 对比下方案 rdbmsreader/rdbmswriter 和 方案 oceanbasev10writer/oceanbasev10reader 的同步效率

一般来讲,专用的插件会比通用的插件性能要高,我们基于我们的场景,对120W左右的数据的插入速度进行了测试,从结果来看,使用oceanbase 定制的 oceanbasev10writer 插件之后,插入性能比通用插件 rdbmswriter 提升了12倍左右:

640.png

说明:

  • 我们这里没有对读取插件进行详细的性能测试对比,但有理由相信,其性能应该也是有不少提升的;
  • 当然大家的场景不一样,数据库表的结构有差异(有无索引,表字段多少,字段类型等有差异),测试结果可能不尽相同,但结论应该是类似的:定制插件比通用插件性能要高!

4. 深入剖析下 oceanbasev10writer/oceanbasev10reader 插件

  • 开源的魅力就在于,你是可以看到源码的!只要你想,通过查看源码,即可分析其方案原理和细节差异;
  • 通过查看 datax 的源码,笔者发现,以下两个类的如下三个方法中,显示地对 oceanbasev10writer/oceanbasev10reader 的 jdbc url 添加了链接参数 rewriteBatchedStatements=true:
  • com.alibaba.datax.plugin.writer.oceanbasev10writer.ext.OBDataSourceV10#buildJdbcProperty
  • com.alibaba.datax.plugin.rdbms.util.DataBaseType#appendJDBCSuffixForWriter
  • com.alibaba.datax.plugin.rdbms.util.DataBaseType#appendJDBCSuffixForReader

640.png

640.png

640.png

看到这里,熟悉 Mysql 的 JDBC 连接参数 rewriteBatchedStatements 的小伙伴们,大概就猜到了:datax 的 OceanBase 专用插件 oceanbasev10writer/oceanbasev10reader,由于底层使用了 jdbc 的 batched Update 功能,所以性能比没有使用 jdbc batched update 功能时,速度有了数十倍的提升!

答案确实如此!

事实上,出于好奇,我们切换使用了 datax 的 RDBMS 通用插件 rdbmsreader/rdbmswriter,但在 jdbc url 中显示添加了参数 rewriteBatchedStatements=true,经测试,其数据写入速度跟上述专用插件的写入速度并无明显差异!

通过查看源码,我们还发现,datax 对mysql的写入操作做了类似处理,所以概括下:

  • 使用datax 读写各种关系型数据库 rdbms 时,推荐使用其专用读写插件,此时不用做特殊配置好,即能做到最优的读写性能;
  • 当使用 datax 写入到 mysql 和 oceanbase 时,如果使用其 专用写插件(MysqlWriter和oceanbasev10writer),此时底层使用到了特性 jdbc batched update, 所以性能比较好!
  • 当使用 datax 写入到 mysql 和 oceanbase 时,如果使用 datax 的 rdbms通用插件(RdbmsWriter),此时需要显示在 jdbc url 中指定参数 rewriteBatchedStatements=true, 才能使用到特性 jdbc batched update,才能做到较好的性能!
  • 640.png
相关文章
|
4月前
|
SQL DataWorks 关系型数据库
DataWorks操作报错合集之如何处理数据同步时(mysql->hive)报:Render instance failed
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
2月前
|
监控 关系型数据库 MySQL
深入了解MySQL主从复制:构建高效稳定的数据同步架构
深入了解MySQL主从复制:构建高效稳定的数据同步架构
129 1
|
3月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
733 4
|
4月前
|
关系型数据库 MySQL 数据库
【MySQL】手把手教你MySQL数据同步
【MySQL】手把手教你MySQL数据同步
|
2月前
|
消息中间件 NoSQL 关系型数据库
一文彻底搞定Redis与MySQL的数据同步
【10月更文挑战第21天】本文介绍了 Redis 与 MySQL 数据同步的原因及实现方式。同步的主要目的是为了优化性能和保持数据一致性。实现方式包括基于数据库触发器、应用层双写和使用消息队列。每种方式都有其优缺点,需根据具体场景选择合适的方法。此外,文章还强调了数据同步时需要注意的数据一致性、性能优化和异常处理等问题。
508 0
|
4月前
|
存储 SQL 关系型数据库
OceanBase与MySQL有何区别?
【8月更文挑战第12天】OceanBase与MySQL有何区别?
986 3
|
4月前
|
关系型数据库 MySQL 大数据
DataX:数据同步的超音速英雄!阿里开源工具带你飞越数据传输的银河系,告别等待和故障的恐惧!快来见证这一数据工程的奇迹!
【8月更文挑战第13天】DataX是由阿里巴巴开源的一款专为大规模数据同步设计的工具,在数据工程领域展现强大竞争力。它采用插件化架构,支持多种数据源间的高效迁移。相较于Apache Sqoop和Flume,DataX通过并发写入和流处理实现了高性能同步,并简化了配置流程。DataX还支持故障恢复,能够在同步中断后继续执行,节省时间和资源。这些特性使其成为构建高效可靠数据同步方案的理想选择。
334 2
|
4月前
|
SQL 关系型数据库 MySQL
“震撼揭秘!Flink CDC如何轻松实现SQL Server到MySQL的实时数据同步?一招在手,数据无忧!”
【8月更文挑战第7天】随着大数据技术的发展,实时数据同步变得至关重要。Apache Flink作为高性能流处理框架,在实时数据处理领域扮演着核心角色。Flink CDC(Change Data Capture)组件的加入,使得数据同步更为高效。本文介绍如何使用Flink CDC实现从SQL Server到MySQL的实时数据同步,并提供示例代码。首先确保SQL Server启用了CDC功能,接着在Flink环境中引入相关连接器。通过定义源表与目标表,并执行简单的`INSERT INTO SELECT`语句,即可完成数据同步。
374 1
|
4月前
|
SQL canal 关系型数据库
(二十四)全解MySQL之主从篇:死磕主从复制中数据同步原理与优化
兜兜转转,经过《全解MySQL专栏》前面二十多篇的内容讲解后,基本对MySQL单机模式下的各方面进阶知识做了详细阐述,同时在前面的《分库分表概念篇》、《分库分表隐患篇》两章中也首次提到了数据库的一些高可用方案,但前两章大多属于方法论,并未涵盖真正的实操过程。接下来的内容,会以目前这章作为分割点,开启MySQL高可用方案的落地实践分享的新章程!
1866 1
|
4月前
|
Java 关系型数据库 DataX
DATAX数据同步
DATAX数据同步
599 0