基于Flink CDC 开发，支持Web-UI的实时KingBase 连接器，三大模式无缝切换，效率翻倍！

大数据时代，数据集成是企业数字化转型的核心环节之一。如何高效、实时地处理海量数据，成为了每个技术团队面临的挑战。
今天，为大家介绍一款强大的开源大数据集成工具——TIS 4.1.0，它通过与人大金仓Kingbase的深度整合，为企业提供了更加高效、灵活的实时数据集成方案。

TIS +Flink-CDC + Kingbase：开箱即用的实时数据集成方案

TIS 4.1.0 是一款基于Web-UI的大数据集成工具，相比传统的黑屏化操作方式，TIS 提供了更加直观、易用的图形化界面，用户无需编写复杂的命令行脚本，只需通过流程化的表单配置，即可完成数据集成任务。这种低门槛的操作方式，大大降低了数据集成的工作量，尤其适合非专业大数据开发人员使用。

TIS 实现了与人大金仓Kingbase的深度整合，基于Flink-CDC PostgreSQL Connector改造的增量数据监听和实时数据写入功能。

在KingBase中无论是数据的插入、更新还是删除，TIS都能实时捕获这些变更，并将其同步到目标端，如Doris。对于需要实时数据同步的场景，这一功能无疑是一个巨大的福音。

TIS与Kingbase整合的核心优势

实时数据变更监听

通过Flink-CDC的PostgreSQL连接器改造，使TIS能够实时监听Kingbase数据源的变更，并将这些变更同步到目标系统中。PostgreSQL无论是数据分析、报表生成，还是实时监控，TIS都能为你提供强有力的支持。

虽然Kingbase是基于开源数据库PostgreSQL开发的，但是从预研结果看，KingBase的主从复制协议与PostgreSQL并不完全相同，区别如下两方面：

1. 基础架构的继承与优化
   • PostgreSQL：
     • 原生支持物理复制（Streaming Replication）和逻辑复制（Logical Replication）。
     • 物理复制基于WAL（Write-Ahead Logging）传输，从库通过重放WAL日志实现数据同步。
     • 逻辑复制基于发布-订阅模型，支持表级数据同步，灵活性更高。
   • KingBase：
     • 继承了PostgreSQL的物理复制和逻辑复制机制，但在协议层进行了优化。
     • 对WAL传输和同步机制进行了性能优化（如压缩、并行处理），减少主从延迟。
     • 可能扩展了同步复制的配置选项，支持更灵活的一致性级别（如多副本强同步）。
2. 性能与国产化适配
   • PostgreSQL：在复杂查询场景下，主从复制的延迟可能较高，需依赖外部优化手段（如并行回放）。
   • KingBase：针对国产硬件（如鲲鹏、飞腾CPU）和操作系统（如麒麟、统信UOS）优化了复制性能。可能引入WAL日志压缩和批量传输技术，降低网络带宽消耗。

实时数据写入

TIS不仅支持从Kingbase读取数据，还能将变更数据实时写入Kingbase，确保数据的一致性和实时性。这对于需要实时数据同步的企业来说，无疑是一个巨大的优势。

TIS支持三大DB模式切换

人大金仓Kingbase作为国产数据库的佼佼者，其最大的亮点之一就是兼容多种数据库模式。Kingbase支持MySQL、PostgreSQL和Oracle三种模式，用户可以根据实际需求灵活切换。在TIS中，这一特性得到了完美的支持。

当KingBase设置为某种DB_MODE，提交到KingBase的SQL执行语句会自动切换到对应DB_MODE 数据库方言。

在TIS的Web-UI中定义Kingbase数据源时，用户可以通过简单的表单设置Kingbase所采用的兼容模式。无论是MySQL、PostgreSQL还是Oracle，TIS都能根据设置的模式自动切换到对应的数据库方言SQL。

这意味着，无论你的应用是基于哪种数据库开发的，TIS都能无缝对接，确保数据导入、导出的顺畅进行。

基于Web-UI操作体验，简单易用

相比传统的黑屏化操作方式，TIS的Web-UI提供了更加直观、易用的图形化界面。用户无需编写复杂的命令行脚本，只需通过简单的拖拽和配置，即可完成数据集成任务。

如何实现及使用流程介绍

正如前文所述，KingBase主从复制机制与PostgreSQL存在差异，理论上，使用现有Flink-CDC版本中的PostgreSQL连接器去监听KingBase CDC消息并不能成功，实际测试结果也是如此。

如何实现

需求分析阶段，TIS开发人员曾尝试从KingBase官网和开源社区寻找基于Flink-CDC的KingBase实现代码，但找遍全网也没有找到合适的。只在KingBase官网找到一个通过Kafka转接的实现方式，并且它是一个闭源商业化模块，因此不满足需求。

只剩下最后一条路，手搓Kingbase连接器啦。TIS对Flink-CDC、Debezium中与Postgresql相关模块进行扩展，扩展了以下两个工程：

1. flink-connector-kingbase-cdc：https://github.com/qlangtech/flink-cdc/tree/tis-3.1.0/flink-cdc-connect/flink-cdc-source-connectors/flink-connector-kingbase-cdc
2. debezium-connector-kingbase：https://github.com/qlangtech/debezium/tree/tis.v1.9.8.Final/debezium-connector-kingbase

改造涉及的点如下：

1. 修改PostgresConnection：将Jdbc Connection实例创建由TIS DataSourceFactory来代理完成。
2. 修改ReplicationMessageColumnValueResolver类：添加对MySQL dbMode下对部分mysql colType，如：tinyint，bigInt等类型的兼容
3. 扩展KingBase主从复制，GRPC报文传输协议：pg_logicaldec.proto，KingBase扩展了 postgreSQL的主从复制协议，添加了几个字段，所以需要作相应修改

在TIS的插件工程（https://github.com/qlangtech/plugins/tree/master/tis-incr/tis-flink-cdc-kingbase-plugin) 中将以上两个工程进行整合，构建出了一站式基于WEB-UI的KingBase数据通道集成模块。

使用流程

我们来看看TIS实际使用KingBase端的效果。
首先，需要对KingBase数据库作设置，确保提供主从复制功能：

1. 修改数据库配置文件
   首先，需要调整数据库的配置参数以支持逻辑解码。这涉及到修改kingbase.conf文件中的两个关键参数：

   • wal_level=logical：
     设置WAL级别为逻辑模式，以便启用逻辑解码。
   • max_replication_slots=N：
     定义最大复制槽数量，确保该值足够大以容纳预期的订阅者数量。此外，可能还需要调整其他相关参数，如max_wal_senders等，以确保有足够的资源用于逻辑复制。

2. 设置发布（Publication）
   为了让CDC能够捕获所有表的变化，应该创建一个包含所有表的发布对象。
   可以通过以下SQL语句实现：

   CREATE PUBLICATION dbz_publication FOR ALL TABLES;
   

   如果只想对特定表进行同步，则可以在创建时指定表名列表。
   同时，对于那些需要精确捕获更新和删除操作前后值的表，应确保设置了适当的复制标识符（REPLICA IDENTITY），例如使用FULL选项来保证完整的历史记录。

3. 组件操作
   接下来，需要在TIS中为KingBase定义数据源：
   
   然后，添加KingBase 的DataX Reader或者Writer连接器：
   再开通KingBase 实时写入通道，需要配置KingBase Sink连接器相关参数：
   
   具体参数如下：

   1. 脚本类型：后台执行的flink 脚本风格，FlinkSQL或者StreamAPI。这个由用户个人喜好，一般Stream API执行效率更高。
   2. batchSize：增量记录在缓冲区攒积到设定阈值就执行批量提交。
   3. flushintervalMills：缓冲区在设置阈值，到达设置时间点无论数据多少触发一次批量提交。

   如果是实时数据监听，则可以使用KingBase CDC 连接器，如下：
   

   配置项参数说明如下：

   1. 起始位点：增量消费起始位点，支持历史全量数据加当前最新增量，从当前最新更新数据，两种方式。
   2. REPLICA IDENTITY：FULL（before和after两个版本），DEFAULT（只支持after数据）

   下一步确认执行脚本（脚本自动生成用户毋需手动编辑），便可以点击部署按钮，开始向Flink集群中部署Job了。
   
   部署过程执行状态会实时反馈给用户，等待进度条执行完毕即部署成功。
   
   关闭进度框，可以在Flink控制台页面看到新job已经发布成功
   
   整个流程一气呵成，不需要编写一行脚本，TIS更加适合非专业开发工程师使用，达到了傻瓜化使用体验，使用过程中并不需要用户了解底层实现原理，大大扩展了用户受众面。

应用场景：数据集成从未如此简单

TIS 4.1.0与Kingbase的整合，为企业提供了更加高效、灵活的实时数据集成方案。无论是企业内部的系统集成，还是跨平台的数据同步，TIS都能轻松应对。特别是对于那些需要频繁切换数据库模式的企业来说，TIS的Kingbase支持无疑是一个巨大的优势。

举个例子，假设你的企业同时使用了MySQL和Oracle两种数据库，而你需要将这两种数据库的数据实时同步到Kingbase中。在TIS 4.1.0的帮助下，你只需在Web-UI中简单配置Kingbase的兼容模式，TIS就能自动处理不同数据库之间的差异，确保数据的实时同步。

总结：TIS + Flink-CDC + Kingbase，数据集成的最佳拍档

TIS 4.1.0与人大金仓Kingbase的深度整合，标志着实时数据集成工具在易用性和灵活性方面迈出了重要的一步。感谢Flink-CDC社区的支持，提供了基于稳定可靠的实时同步基础框架，TIS能够站在巨人肩膀上，经过二开轻松实现数据源的增量监听数据变更；而Kingbase的三大模式兼容，更是为数据集成提供了前所未有的灵活性。

由于KingBase作为商业化数据库产品不符合Flink-CDC的Apache2开源协议要求，目前官方尚未提供KingBase CDC连接器支持。而作为非Apache基金会的开源项目，TIS率先完成了KingBase CDC连接器的整合工作，成为业界首个提供开箱即用级KingBase CDC数据同步能力的解决方案。在需要实时捕获KingBase数据变更的场景下，TIS无疑是当下最成熟的集成化选择。

如果你正在寻找一款高效、灵活的大数据集成工具，那么TIS 4.1.0与Kingbase的组合无疑是一个值得考虑的选择。无论是实时数据同步，还是多数据库集成，TIS都能为你提供强大的支持，助力企业数字化转型。

TIS安装

1. TIS Package 安装说明 (https://tis.pub/docs/install/tis/uber)
2. TIS Flink Standalone Package 安装说明 (https://tis.pub/docs/install/flink-cluster/standalone)
3. Flink On Kubernetes安装说明（ https://tis.pub/docs/install/flink-cluster/native）分布式批量数据同步组件PowerJob安装说明（ https://tis.pub/docs/install/powerjob/k8s）