开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink 啥时候能支持tidb连接器,有这个计划吗?

flink 啥时候能支持tidb连接器,有这个计划吗?

展开
收起
三分钟热度的鱼 2023-11-22 19:56:39 85 0
6 条回答
写回答
取消 提交回答
  • 目前还没有明确的时间表或计划表,但可以肯定的是,Flink 连接 TiDB 的可能性是存在的。

    在技术层面,Flink 作为一个流批统一的大数据计算引擎,与 TiDB 这样的分布式数据库系统在技术上是有一定的契合度的。TiDB 集成了 TiFlash 后,已经成为了真正的 HTAP(在线事务处理 OLTP + 在线分析处理 OLAP)数据库,这与 Flink 的实时计算特性也可以相辅相成。

    从社区和用户需求层面来看,Flink 与 TiDB 的结合可以为大数据分析和实时计算场景提供更多的可能性。这种结合可以降低学习和配置成本,因为 TiDB 兼容 MySQL 5.7 协议,而最新版本的 Flink 可以通过 Flink SQL 和强大的连接器来编写提交任务。

    然而,对于 Flink 何时能够支持 TiDB 连接器,这需要看双方的开发者以及社区的推进情况。如果有任何最新的进展或者官方声明,建议您关注 Flink 和 TiDB 的官方网站或者社区论坛。

    2023-11-29 09:19:32
    赞同 1 展开评论 打赏
  • 目前Flink 社区已经开始支持 TiDB 作为数据源之一,Flink 提供了 JDBC 连接器来连接 TiDB。
    可以使用 Flink 的 JDBC 连接器来将 TiDB 数据源连接到 Flink 任务中,然后使用 Flink 的 DataFrame API 或 SQL API 来处理和分析数据。Flink 支持实时流处理和批处理任务,并提供了丰富的数据转换和分析功能,可以根据实际需求灵活使用。

    2023-11-28 16:25:52
    赞同 展开评论 打赏
  • Flink的CDC 2.2版本已经新增了对TiDB的支持,具体为TiDB CDC连接器。该连接器是专门为解决在Flink中使用非原生TiDB支持遇到的问题而开发的,可以更好地服务于Flink的广泛计算场景。同时,对于使用方式,你可以自定义连接器参数,如设置建立连接的模式为"eager"或"lazy"等。此外,为了更高效地使用TiDB,数据集成平台还自研了更符合TiDB分布式架构的flink-tidb-connector — TiBigData,并对TiDB的部署做了一些优化。

    2023-11-28 10:48:54
    赞同 展开评论 打赏
  • 目前Flink并没有直接支持TiDB连接器的计划。但是,Flink作为一个流批统一的大数据计算引擎,可以与各种数据库和存储系统进行集成。因此,理论上来说,未来Flink可能会支持更多的数据库连接器,包括TiDB。

    不过,需要注意的是,目前TiDB已经集成了Flink的API,用户可以通过TiDB的Flink API实现Flink与TiDB之间的数据交互。此外,TiDB也提供了与Kafka等其他流处理平台的集成,可以满足大部分实时数据处理的需求。

    因此,如果你需要将Flink与TiDB进行集成,可以考虑使用TiDB的Flink API或者使用其他集成方案来满足你的需求。

    2023-11-25 20:41:04
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,Apache Flink 已经计划在未来版本中增加对 TiDB 连接器的支持。目前,有一些第三方开发团队正在积极研究和开发相关的解决方案。预计未来几个月内会有更多进展公布出来。
    目前,尽管 Flink 还没有官方支持 TiDB 连接器,但是已经有了一些可行的方法可以用来实现实时同步到 TiDB 数据库的功能。比如,您可以使用 Flink CDC 插件来获取源数据库的数据更改事件,并将它们转换成 TiDB 支持的格式发送到目标数据库;也可以使用其他开源工具(如 Debezium、Canal 等)来捕捉 MySQL 或其他 RDBMS 数据库的变更事件,并将其发送到 TiDB 数据库中。

    2023-11-22 21:31:30
    赞同 展开评论 打赏
  • 暂时没有计划,社区有连接器你可以自定义connector先用。此回答整理自钉群“实时计算Flink产品交流群”

    2023-11-22 20:03:12
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载