开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink1.18发布与flink-cdc有重大相关调整吗?

flink1.18发布与flink-cdc有重大相关调整吗?

展开
收起
真的很搞笑 2023-11-01 14:24:36 145 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,Flink 1.18 版本发布了许多新特性,并且对 Flink CDC 功能进行了重大优化和改进。以下是其中的一些重要更新:

    1. 支持并行读取:Flink 1.18 版本中添加了并行读取的支持,使得 Flink CDC 可以更高效地处理大规模数据源。这使得用户可以同时读取多个数据源,并充分利用多核 CPU 资源,从而大大提高读取速度和处理能力。
    2. 更强的容错性:Flink 1.18 版本增强了 Flink CDC 的容错机制,使得系统更加健壮,即使在故障发生的情况下也可以快速恢复并继续处理数据。
    3. 更新的状态后端:Flink 1.18 版本中采用了 RocksDB 状态后端,可以有效地提高状态存储和访问性能。
    4. 改进了批处理任务的性能和稳定性:Flink 1.18 版本引入了许多性能优化和修复,提高了批量任务的运行效率和稳定性。
    5. 新增了更多的 Sink 接口和 connectors: Flink 1.18 版本支持了更多的 Sink 接口和 Connectors,增加了数据库和大数据平台的支持。
    2023-11-02 15:31:01
    赞同 展开评论 打赏
  • 是的,Flink 1.18的发布与Flink-CDC有重大相关调整。Flink-CDC是一个独立的开源项目,项目代码托管在GitHub上。在Flink 1.18版本中,社区开发了flink-cdc-connectors组件,这是一个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。

    因此,如果您在Flink 1.18版本中使用了Flink-CDC,您可能会遇到与以前版本不同的行为和配置方式。建议仔细阅读Flink 1.18版本的官方文档和Flink-CDC的文档,以确保您了解这些变化并正确配置您的应用程序。

    2023-11-02 14:57:32
    赞同 展开评论 打赏
  • Apache Flink CDC 在 Flink 1.18 发布之后进行了许多优化和改进,主要包括以下几个方面:

    • 加入了新的功能,如分区表的创建、聚合函数的支持以及 SQL 表达式的扩展等;
    • 新增了一些功能,如从多个源节点同步增量变化;
    • 对现有的CDC功能进行了增强和完善,比如性能优化和错误修复等。
    2023-11-01 15:54:07
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载