开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这个有遇到过吗?

Flink CDC这个有遇到过吗? io.debezium.connector.oracle.OracleStreamingChangeEventSourceMetrics [] - The connector is now using the maximum batch size 100000 when querying the LogMiner view. This could be indicative of large SCN gaps?

展开
收起
真的很搞笑 2023-11-01 14:35:26 97 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题是指 Flink CDC 在读取 Oracle 数据库时使用最大批处理大小 100000 来查询 LogMiner 视图,这可能是由于 SCN 跨度过大引起的。
    要解决这个问题,您可以尝试以下方法:

    1. 降低 Oracle LogMiner 查询批次大小,以减少 SCN 跨度
    2. 更改 LogMiner 视图的配置,以达到更好的效率
    2023-11-02 15:08:55
    赞同 1 展开评论 打赏
  • 是的,这个错误信息表示Flink CDC在查询LogMiner视图时使用了最大批量大小100000。这可能意味着存在较大的SCN间隙。为了解决这个问题,你可以尝试以下方法:

    1. 增加Flink CDC的批处理大小。你可以在Flink配置文件中设置debezium.max.batch.size参数来调整批处理大小。例如,将其设置为200000或更大。
    debezium.max.batch.size: 200000
    
    1. 检查Oracle数据库中的SCN间隙。你可以使用以下SQL查询来查看SCN间隙:
    SELECT SCN, SYSTIMESTAMP FROM V$LOGMNR_CONNECTS WHERE STATUS = 'IN PROGRESS';
    

    如果发现存在较大的SCN间隙,可以考虑优化数据库性能,例如通过调整日志文件的大小、优化表结构等。

    2023-11-02 14:47:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载