flink cdc的 参数是直接从指定时间开始读取 binlog 的还是从最早开始然后按时间过滤的?

flink cdc的scan.startup.timestamp-millis 参数是直接从指定时间开始读取 binlog 的还是从最早开始然后按时间过滤的?测试下来感觉像后者,因为很久才读出数来.有没有参数可以提高效率的,增量后并行度为 1 时,读取真的好慢.

展开
收起
小小鹿鹿鹿 2024-04-15 19:56:47 80 发布于山西 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 目前是后者,其实也可以,但是需要改造,你把同一个table的数据进行keyby 写入到下游,但是会有数据倾斜的问题.如果binglog太快,可以释放增大点读取binlog条数大小.此回答来自钉群Flink CDC 社区。

    2024-04-15 22:08:06 举报
    赞同 3 评论

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等