有人试过flink cdc scanNewlyAddedTableEnabled加表功能吗，从检查点启动后，新加表是从全量开始读取还是从检查点读？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
在Flink CDC中，使用scanNewlyAddedTableEnabled参数启用了从检查点后动态添加表的功能后，新添加的表会从检查点位置开始读取数据。
具体来说，Flink CDC会记录每个表的offset信息，包括binlog文件名和偏移量等信息。在启用scanNewlyAddedTableEnabled参数后，如果有新的表添加到CDC任务中，CDC会根据检查点中记录的offset信息和新表的元数据信息确定新表的起始位置，并从该位置开始读取数据。
需要注意的是，如果新表的数据比较大，可能会影响CDC任务的性能和稳定性。建议在添加新表时进行适当的测试和评估，以确保系统的稳定性和可靠性。同时，可以考虑调整CDC任务的并行度和资源配置等参数，以优化任务的性能和吞吐量。
评论
全部评论 (0)
阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践，通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式，助力制造业企业高效上云，实现系统稳定、应用敏捷智能。拥抱云原生，让创新无处不在。
评论
全部评论 (0)