Flink CDC中每一个taskmanager的槽位slots配置数,一般生产配置多少呢?我看网上很多都说要根据CPU核数来配,而是建议小于等于核数。但是能提交的job数最多只能等于slots数,再多就报错了。那生产肯定会有很多job,不可能需要配置那么多的CPU资源吧?flinkCDC是不是不支持国产化的那些数据库?比方达梦。
Flink CDC 中每个 TaskManager 的 Slot 数量的配置需要根据实际情况进行调整,一般建议根据以下因素进行权衡:
硬件资源:Flink 集群的硬件资源是配置 Slot 数量的重要因素。如果硬件资源足够充足,可以适当提高 Slot 数量,以提高任务的并发度和处理能力。通常建议将 Slot 数量设置为每个 TaskManager 的 CPU 核心数的两倍左右。
任务负载:Flink CDC 的任务负载量也是配置 Slot 数量的重要因素。如果任务负载量较大,可以适当提高 Slot 数量,以提高任务的执行效率和吞吐量。如果任务负载量较小,可以适当降低 Slot 数量,以避免资源浪费和竞争冲突。
高可用性:在配置 Slot 数量时,还需要考虑高可用性的因素。如果需要保证任务的高可用性,需要为每个 TaskManager 配置足够的 Slot 数量,以防止任务因 TaskManager 故障而无法正常运行。
flink-cdc主要依赖debezium,debezium没有,所以没有,可以让达梦厂商自己来开发连接器。此回答整理至钉群“Flink CDC 社区”
Flink CDC 的 slot 数配置应该根据Flink 集群的 CPU 核数来决定。一般情况下,每个 TaskManager 节点的可用 CPU 内核数与 Slot 的数量成比例。但是,如果Flink 作业需要处理大量的数据流,那么可能需要增加更多的 TaskManager 节点以提高集群的吞吐量和可伸缩性。
至于国产化数据库的问题,Flink CDC 支持多种类型的数据库,包括 MySQL、PostgreSQL、Oracle、SQL Server、DB2 和达梦等 。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。