Flink CDC全量采集oracle的表时，每秒只能采集5000条数据，有什么参数优化吗？

Flink CDC全量采集oracle的表时，每秒只能采集5000条数据，而kafkaconnect采集可到达到每秒30000条数据，有什么参数优化吗？

展开

收起

真的很搞笑 2023-10-22 22:46:01 138 0

3 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
如果你的Flink CDC全量采集Oracle的表时，每秒只能采集5000条数据，而Kafka Connect采集可以达到每秒30000条数据，那么可能有以下几种可能的原因：
1. Flink CDC的并发度设置过低。Flink CDC的并发度设置决定了它同时可以处理多少个任务。如果你的并发度设置过低，那么Flink CDC可能无法充分利用你的硬件资源，从而导致采集速度较慢。你可以尝试提高Flink CDC的并发度，看看是否可以提高采集速度。
2. Flink CDC的缓冲区大小设置过小。Flink CDC的缓冲区大小决定了它在接收到数据后可以暂存多少数据。如果你的缓冲区大小设置过小，那么Flink CDC可能无法有效地处理大量的数据，从而导致采集速度较慢。你可以尝试增大Flink CDC的缓冲区大小，看看是否可以提高采集速度。
3. Flink CDC的序列化方式设置不当。Flink CDC的序列化方式决定了它如何将数据转换为可以传输的数据。如果你的序列化方式设置不当，那么Flink CDC可能无法有效地处理大量的数据，从而导致采集速度较慢。你可以尝试改变Flink CDC的序列化方式，看看是否可以提高采集速度。
4. Flink CDC的网络带宽设置不当。Flink CDC的网络带宽设置决定了它可以通过网络传输多少数据。如果你的网络带宽设置不当，那么Flink CDC可能无法有效地传输大量的数据，从而导致采集速度较慢。你可以尝试增大Flink CDC的网络带宽，看看是否可以提高采集速度。
2023-10-23 14:17:20

赞同展开评论打赏
芯在这

换成kafkaconnect，此回答整理自钉群“Flink CDC 社区”

2023-10-23 08:09:01

赞同展开评论打赏
算精通

北京阿里云ACE会长
1. 源端 Oracle 数据库的性能限制：Flink CDC 从 Oracle 数据库中读取数据，其性能受到 Oracle 数据库的约束。如果 Oracle 数据库的性能较低，那么采集速度可能会受到限制。
2. Flink CDC 的配置问题：Flink CDC 的某些配置可能影响了采集速度。例如，可以尝试调整batch.size（批量大小）、fields.delimited（字段分隔符）和field.delimiter（字段分隔符）等参数。
3. 网络延迟：Flink CDC 采集数据时，需要通过网络传输数据。网络延迟可能会影响采集速度。
  针对这些问题，可以尝试以下优化方法：
4. 优化 Oracle 数据库性能：检查 Oracle 数据库的性能，例如 CPU、内存和磁盘空间使用情况，以及是否有其他应用程序在同时访问数据库。可以考虑对 Oracle 数据库进行优化，例如调整 SQL 查询、创建索引、优化表结构等。
5. 调整 Flink CDC 配置：尝试调整 Flink CDC 的配置参数，如增加batch.size、减小fields.delimited和field.delimiter的值。这些参数的调整可能会提高采集速度，但也可能增加 Flink 任务的内存消耗。因此，需要根据实际情况进行调整。
6. 优化网络环境：检查网络连接，确保网络延迟较低。可以尝试调整采集任务所在的机器，使其更接近 Oracle 数据库服务器，以减少网络延迟。
2023-10-23 08:05:46

赞同展开评论打赏