开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink oracle cdc 会打印很多这种无关的表,如果表多的话这里会比较耗时,有遇到的吗?

flink oracle cdc 会打印很多这种无关的表,如果表多的话这里会比较耗时,有遇到的朋友吗?364de58257d8c0163e80cb59fc3610d3.png

展开
收起
真的很搞笑 2023-10-23 14:55:27 43 0
1 条回答
写回答
取消 提交回答
  • 确实,Flink CDC Oracle连接器在处理大量表的时候可能会打印很多无关的表,这会消耗一定的时间。你可以尝试以下方法来解决这个问题:

    1. 在创建Flink CDC连接时,通过在table-name参数中指定需要同步的表名,这样只有指定的表才会被同步,可以避免无关表的打印。例如:

      create table TEST (A string) WITH ('connector'='oracle-cdc', 'hostname'='10.230.179.125', 'port'='1521', 'username'='myname', 'password'='***', 'database-name'='MY_SERVICE_NAME', 'schema-name'='MY_SCHEMA', 'table-name'='TEST' );
      
    2. 调整Flink日志级别。可以通过修改Flink应用程序的日志配置文件(如log4j.properties或logback.xml),将Flink CDC连接器的日志级别设置为ERROR或WARN,这样只会打印错误和警告信息,减少无关表的打印输出。

    2023-10-24 09:53:11
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像