开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里我写了一个look up hint 没有生效,怎么办?

Flink CDC里我写了一个look up hint 没有生效,,flink 版本1.16 ,不知道啥原因?517d305874b60752d7d2431369c28ba9.png

展开
收起
小小鹿鹿鹿 2024-01-18 01:42:23 35 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果你在Flink CDC中写了一个look up hint但没有生效,你可以尝试以下几种方法:

    1. 检查你的look up hint是否正确。确保你在正确的表和字段上使用了look up hint,并且hint的值是正确的。

    2. 检查你的Flink版本是否支持look up hint。Flink CDC的look up hint是在Flink 1.13版本中引入的,如果你使用的是更早的版本,可能不支持这个功能。

    3. 检查你的Flink配置。确保你的Flink配置中包含了look up hint的相关设置。例如,你需要在flink-conf.yaml文件中添加以下配置:

    table.execution.arrow.max-records-per-batch: 1000
    table.execution.arrow.max-records-per-stream: 1000
    table.execution.arrow.max-records-per-user-buffer: 1000
    table.execution.arrow.min-batch-size: 0
    table.execution.arrow.min-num-rows-for-batch: 0
    table.execution.arrow.min-partition-size: 0
    table.execution.arrow.partition-size: 1048576
    table.execution.arrow.preferred-buffer-size: 134217728
    table.execution.arrow.row-based-output-format: true
    table.execution.arrow.use-memory-mapped-buffers: false
    table.execution.arrow.use-thread-local-buffers: false
    
    1. 如果以上方法都无法解决问题,你可以尝试升级你的Flink版本或者联系Flink社区寻求帮助。
    2024-01-19 15:38:56
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载