开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这个可以打印 但是就是sink不进去?

Flink CDC这个可以打印 但是就是sink不进去?5cb60f5a76b0c0d7ef72ccf1fe47a53c.png

展开
收起
真的很搞笑 2024-01-07 16:43:22 93 0
3 条回答
写回答
取消 提交回答
  • 如果Flink CDC可以正常打印输出,但是数据无法正确sink到目标端,可能的原因包括:

    1. 数据库连接问题:检查你的数据库连接信息是否正确,如数据库地址、端口、用户名和密码等。确认这些信息无误后,再进行尝试。
    2. 表结构问题:确认sink端的表结构和Flink CDC读取的源表结构是否一致,如果不一致可能会导致数据无法正确写入。
    3. 参数配置问题:检查Flink作业的相关参数配置是否正确,例如并行度、窗口大小等,错误的参数配置可能会影响数据的接收速度和准确性。
    4. 版本兼容问题:确保你使用的Flink和Flink MySQL connector的版本是兼容的。版本不匹配可能会导致一些预期外的问题。
    5. 对于特定的错误信息,例如"Replication slot is active"或"Lock wait timeout exceeded"等,需要根据具体的错误提示来解决相应的问题。
    2024-01-09 11:17:37
    赞同 展开评论 打赏
  • taskmanager.heap.size 和 jobmanager.heap.size 这两个参数你改改看 ,此回答整理自钉群“Flink CDC 社区”

    2024-01-07 19:25:08
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据您提供的截图内容,看起来像是Flink CDC任务运行时遇到了一个问题,具体来说是在执行某个操作后触发了一个警告级别的提示:“Memory usage [12%] is too high to satisfy all of the requests”。这意味着Flink的任务试图使用的内存量超过了实际可利用的数量,从而可能导致性能下降甚至失败。

    要解决这个问题,您可以考虑以下几个方面:

    1. 检查并优化代码逻辑,看看是否有地方存在不必要的计算或者其他消耗大量内存的操作;
    2. 在提交作业的时候,适当调小map task数或者reduce task数,这样会减小单个task所占用的内存空间;
    3. 对于大数据量的应用场景,可以通过分批处理的方式将大任务拆分成多个子任务,然后逐次完成;

    对于第二个问题,从输出结果来看,似乎是一个Python脚本的交互式命令行界面。在这个界面上,你可以看到一些变量赋值的结果,比如 aaa:20> {"name": "2", "id": 2, "uuuu": "2"} 这一行显示了字典类型的一个键值对结构。如果你想要查看其他的内容,可以在输入框中继续输入相应的指令即可。

    2024-01-07 16:51:24
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 覃立辉 立即下载
    Flink CDC Meetup PPT - 孙家宝 立即下载
    Flink CDC Meetup PPT - 徐榜江 立即下载