AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

Flink CDC这个问题怎么解决？

Flink CDC这个问题怎么解决？
82c88e8e354291a25b3d4bcaee6893ca.png
我这里配置是这样的，为啥提交sql 任务的时候，还是出现
74cd0f340defc50c87337258a544e89d.png

展开
收起
十一0204 2023-08-09 09:57:59 96 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
  • 算精通
    北京阿里云ACE会长

    根据错误日志,这个问题可能是Flink checkpoint持久化失败导致的。

    一些解决方案:

    检查状态后端(如RocksDB)目录是否有读写权限

    调整checkpoint参数,如并发数、超时时间等

    使用未对齐检查点降低checkpoint压力

    启用RocksDB压缩可以减小checkpoint数据量

    设置更大的RocksDB block大小

    检查任务是否有状态倾斜问题

    简化状态只检查关键字段

    升级RocksDB/Flink版本在兼容性

    调整任务并发数或者并行度

    使用异步IO缓解IO压力

    建议从checkpoint参数、状态后端性能、任务部署等角度进行优化。

    可以通过打印checkpoint细节排查原因,如IO等待等指标。

    2023-08-10 23:23:00
    赞同 展开评论
  • 意中人jswy
    意中人就是我呀！

    如果开启uk不能这样设置。此回答整理至钉群“Flink CDC 社区”。

    2023-08-09 12:18:06
    赞同 展开评论
问答分类：
SQL 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版CDC 实时计算 Flink版怎么解决 实时计算 Flink版cdc怎么解决
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
Flink CDC中oracle 出现这个问题，怎么解决？
95
1
0
我这边有个flink job周末一直在报GC频繁，然后oom ，然后连接异常，被判定失联，怎么解决？
421
2
0
在Flink我配置的这种，报错了，怎么解决？
954
3
0
在Flink CDC中想用mysql connector 结果不知道哪里冲突了 请问这个要怎么解决？
76
1
0
flink sql在关联多个动态表时,运行一两天就会崩掉，报checkpoint超时，怎么解决？
167
1
0
跑flink程序的时候报这样的错误怎么解决？
273
1
0
Flink CDC里规划设计 基于yarn-session怎么解决？
78
0
0
Flink执行没问题，也没有报错日志，但kafka查了没有数据；怎么解决？
723
5
0
在Flink我配置cats，从mysql到starrocks上的同步任务的报错，怎么解决？
193
2
0
Flink CDC中，目前是在测试环境跑，出现这个问题怎么解决？
234
2
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • Mysql基础学习day03
  • Mysql基础学习day02-作业
  • MyBatis 的映射关系
  • healenium+python+selenium
  • SkyWalking10.2.0使用指南

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • flink-CDC-3.0 mysql to doris 数据同步任务 经常报错
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • 在斗鱼，实时计算发展的历程如何？
  • flink的1cu是指1cpu还是1cpu+4g存储？
  • Flink-CDC 文档网站地址是什么？
  • Flink CDC中，有哪位大佬有flink 版本和cdc版本的适配统计啊？
  • Flink CDC里用jdbc往达梦dm8推数据，老是显示字符被截断是咋回事？有人碰到过嘛？
    • 展开全部
  • 基于Flink的实时日志分析系统实践
  • 【阿里内部应用】基于Blink为新商业调控打造实时大数据交互查询服务
  • Flink SQL 功能解密系列 —— 解决热点问题的大杀器MiniBatch
  • Apache Flink 零基础入门（三）：DataStream API 编程
  • Flink入坑指南 第四章：SQL中的经典操作Group By+Agg
  • 一文带你了解 Flink Forward 柏林站全部重点内容
  • Apache Flink 进阶（四）：Flink on Yarn/K8s 原理剖析及实践
  • Flink CDC：新一代实时数据集成框架
  • Flink 基础详解：大数据处理的强大引擎
  • Flink CDC：基于 Apache Flink 的流式数据集成框架
    • 展开全部
    还有其他疑问?
    咨询AI助理