AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

在Flink CDC中， Flink 1.13.6 的文件系统 checkpoint 模式下？

在Flink CDC中， Flink 1.13.6 的文件系统 checkpoint 模式下，同步记录增加会使 chk-x 目录内的 uuid 格式文件变大，该文件保存了同步的数据记录。尽管数据已同步至数据库，全量同步记录仍存于内存并在ck时持久化，这可能导致taskmanager内存超限而挂掉。有人研究过这个问题吗？image.png

展开
收起
真的很搞笑 2023-12-24 19:34:54 120 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    SinkMaterializer会导致state一直增大，可选关闭，或者直接改用rocksdb状态后端。 此回答整理自钉群“Flink CDC 社区”

    2023-12-25 08:03:21
    赞同 展开评论
问答分类：
流计算 消息中间件 Kafka 数据库 实时计算 Flink版 云数据库 ClickHouse 云消息队列 Kafka 版
问答标签：
实时计算 Flink版模式 实时计算 Flink版CDC 实时计算 Flink版checkpoint 实时计算 Flink版机制 实时计算 Flink版cdc checkpoint
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
flink cdc当sink开启多个parallel tasks后，是否考虑默认加一个机制？
142
1
0
在 Flink 机制中，DFS 如何帮助实现 DSTL 的短期持久化和一致性保证？
71
1
0
Flink中通过MQ的连接器消费数据时有确认机制吗？
108
2
0
对于Flink CDC，有机制能在快照阶段结束后给外部系统发消息吗？
66
1
0
在Flink CDC中binlog 有读取锁的机制吗？
67
0
0
Flink有没有尝试写入数据到hudi，存储在本地文件系统的？
189
5
0
Flink状态机制是什么
63
1
0
Flink CDC这种hook机制，flink有么子？
82
0
0
Flink CDC请教一下这个机制有优化的配置吗？
81
0
0
Flink有没有计划实现这种hook机制？
62
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • 《云原生存储排障：追踪存储孤岛背后的参数适配真相》
  • 如何开发工程项目部管理系统中的质量管理板块（附架构图+流程图+代码参考）
  • 不同业务怎么选服务器？CPU / 内存 / 带宽配置表
  • 服务器核心组件：CPU 与 GPU 的核心区别、应用场景、协同工作
  • 如何开发工程项目部管理系统中的劳务管理板块（附架构图+流程图+代码参考）

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
  • flink的1cu是指1cpu还是1cpu+4g存储？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • Flink-CDC 文档网站地址是什么？
  • 在斗鱼，实时计算发展的历程如何？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • 在Flink CDC中ogg可以做实时同步吗？
  • 我们在使用阿里云flinksql 往clickhouse写数据的时候发现会丢数据或重复数据，怎么办？
  • flink怎么能够快速消费kafka数据，需要设置什么参数呢？
    • 展开全部
  • 流计算精品翻译: The Dataflow Model
  • Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka
  • Apache Flink 零基础入门（五）：流处理核心组件 Time&Window 深度解析
  • Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个？
  • Flink 基础详解：大数据处理的强大引擎
  • Flink CDC：新一代实时数据集成框架
  • Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台
  • 从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
  • Apache Paimon统一大数据湖存储底座
  • Flink SQL 详解：流批一体处理的强大工具
    • 展开全部
    还有其他疑问?
    咨询AI助理