实时计算 Flink版产品使用问题之如何避免任务取消之后,检查点目录直接被删除

简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:我用flinkcdc做update和delete的时候目标库要等10分钟左右才变更,为什么会这么慢?

我用flinkcdc做update和delete的时候目标库要等10分钟左右才会变更,为什么会这么慢啊?跟checkpoint有关系吗?



参考答案:

看看是业务延迟了吗,如果不是,看下checkpoint多久一次,多久一次才做成功。配Oracle参数。 百度一大堆。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/609846



问题二:Flink CDC里问个大数据中间件选型的问题怎么办?

Flink CDC里问个大数据中间件选型的问题怎么办? mysql大概有几万左右,kafka每秒3万条。mysql中的数据有更新,但是不是很频繁。列式存储db可以解决吧,选哪种列式储存呢?



参考答案:

可以放redis;如果你内存充裕,也可以放内存变量中通过广播更新。ck偏向于离线场景。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/609844



问题三:Flink CDC用哪个版本好?升级是自己全部用api重写的同步,还是套用了cdc官方版本?

Flink CDC用哪个版本好?升级是自己全部用api重写的同步,还是套用了cdc官方版本?



参考答案:

我从2.3.0升到3.0.1。3.0.1目前还在测试。重写了部分API。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/609839



问题四:Flink设置了这两个参数,但还是会被清理,只留下元目录,chk-1会被清理,如何解决?

Flink设置了这两个参数,但还是会被清理,只留下元目录,chk-1会被清理?



参考答案:

增量 chk 只保留10个 以前的当然被清理掉



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/609776



问题五:Flink的任务取消之后,检查点目录直接被删除了,该如何避免呢?

Flink的任务取消之后,检查点目录直接被删除了,该如何避免呢?



参考答案:

https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/config/#execution-checkpointing-externalized-checkpoint-retention 这个参数了解一下



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/609775

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
SQL 运维 Java
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
本文介绍了对Flink实时计算编译任务的Koupleless架构改造。为解决进程模型带来的响应慢、资源消耗大等问题,团队将进程模型改为线程模型,并借助Koupleless的类加载隔离能力实现版本和包的隔离。通过动态装配Plugin及其Classpath,以及Biz运行时仅对依赖Plugin可见的设计,大幅优化了编译任务的性能。结果表明,新架构使编译耗时降低50%,吞吐量提升5倍以上。
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
|
Java Shell Maven
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
1110 4
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
617 0
|
SQL 存储 运维
如何降低 Flink 开发和运维成本?阿里云实时计算平台建设实践
本次分享主要介绍阿里云实时计算平台从 2.0 基于 Yarn 的架构到 3.0 云原生时代的演进,以及在 3.0 平台上一些核心功能的建设实践,如健康分,智能诊断,细粒度资源,作业探查以及企业级安全的建设等。
如何降低 Flink 开发和运维成本?阿里云实时计算平台建设实践
|
SQL 存储 分布式计算
汽车之家基于 Flink 的实时计算平台 3.0 建设实践
汽车之家实时计算平台负责人邸星星在 FFA 2021 的分享
汽车之家基于 Flink 的实时计算平台 3.0 建设实践
|
存储 SQL 分布式计算
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践
477 0
|
存储 数据挖掘 Apache
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2)
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2)
532 0
|
SQL 存储 人工智能
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(3)
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(3)
510 0
|
消息中间件 存储 SQL
《Apache Flink 案例集(2022版)》——5.数字化转型——联通-联通实时计算平台演进与实践
《Apache Flink 案例集(2022版)》——5.数字化转型——联通-联通实时计算平台演进与实践
464 0
|
SQL 消息中间件 存储
作业帮基于 Flink 的实时计算平台实践
Flink Forward Asia 2021,作业帮实时计算负责人张迎的分享
作业帮基于 Flink 的实时计算平台实践

相关产品

  • 实时计算 Flink版