实时计算 Flink版产品使用合集之实时同步的任务一般是放到什么当中执行的-阿里云开发者社区

实时计算 Flink版产品使用合集之实时同步的任务一般是放到什么当中执行的

2024-05-23 88

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

实时计算 Flink 版，1000CU*H 3个月

简介： 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一：Flink CDC用timestamp模式启动的cdc任务，然后没有采集数据，tm日志一直打印这个？

Flink CDC用timestamp模式启动的cdc任务，然后没有采集数据，tm日志一直打印这个？

参考答案：

按照timestamp模式启动，会读取binlog日志文件进行过滤到你的时间戳所对应的时间开始拿数据

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582233

问题二：Flink CDC这个如果改成mysql要怎么配置？

Flink CDC这个如果改成mysql要怎么配置？可以分享一下MySQL2MySQL的yaml文件

参考答案：

不支持的哈

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582231

问题三：Flink CDC实时同步的任务一般也是放到yarn中执行吗？

Flink CDC实时同步的任务一般也是放到yarn中执行吗？

参考答案：

一般放在k8s里面，一个job一个资源，yarn applicaiton mode也一样

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582229

问题四：Flink CDC中snapshot.mode需要配置成initial？

Flink CDC中snapshot.mode需要配置成initial？

参考答案：

看下这个，

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582228

问题五：用Flink CDC2.1版本的时候，有没有方式可以程序重启后只读增量的，通过开启增量检查点能行吗？

用Flink CDC2.1版本的时候，发现无论怎么改snapshot.mode的值，程序重启还是会读一遍快照，有没有方式可以程序重启后只读增量的，通过开启增量检查点能行吗？

参考答案：

重启需要从savepoint启动哦

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582226

相关实践学习

基于Hologres+Flink搭建GitHub实时数据大屏

通过使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（以DataV为例），实现海量数据实时分析.

实时计算 Flink 实战课程

如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 极客训练营产品、技术专家齐上阵，从开源 Flink功能介绍到实时计算 Flink 优势详解，现场实操，5天即可上手！欢迎开通实时计算 Flink 版： https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍： Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与，一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况，Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。