实时计算 Flink版产品使用合集之同步SR是否支持加字段-阿里云开发者社区

实时计算 Flink版产品使用合集之同步SR是否支持加字段

2024-05-23 158

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一：flink cdc 3.0可以做 mysql to mysql 的pipeline吗？

flink cdc 3.0可以做 mysql to mysql 的pipeline吗？

参考答案：

目前不可以

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582311

问题二：Flink CDC有没有全量同步orcale到doris的案例？

Flink CDC有没有全量同步orcale到doris的案例？

参考答案：

https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connector/#oracle%E5%A4%9A%E8%A1%A8%E5%90%8C%E6%AD%A5%E7%A4%BA%E4%BE%8B

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582309

问题三：Flink CDC会不会跟作业配置的2个并发有关？

Flink CDC测试下来发现schema change event被重复处理了，会不会跟作业配置的2个并发有关？

参考答案：

并发应该没关系一个事件也只会发往一个task

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582306

问题四：Flink CDC 3.0是不是仅仅实现了MySQL的整库同步？

Flink CDC 3.0是不是仅仅实现了MySQL的整库同步？我看pipeline-connectors里面仅仅实现了MySQL的source另外的两个分别试sink doris和starrocks?

参考答案：

看代码是的 pipeline的source 目前只做了mysql

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582304

问题五：flink cdc 3.0 同步SR不支持加字段么？

flink cdc 3.0 同步SR不支持加字段么？

SR版本是 3.1.5

参考答案：

可以debug 看下对应的事件咋会有两个呢

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/582303

相关实践学习

基于Hologres+Flink搭建GitHub实时数据大屏

通过使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（以DataV为例），实现海量数据实时分析.

实时计算 Flink 实战课程

如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 极客训练营产品、技术专家齐上阵，从开源 Flink功能介绍到实时计算 Flink 优势详解，现场实操，5天即可上手！欢迎开通实时计算 Flink 版： https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍： Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与，一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况，Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。