Flink CDC有个cdc的场景需求，有没有好的方案？
Flink CDC有个cdc的场景需求，
1、上游mysql是同一个实例、同一个库下的三张不同结构的表
2、下游是一张hudi表。考虑基于表名和时间做分区
3、hudi表的时间分区字段来自于三张mysql表的不同字段
4、使用flinksql实现。
请问：有没有好的方案，将读到的三张mysql表的数据，使用JSON给包起来，hudi表事件分区字段来自于不同表的不同字段，事件分区来自于表名？
展开
收起
2
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。为了实现 Flink CDC 将不同结构的表中的数据整合在一起，并基于表名和时间对 Hudi 表进行分区，可以采用以下方法：
- 数据转换：使用 map 或 filter 函数将不同结构的数据整理成相同的结构。
- JSON 包装：可以将不同结构的数据打包到 JSON 对象中，以便后续的处理。
- 时间分区：提取 JSON 中的时间字段，并使用 Hudi 的动态分区功能实现事件分区。
- 封装为表：将 JSON 对象封装为表，便于后续的存储。
2023-11-11 14:57:09赞同 展开评论 打赏 -
将读到的三张表的数据，使用 json 包起来，本身就不是flinkCDC sql 模式能做的，sql 模式下只能做单表，使用 stream 模式，可以满足你这个需求。sql模式如果支持自定义deserializer 就可以。，此回答整理自钉群“Flink CDC 社区”
2023-11-08 07:42:37赞同 展开评论 打赏
问答地址：
开发者社区
>
大数据与机器学习
>
实时计算 Flink
>
问答
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
Caused by: org.apache.kafka.common.errors.TimeoutE
2841
flink怎么能够快速消费kafka数据，需要设置什么参数呢？
1017
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
2983
flink 消费kafka,之前任务正常的，突然有个分区没法消费了，重启下任务久正常了？
610
Flink CDC 能适配达梦不？
967
Flink的tmp的这个目录产生临时文件很大，我想配置到外面，有配置项可以配置吗？
652
Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
1427
Slot request bulk is not fulfillable，20以上job同时部署失败
348
在Flink CDC中人大金仓可以兼容PG的wal2json和Decoderbufs插件不？
225
请问如何用flink sql客户端用yarn application模式提交任务呢？
1177
展开全部
分布式Snapshot和Flink Checkpointing简介
19910
使用 Kafka 和 Flink 构建实时数据处理系统
12670
Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
9659
Apache Flink 进阶（八）：详解 Metrics 原理与实战
6194
必看！Apache Flink 运维&实战系列直播，揭秘生产环境技术难点
3754
用Flink取代Spark Streaming！知乎实时数仓架构演进
4505
百万TPS高吞吐、秒级低延迟，阿里搜索离线平台如何实现？
1444
从开发到生产上线，如何确定集群规划大小?
1268
Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
104032
实时计算 Flink版操作报错之遇到错误org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc'，该如何解决
760
展开全部
相关课程
更多
相关电子书
更多
