请问一个问题,数据通过flink cdc读mysql写入ods层的hudi表,然后再将事实表和维度表-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

请问一个问题,数据通过flink cdc读mysql写入ods层的hudi表,然后再将事实表和维度表

来自:阿里云实时计算Flink 2022-08-09 14:15:04 111 1

请问一个问题,数据通过flink cdc读mysql写入ods层的hudi表,然后再将事实表和维度表合并写入dwd层的hudi表。我发现ods层的数据量是对的,dwd层一开始新增数据时,数据量是对的,但维表有变更时,mor表数据量变少了、cow表数据量是对的。请问这个mor表数据量少的问题应该怎么排查呢?谢谢2799问.png

取消 提交回答
全部回答(1)
  • 游客mvss26javcocs
    2022-08-09 14:38:31

    维表变更是指修改某条记录的属性值,并不删除维度表记录。(此答案整理自Flink CDC 社区)

    0 0
相关问答

1

回答

flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

2021-12-07 15:36:50 688浏览量 回答数 1

1

回答

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s

2021-12-07 16:06:16 358浏览量 回答数 1

1

回答

使用 Canal 同步 MySQL 数据至 TiDB中数据的流动经过哪些组件?

2021-12-07 20:05:14 177浏览量 回答数 1

1

回答

flink 1.13.1 通过yarn-application运行批应用,处理mysql源一亿条数据

2021-12-08 09:57:10 378浏览量 回答数 1

1

回答

flink1.11 mysql cdc checkpoint 失败后程序自动恢复,同步数据出现重复

2021-12-08 11:19:01 521浏览量 回答数 1

1

回答

flink,50000条数据写入mysql太慢怎么办啊,除了多线程还有其他方法吗,已经是批量写入了

2021-12-08 12:12:21 788浏览量 回答数 1

1

回答

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s

2021-12-06 15:30:01 475浏览量 回答数 1

1

回答

flink数据sink到mysql 是事务处理怎么解决?

2021-12-06 20:40:48 646浏览量 回答数 1

1

回答

sqoop在导入数据到mysql中,如何不重复导入数据,如果存在数据问题,sqoop如何处理?

2021-12-05 17:12:23 225浏览量 回答数 1

1

回答

flinksql1.11长时间没有数据写入mysql,出问题

2021-12-06 12:30:12 772浏览量 回答数 1
0
文章
3763
问答
来源圈子
更多
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
+ 订阅
相关文档: 实时计算(流计算)
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载