开发者社区 问答 正文

hello 大佬们, 问下flink cdc table落地到hudi table, 数据的有序

hello 大佬们, 问下flink cdc table落地到hudi table, 数据的有序性有保障吗?我使用的connector是 tidb-cdc

展开
收起
真的很搞笑 2023-04-19 18:20:55 206 分享 版权
1 条回答
写回答
取消 提交回答
  • 资深技术专家。主攻技术开发,擅长分享、写文、测评。

    使用Flink CDC将数据落地到Hudi表时,数据的有序性是有一定的保障的,但具体还要考虑以下几个因素:

    Flink CDC的顺序保证:Flink CDC会按照源表中数据的变化顺序将数据发送到下游的Hudi表。这意味着,对于源表中的每个变更操作(如插入、更新、删除),Flink CDC会确保按照变更的顺序将其应用到Hudi表。

    CDC源端顺序:如果您使用的是TiDB-CDC作为Flink CDC的数据源,TiDB-CDC本身会保证数据变更的顺序。TiDB-CDC会将源表中的数据变更按照其在源表上的时间顺序进行抓取和传输,从而保证了数据的有序性。

    Hudi的写入顺序:在将数据写入Hudi表时,Hudi本身会保证写入的顺序性。Hudi会按照数据的主键或分区键进行排序,并确保按照指定的顺序将数据写入相应的分区和文件。

    2023-06-28 22:24:00
    赞同 展开评论