开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里hudi和paimon哪个更好?

Flink CDC里hudi和paimon哪个更好?我搜到的资料paimon性能更好,但是hudi支持的普遍更多,比如click house可以直接支持,而且paimon刚出不久,真想用paimon,有人用paimon上过生产吗?

展开
收起
小小鹿鹿鹿 2024-01-17 23:51:07 593 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据对比测试,Apache Paimon和Hudi两款数据湖产品在Flink CDC中各有优势。从写入性能来看,当使用数据MOR(写时复制)方式写入时,Paimon的Flink写入性能是Hudi的4倍;而在使用数据COW(写时拷贝)方式写入时,这个差距更是扩大到了10倍以上。此外,查询性能方面,Paimon同样表现出色,其查询性能达到Hudi的10倍甚至20倍。另一方面,尽管Hudi支持更广泛,如可以直接支持clickhouse等,但根据一些反馈,由于Hudi可能遗留大量未合并的数据,这可能导致其读取性能较差。

    值得注意的是,Paimon作为一个新项目,虽然已经获得了Apache孵化器的支持并得到了广泛关注,但在生产环境中的使用案例还不多。因此,如果你考虑在生产环境中使用Paimon,建议仔细进行压力测试和评估,确保它能满足你的业务需求。

    2024-01-18 14:33:18
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载