Flink CDC里hudi和paimon哪个更好?我搜到的资料paimon性能更好,但是hudi支持的普遍更多,比如click house可以直接支持,而且paimon刚出不久,真想用paimon,有人用paimon上过生产吗?
根据对比测试,Apache Paimon和Hudi两款数据湖产品在Flink CDC中各有优势。从写入性能来看,当使用数据MOR(写时复制)方式写入时,Paimon的Flink写入性能是Hudi的4倍;而在使用数据COW(写时拷贝)方式写入时,这个差距更是扩大到了10倍以上。此外,查询性能方面,Paimon同样表现出色,其查询性能达到Hudi的10倍甚至20倍。另一方面,尽管Hudi支持更广泛,如可以直接支持clickhouse等,但根据一些反馈,由于Hudi可能遗留大量未合并的数据,这可能导致其读取性能较差。
值得注意的是,Paimon作为一个新项目,虽然已经获得了Apache孵化器的支持并得到了广泛关注,但在生产环境中的使用案例还不多。因此,如果你考虑在生产环境中使用Paimon,建议仔细进行压力测试和评估,确保它能满足你的业务需求。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。