开发者社区 问答 正文

为什么选择Flink和Hudi作为增量化方案的核心组件?

为什么选择Flink和Hudi作为增量化方案的核心组件?

展开
收起
迪哒迪滴喵 2024-08-13 19:06:36 56 发布于天津 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 选择Flink作为计算引擎是因为其checkpoint机制是天然的增量化机制,可以高效地处理增量数据。而选择Hudi作为存储引擎,是因为它能支持update操作,具备一定的数据布局能力,且能优化HDFS的小文件问题,适合处理日志和binlog等数据源。image.png

    2024-08-13 21:47:26 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等