开发者社区> 问答> 正文

Hudi 存储模式和视图是什么?

Hudi 存储模式和视图是什么?

展开
收起
芯在这 2021-12-12 11:37:10 461 0
1 条回答
写回答
取消 提交回答
  • 第一个是 Copy On Write 模式,对应到 Hudi 的 COW 表。它是一种侧重低延时的数据查询场景的表,底层使用 Parquet 数据文件存储数据,能够支持快照查询和增量查询两种查询方式。在查询引擎方面,大家可以看到上面有 5 个引擎,他们对快照查询、增量查询和读优化 3 种视图都有不同程度的支持。

    Merge On Read 表对 Copy On Write 有不同层面的互补,可以看到它侧重于快速的数据摄入场景。使用 Parquet 文件来存储具体的数据,使用行式 Avro 增量文件来存储操作日志,类似于 HBase WAL。它支持 Hudi 所有 3 种视图,可以看到 Hive,Spark SQL,Spark Datasource, Presto 和 Impala 对于读优化查询都是支持的。而 Hive, Spark SQL 只支持到了快照查询。 image.png

    2021-12-12 11:37:46
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
HBase2.0重新定义小对象实时存取 立即下载
实战-如何基于HBase构建图片视频数据的统一存储检索方案 立即下载
事务、全局索引、透明分布式 立即下载

相关实验场景

更多