开发者社区> 问答> 正文

数据湖的方案架构有哪些?

数据湖的方案架构有哪些?

展开
收起
游客qzzytmszf3zhq 2021-12-09 19:45:12 514 0
1 条回答
写回答
取消 提交回答
  • 数据源:原始数据存储模块,包括结构化数据(Database等)、半结构化(File、日志等)、非结构化(音视频等); 数据集成:为了将数据统一到数据湖存储及管理,目前数据集成主要分为三种形态外表关联、ETL、异步元数据构建; 数据湖存储:目前业界数据湖存储包括对象存储以及自建HDFS。随着云原生的演进,对象存储在扩展性、成本、免运维有大量的优化,目前客户更多的选择云原生对象存储作为数据湖存储底座,而不是自建HDFS。 元数据管理:元数据管理,作为连接数据集成、存储和分析引擎的总线; 数据分析引擎:目前有丰富的分析引擎,比如Spark、Hadoop、Presto等。

    2021-12-09 20:00:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载
青团社云原生架构实践—亿级灵活用工平台的架构实践 立即下载