开发者社区> 问答> 正文

解释Hadoop的核心组件

解释Hadoop的核心组件

展开
收起
问问小秘 2019-11-07 16:47:10 729 0
1 条回答
写回答
取消 提交回答
  • Hadoop是一个开源框架,用于以分布式方式存储和处理大数据。Hadoop的核心组件是 -

    HDFS(Hadoop分布式文件系统) - HDFS是Hadoop的基本存储系统。在商用硬件集群上运行的大型数据文件存储在HDFS中。即使硬件出现故障,它也能以可靠的方式存储数据。 image.png Hadoop的核心组件

    Hadoop MapReduce - MapReduce是负责数据处理的Hadoop层。它编写了一个应用程序来处理存储在HDFS中的非结构化和结构化数据。它负责通过将数据划分为独立任务来并行处理大量数据。处理分两个阶段完成Map和Reduce。Map是指定复杂逻辑代码的第一个处理阶段,Reduce是指定轻量级操作的第二阶段处理。 YARN - Hadoop中的处理框架是YARN。它用于资源管理并提供多种数据处理引擎,即数据科学,实时流和批处理。

    2019-11-07 16:47:34
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多