开发者社区 问答 正文

Apache Hadoop是什么?

Apache Hadoop是什么?

展开
收起
芯在这 2021-12-07 11:39:50 503 分享 版权
1 条回答
写回答
取消 提交回答
  •  Apache Hadoop是一种专用于批处理的处理框架。Hadoop是首个在开源社区获得极大关注的大数据框架。基于谷歌有关海量数据处理所发表的多篇论文与经验的Hadoop重新实现了相关算法和组件堆栈,让大规模批处理技术变得更易用。

      新版Hadoop包含多个组件,即多个层,通过配合使用可处理批数据:

    HDFS:HDFS是一种分布式文件系统层,可对集群节点间的存储和复制进行协调。HDFS确保了无法避免的节点故障发生后数据依然可用,可将其用作数据来源,可用于存储中间态的处理结果,并可存储计算的最终结果。

    YARN:YARN是Yet Another Resource Negotiator(另一个资源管理器)的缩写,可充当Hadoop堆栈的集群协调组件。该组件负责协调并管理底层资源和调度作业的运行。通过充当集群资源的接口,YARN使得用户能在Hadoop集群中使用比以往的迭代方式运行更多类型的工作负载。

    MapReduce:MapReduce是Hadoop的原生批处理引擎。

    2021-12-07 12:14:02
    赞同 展开评论
问答分类:
问答标签:
问答地址: