What is Apache Hadoop?

简介:

本文来自:自译+百度
Apache Hadoop 是一款可靠、可升级、分布式计算的开源软件。
Apache Hadoop 的开源软件库是专门为处理跨大数据簇而设计的处理模型族。它主要被设计用来按比例从一个到成千上万的无服务平均的分配计算任务和内存。而不是依靠硬件提供高可用性,库本身的目的是检测和处理应用层的故障,因此再一组计算机上提供高可用性服务,每一台计算机都容易出现故障。
这个项目包括这些模型:
Hadoop Common:支持其它Hadoop模块的通用实用程序。
Hadoop Distributed File System(HDFS):提供对应用程序数据的高通量访问的分布式文件系统。
Hadoop YARN:作业调度与集群资源管理框架。
Hadoop MapReduce:基于线性的大数据量并行处理系统。
Apache 中的其它与Hadoop相关的项目包括:
Ambari:一个基于网络的工具、配置、管理、监控Apache的Hadoop集群包括Hadoop HDFSHiveHCatalogHBaseZooKeeperOoziePig and Sqoop.Ambari还提供了一个仪表板查看集群健康如热图和查看MapReduce能力,Pig和Hive应用视觉和功能,一个用户友好的方式其性能诊断。
Avro:数据序列化系统。
Cassandra:无单点故障的可扩展多主数据库。
ChukWa:一个用于管理大型分布式系统的数据采集系统。
HBase:一个可扩展的,支持结构化数据存储的大型分布式数据库。
Hive:数据仓库的基础设施,提供数据汇总和专案查询。
Mahout:一个可扩展的机器学习和数据挖掘库。
Pig:高级数据流语言和执行框架的并行计算。
Spark:快速和通用计算的Hadoop数据引擎。Spark提供了一个简单而富有表现力的比那成模型,支持多种应用,包括ETL, 机器学习,数据流处理,图形计算。
Tez:广义数据流变成框架,建立在Hadoop之上,他提供了一个强大灵活的引擎来执行任务的任意DAG为批处理和交互式的使用情况数据的过程。Tez采用Hadoopd的生态系统,在Pig等框架和其它的商业软件中渠道MapReduce Hadoop作为执行表的存在。
ZooKeeper:分布式应用的高性能的协调服务。

目录
相关文章
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
164 3
|
分布式计算 固态存储 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)1
Apache Doris Broker快速体验之Hadoop安装部署(1)1
285 0
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用:Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
292 0
|
分布式计算 Hadoop
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
186 5
|
分布式计算 资源调度 Hadoop
Apache Hadoop入门指南:搭建分布式大数据处理平台
【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用,并引导初学者了解Hadoop的基本概念、核心组件(HDFS、YARN、MapReduce)及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境,学习者可掌握基本操作。此外,文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性,旨在为读者提供Hadoop入门指导,助其踏入大数据处理的旅程。
1278 0
|
资源调度 分布式计算 Hadoop
Apache Hadoop YARN基本架构
【2月更文挑战第24天】
|
存储 分布式计算 Apache
✨[hadoop3.x]新一代的存储格式Apache Arrow(四)
✨[hadoop3.x]新一代的存储格式Apache Arrow(四)
186 1
|
SQL 分布式计算 安全
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
559 0
|
XML 分布式计算 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)2
Apache Doris Broker快速体验之Hadoop安装部署(1)2
314 0

相关实验场景

更多

推荐镜像

更多