hadoop整体结构图及服务组件详解

简介: hadoop服务组件简单解释 1、core  分布式系统和通用IO组件和接口(序列化、java远程调用等等服务) 2、avro  支持跨语言过程调用,持久数据存储的数据序列化系统 3、MapReduce  构建在廉价的pc机器上分布式数据处理模型和运行环境 4、hdfs  构建廉价的pc机器上分布式文件系统 5、pig  处理海量数据集的数据流语
hadoop服务组件简单解释
1、core  分布式系统和通用IO组件和接口(序列化、java远程调用等等服务)
2、avro  支持跨语言过程调用,持久数据存储的数据序列化系统
3、MapReduce  构建在廉价的pc机器上分布式数据处理模型和运行环境
4、hdfs  构建廉价的pc机器上分布式文件系统
5、pig  处理海量数据集的数据流语言和运行环境 ,pig运行在HDFS和MapReduce之上
6、HBase  分布式面向列的数据库 ,HBase使用HDFS作为底层存储, 同时使用MapReduce支持批处理模式的计算机和随机查询
7、 Zookeeper  提供分布式、高效的协作服务以及分布式锁这样的原子操作、可以用来构建分布式应用
8、hive  分布式数据仓库 、 Hive使用Hdfs存储数据,提供类似sql的语句(转换为MapReduce任务) 查询数据
9、chukwa  分布式数据采集和分析系统  、 使用HDFS 存储数据 、 使用MapReduce输出分析报告

目录
相关文章
|
存储 分布式计算 资源调度
Hadoop 三大组件及作用【重要】
Hadoop 三大组件及作用【重要】
361 0
|
7月前
|
存储 分布式计算 负载均衡
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
243 0
|
1月前
|
SQL 分布式计算 Hadoop
【赵渝强老师】Hadoop生态圈组件
本文介绍了Hadoop生态圈的主要组件及其关系,包括HDFS、HBase、MapReduce与Yarn、Hive与Pig、Sqoop与Flume、ZooKeeper和HUE。每个组件的功能和作用都进行了简要说明,帮助读者更好地理解Hadoop生态系统。文中还附有图表和视频讲解,以便更直观地展示这些组件的交互方式。
165 5
|
2月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
66 2
|
4月前
|
存储 分布式计算 Hadoop
Hadoop 的两个主要组件是什么?
【8月更文挑战第12天】
706 4
Hadoop 的两个主要组件是什么?
|
4月前
|
存储 分布式计算 资源调度
什么是Hadoop及其组件?
【8月更文挑战第31天】
310 0
|
5月前
|
分布式计算 资源调度 安全
Hadoop停止所有Hadoop服务
【7月更文挑战第20天】
163 2
|
6月前
|
存储 分布式计算 大数据
Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
|
6月前
|
SQL 消息中间件 分布式计算
Hadoop生态圈组件及其作用
Hadoop生态圈组件及其作用
|
7月前
|
分布式计算 Hadoop 容器
Hadoop组件版本不兼容
【5月更文挑战第7天】Hadoop组件版本不兼容
81 3

相关实验场景

更多