分层次讲解
最底层平台 ------->hdfs yarn mapreduce spark
应用层-------->hbase hive pig sparkSQL nutch
工具类-------->zookeeper flume
后续继续更新！
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5680237.html，如需转载请自行联系原作者
Hadoop概念学习系列之hadoop生态系统闲谈（二十五）
2017-11-15
1189
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
5月前
|
分布式计算
Hadoop
数据挖掘
|
5月前
|
分布式计算
Hadoop
分布式数据库
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
164
2
2
|
28天前
|
分布式计算
Hadoop
大数据
大数据体系知识学习（一）：PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的，主要介绍了Apache Spark的基本概念、特点、组件，以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码，帮助读者搭建和测试大数据环境。
50
1
1
|
1月前
|
SQL
分布式计算
Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
32
4
4
|
1月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
33
2
2
|
1月前
|
分布式计算
Hadoop
Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
40
1
1
|
1月前
|
存储
SQL
消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
45
0
0
|
3月前
|
存储
SQL
分布式计算
Hadoop生态系统概述：构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能，Hadoop将继续在大数据时代发挥重要作用。
149
3
3
|
3月前
|
存储
分布式计算
Hadoop
|
3月前
|
存储
分布式计算
资源调度
Hadoop生态系统概览：从HDFS到Spark
【8月更文第28天】Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。它由多个组件构成，旨在提供高可靠性、高可扩展性和成本效益的数据处理解决方案。本文将介绍Hadoop的核心组件，包括HDFS、MapReduce、YARN，并探讨它们如何与现代大数据处理工具如Spark集成。
195
0
0
热门文章
最新文章
1
Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
2
通过java api提交自定义hadoop 作业
3
CDH5.4.7安装Hadoop集群安装主机失败
4
spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
5
Hadoop 2.x本地库native lib及如何源码编译
6
【centos6.5 hadoop2.7 _64位一键安装脚本】有问题加我Q直接问
7
linux下安装hadoop步骤
8
发布Apache Hadoop 2.6.0——异构存储，长时间运行的服务与滚动升级支持
9
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
10
Hadoop 2.x HDFS和YARN的启动方式
1
Apache Hadoop YARN基本架构
87
2
hadoop模块
63
3
使用Hadoop和Nutch构建音频爬虫：实现数据收集与分析
95
4
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
142
5
百度搜索：蓝易云【Ubuntu搭建全分布式Hadoop】
58
6
hadoop升级流程
177
7
使用Sqoop将数据从Hadoop导出到关系型数据库
244
8
使用Sqoop将数据导入Hadoop的详细教程
349
9
Hadoop和Hive中的数据倾斜问题及其解决方案
106
10
Hadoop生态各个组件的关系
62