关于hadoop

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: hadoop 是什么? 1. 适合海量数据的分布式存储与计算平台。 海量: 是指 1T 以上数据。 分布式: 任务分配到多态虚拟机上进行计算。   2. 多个任务是怎么被分配到多个虚拟机当中的? 分配是需要网络通讯的。

hadoop 是什么?

1. 适合海量数据分布式存储计算平台。

海量: 是指 1T 以上数据。

分布式: 任务分配到多态虚拟机上进行计算。

 

2. 多个任务是怎么被分配到多个虚拟机当中的?

分配是需要网络通讯的。而且是需要启动资源 或者 消耗一些硬件上的配置。

单 JVM 关注的如何『处理』,而不是交给其他人进行处理这个 『管理』的过程。  所以最开始有两个关键的字  『适合』,

只有当数据量超过 1T 的大数据处理才能凸显 hadoop 的优势;    当然,用 hadoop 处理 几十G、几百G 这种小数据也是可以的,只是体现不了 hadoop的优势罢了,从硬件的角度,从效率的角度都是不太值得的。

 

3.Hadoop Ecosystem Map   Hadoop生态系统图

 

博客讲解:  http://www.cnblogs.com/zlslch/p/5080439.html

image

像其他框架一样,hadoop 也是分层的,  序号③  ⑤ 就是 hadoop 中重要的组成, HDFS 负责数据存储。MapReduce 是海量数据的分布式计算框架。

Structured Data(hiho, sqoop) 是 hadoop 中对传统数据和 hadoop中数据相互转化的工具。传统数据库中的数据可以导入到 hadoop中。hadoop中的数据也可以导入到传统的关系型数据库中。

HBASE 是 hadoop中用的最多和最重要的子项目之一。当然它也是构建于 MapReduce 和 HDFS 之上的。不过 HBASE 可以不基于 HDFS ,只是如果不基于 HDFS时就无法使用 MapReduce 计算框架了。是处理大数据读写操作的,尤其适合一些大型在线系统。

大数据有两层含义:第一层含义,大数据有自己的构造形态,key-value方式。  另外一层含义,就是大家理解的海量数据。 之所以能成为 大数据 是因为 他是  key-value的构建方式。

 

 

 

HDFS


HDFS: Hadoop Distributed File System 分布式文件系统

文件系统  是一套接口,一套平台。是用于管理文件的存储与操作的。

HDFS文件系统,是用于管理分布式文件的存储与操作的HDFS 就为我们提供了一套机制,让海量数据能够分布在不同的计算机上。他提供 言外知音就是 我们不用关心数据是怎么存储的, HDFS 负责存储这件事情。这是我们使用 hadoop 的一个重要的原因,他帮我们屏蔽掉一些分布式操作的一些细节。

 

MapReduce


MapReduce  : 并行计算框架

分布式系统中有很多台机器,每一台机器存储数据的一部分,我们使用 hadoop 之所以能够很快的计算得出结果,原因很简单 我们计算的代码会在不同的机器上运行, 每一台机器完成计算的一部分,因为每台机器上存储的只是我数据的一部分。多台机器并行计算。然后把计算结果收集过来得出最终的结果。这是Hadoop 之所以块的根源。所以 MapReduce 是我们要研究非常重要的核心,  HDFS 的操作是hadoop 框架屏蔽掉的,所以我们主要是去学习怎么去使用它。作为开发而言,聚焦到核心的核心,肯定是 MapReduce。 因为 MapReduce 是计算框架。也就是说数据已经存储了,我怎么计算它,这在任何一个框架中都是一个比较核心的问题。当然也是最有技术含量的问题。所以 如果学习hadoop 的话,有必要详细研究 MapReduce 的架构、使用、源代码等等所有的核心环节。

开始做,坚持做,重复做
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop 2.0 与 Hadoop 1.x 有何不同?
【8月更文挑战第12天】
104 4
|
存储 分布式计算 资源调度
Hadoop构成
Hadoop构成
43 0
|
存储 分布式计算 大数据
|
分布式计算 资源调度 Hadoop
|
存储 分布式计算 Hadoop
Hadoop The First Day!!!
Hadoop MapReduce
1419 0
|
分布式计算 监控 Hadoop
|
分布式计算 资源调度 监控
|
存储 分布式计算 大数据
|
SQL 分布式计算 大数据

相关实验场景

更多