MapReduce简单概述

简介: MapReduce简单概述

分布式计算框架-MapReduce

image.png

 

MapReduce是分散->汇总模式的分布式计算框架,可供开发人员开发相关程序进行分布式数据计算

MapReduce提供了2个编程接口

Map

Reduce

其中

Map功能接口提供了“分散”的功能,由服务器分布式对数据进行处理

Reduce功能接口提供了“汇总(聚合)”的功能,将分布式的处理结果汇总统计

用户如需使用MapReducue框架完成自定义需求的程序开发

只需要使用javapython等编程语言,实现Map Reduce功能接口即可

 

MapReduce的运行机制

将要执行的需求,分解为多个Map TaskReduce Tack    Tack任务的意思)

Map Task Reduce分配到对应的服务器去执行

 

image.png

 

 

目录
相关文章
|
分布式计算 资源调度 Hadoop
Hadoop基础学习---5、MapReduce概述和WordCount实操(本地运行和集群运行)、Hadoop序列化
Hadoop基础学习---5、MapReduce概述和WordCount实操(本地运行和集群运行)、Hadoop序列化
|
分布式计算 资源调度 Java
Hadoop中的MapReduce概述、优缺点、核心思想、编程规范、进程、官方WordCount源码、提交到集群测试、常用数据序列化类型、WordCount案例实操
Hadoop中的MapReduce概述、优缺点、核心思想、编程规范、进程、官方WordCount源码、提交到集群测试、常用数据序列化类型、WordCount案例实操
Hadoop中的MapReduce概述、优缺点、核心思想、编程规范、进程、官方WordCount源码、提交到集群测试、常用数据序列化类型、WordCount案例实操
|
分布式计算 资源调度 Hadoop
|
存储 SQL 运维
阿里云 E-MapReduce ClickHouse 操作指南 01期 — ClickHouse 概述
阿里云 E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。
阿里云 E-MapReduce ClickHouse 操作指南 01期 — ClickHouse 概述
|
分布式计算 Hadoop 数据挖掘
MapReduce 概述| 学习笔记
快速学习 MapReduce 概述
103 0
|
分布式计算 Hadoop Java
|
分布式计算 Hadoop 大数据
一分钟了解阿里云产品:E-MapReduce概述
  阿里云有很多出色的产品,今天让我们来一起了解下E-MapReduce吧。   什么是E-MapReduce呢?   简单来说,E-MapReduce是构建于阿里云ECS弹性虚拟机之上,运行在阿里云平台上的一种大数据处理系统解决方案。它能够让用户将Apache Hadoop和Apache
7144 0
|
14天前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
61 3