AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】EasyMapReduce：利用Spark与Docker以MapReduce方式赋能大规模科学工具

2017-02-20 2121
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Marco Cappucini在Spark Summit East 2017上的演讲，主要介绍了如何通过借助Spark和Docker在分布式数据集上使串行软件能够并行运行，瑞典的Uppsala大学开发了基于Spark的能够以MapReduce方式运行Docker容器的实用程序EasyMapReduce，分享了面对处理大型分布式数据集的挑战，EasyMapReduce是如何帮助实现科学研究的。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Marco Cappucini在Spark Summit East 2017上的演讲，主要介绍了如何通过借助Spark和Docker在分布式数据集上使串行软件能够并行运行，瑞典的Uppsala大学开发了基于Spark的能够以MapReduce方式运行Docker容器的实用程序EasyMapReduce，分享了面对处理大型分布式数据集的挑战，EasyMapReduce是如何帮助实现科学研究的。


3605343545beca061c0f404a4af150ae4840a099

be3199a17b672efebdfee45a8cb2fa890fd29dd8

5175b014f7dc6c10cd8a3c3099eb1eb956a7fb6b

da6ba9ca2a1b32e049b3a787425f6d0064b9a30b

8b7a1297105de90a5c5994665cc83cca9c1d850e

f7e4f6e92d345ac0d5d0147293c873fd467d2113

69af4cf4b019ea25ce4304b0ffabb8804ab4652c

cc73d00aa0e849e85782be5ef655b2e6d617eed0

96575b94df5ba37c61af90c9484af35072180765

a45a3aaa0572f4167e3c6b43b449534146b51bc1

bd614777b69089e743bbc1603d50a0a9eac9e2eb

5746f5f02662fbedf4e4aa16fb13e853b6d2d84a

34cd3036b502e1d071652d8de0a3cb65203f1624

9bbee4438781f4907d97126afa04f4d2cd9db005

866c7f64ebfdfd996551ebaaa9611d76f92b859c

43bd783643bc4f356f363d30b58ef01b5d3dec18

cd95d6b2ebb0dd81d64e35b1d6738d5f7881b2af

af384cf1fe01984791bf027cfb4024be35e3362e

51f13b919d47082b6894192b8173ae0ab614c444

9cbc69a6f362adbc77ba45e5e95b3f36d3525644

abb1ae5a1adba2471a8252addd533b39364f4d47

d27ad33c525cc13eedb4835dd621778c46104c33

826ed410a1a264fcdeb23ff69bdb649b933ae6a0

文章标签：
容器
分布式计算
大数据
Spark
Docker
MaxCompute
关键词：
Docker工具
apache spark Mapreduce
spark mapreduce
mapreduce大规模
mapreduce spark
小猫吃鱼569
目录
相关文章
小白学大数据
|
3月前
|
数据采集 分布式计算 Hadoop
使用Hadoop MapReduce进行大规模数据爬取
使用Hadoop MapReduce进行大规模数据爬取
小白学大数据
72 1
程序员朱永胜
|
分布式计算 大数据 Spark
基于Docker搭建大数据集群（四）Spark部署
基于Docker搭建大数据集群（四）Spark部署
程序员朱永胜
302 1
一-白
|
9月前
|
机器学习/深度学习 分布式计算 并行计算
MapReduce是一种用于并行计算的编程模型和处理大规模数据集的实现
MapReduce是一种用于并行计算的编程模型和处理大规模数据集的实现
一-白
119 0
程序员欣宸
|
分布式计算 Java Linux
docker下，极速搭建spark集群(含hdfs集群)
搭建spark和hdfs的集群环境会消耗一些时间和精力，今天咱们就借助docker，极速搭建和体验spark和hdfs的集群环境
程序员欣宸
767 0
docker下，极速搭建spark集群(含hdfs集群)
程序员欣宸
|
分布式计算 Java 大数据
docker下的spark集群，调整参数榨干硬件
调整docker-compose编排的参数，充分发挥硬件信息能运行spark集群
程序员欣宸
311 0
docker下的spark集群，调整参数榨干硬件
邵奈一2018
|
分布式计算 Ubuntu Hadoop
D001.8 Docker搭建Spark集群（实践篇）
环境及资源准备; 生成容器; 检验Hadoop与Spark
邵奈一2018
528 0
D001.8 Docker搭建Spark集群（实践篇）
程序员对白
|
存储 分布式计算 监控
基于Docker一键部署大规模Hadoop集群及设计思路
基于Docker一键部署大规模Hadoop集群及设计思路
程序员对白
1203 0
基于Docker一键部署大规模Hadoop集群及设计思路
阿里云E-MapReduce团队
|
SQL 人工智能 分布式计算
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
超乎你想象的干货合集打包带走！
阿里云E-MapReduce团队
22695 0
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
阿里云E-MapReduce团队
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
935 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
阿里云E-MapReduce团队
1655 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题

热门文章

最新文章

  • 1
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
  • 2
    美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
  • 3
    基于云服务器的数仓搭建-hive/spark安装
  • 4
    如何在IDE中通过Spark操作Hive
  • 5
    【赵渝强老师】Spark的容错机制：检查点
  • 6
    【赵渝强老师】Spark RDD的缓存机制
  • 7
    基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
  • 8
    Docker Desktop 4.38 安装与配置全流程指南（Windows平台）
  • 9
    ubuntu22 编译安装docker，和docker容器方式安装 deepseek
  • 10
    Docker部署RocketMQ5.2.0集群
  • 1
    Spark 与 MapReduce 的 Shuffle 的区别？
    87
  • 2
    使用Hadoop MapReduce进行大规模数据爬取
    72
  • 3
    大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
    127
  • 4
    Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
    183
  • 5
    Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
    75
  • 6
    Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
    112
  • 7
    Hadoop-11-MapReduce JOIN 操作的Java实现 Driver Mapper Reducer具体实现逻辑 模拟SQL进行联表操作
    75
  • 8
    Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
    166
  • 9
    Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
    85
  • 10
    Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
    92

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段

    • 相关电子书

    更多
  • 云HBaseSQL及分析 ——Phoenix&Spark
  • R AND SPARK
  • Spark Autotuning

    • 相关实验场景

    更多
  • 搭建Hadoop环境
  • 通过workbench远程登录ECS，快速搭建Docker环境
  • Docker镜像管理快速入门
  • Docker安装和配置
  • 容器的共享网络模型
  • 容器的启动和操作

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
    • 下一篇
    阿里云负载均衡SLB版本CLB、ALB和NLB有什么区别如何选择？