AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】EasyMapReduce：利用Spark与Docker以MapReduce方式赋能大规模科学工具

2017-02-20 2111
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Marco Cappucini在Spark Summit East 2017上的演讲，主要介绍了如何通过借助Spark和Docker在分布式数据集上使串行软件能够并行运行，瑞典的Uppsala大学开发了基于Spark的能够以MapReduce方式运行Docker容器的实用程序EasyMapReduce，分享了面对处理大型分布式数据集的挑战，EasyMapReduce是如何帮助实现科学研究的。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Marco Cappucini在Spark Summit East 2017上的演讲，主要介绍了如何通过借助Spark和Docker在分布式数据集上使串行软件能够并行运行，瑞典的Uppsala大学开发了基于Spark的能够以MapReduce方式运行Docker容器的实用程序EasyMapReduce，分享了面对处理大型分布式数据集的挑战，EasyMapReduce是如何帮助实现科学研究的。


3605343545beca061c0f404a4af150ae4840a099

be3199a17b672efebdfee45a8cb2fa890fd29dd8

5175b014f7dc6c10cd8a3c3099eb1eb956a7fb6b

da6ba9ca2a1b32e049b3a787425f6d0064b9a30b

8b7a1297105de90a5c5994665cc83cca9c1d850e

f7e4f6e92d345ac0d5d0147293c873fd467d2113

69af4cf4b019ea25ce4304b0ffabb8804ab4652c

cc73d00aa0e849e85782be5ef655b2e6d617eed0

96575b94df5ba37c61af90c9484af35072180765

a45a3aaa0572f4167e3c6b43b449534146b51bc1

bd614777b69089e743bbc1603d50a0a9eac9e2eb

5746f5f02662fbedf4e4aa16fb13e853b6d2d84a

34cd3036b502e1d071652d8de0a3cb65203f1624

9bbee4438781f4907d97126afa04f4d2cd9db005

866c7f64ebfdfd996551ebaaa9611d76f92b859c

43bd783643bc4f356f363d30b58ef01b5d3dec18

cd95d6b2ebb0dd81d64e35b1d6738d5f7881b2af

af384cf1fe01984791bf027cfb4024be35e3362e

51f13b919d47082b6894192b8173ae0ab614c444

9cbc69a6f362adbc77ba45e5e95b3f36d3525644

abb1ae5a1adba2471a8252addd533b39364f4d47

d27ad33c525cc13eedb4835dd621778c46104c33

826ed410a1a264fcdeb23ff69bdb649b933ae6a0

文章标签：
容器
分布式计算
大数据
Spark
Docker
MaxCompute
关键词：
Docker工具
apache spark Mapreduce
spark mapreduce
mapreduce spark
apache spark大规模
小猫吃鱼569
目录
相关文章
江湖有缘
|
10天前
|
SQL 关系型数据库 数据库
国产数据实战之docker部署MyWebSQL数据库管理工具
【10月更文挑战第23天】国产数据实战之docker部署MyWebSQL数据库管理工具
江湖有缘
47 4
国产数据实战之docker部署MyWebSQL数据库管理工具
yuanzhengme
|
7天前
|
存储 缓存 Kubernetes
docker的替代工具有哪些？
【10月更文挑战第28天】docker的替代工具有哪些？
yuanzhengme
38 1
叮叮当当就是我
|
18天前
|
运维 监控 数据可视化
Docker容器可视化管理工具 - WGCLOUD基础介绍
WGCLOUD是新一代运维监测平台，它可以监控Docker容器的各种性能数据，比如内存，cpu，Image，运行时间，运行状态，端口映射等信息
叮叮当当就是我
45 2
尹正杰
|
2月前
|
Ubuntu Linux pouch
Docker容器管理工具
文章介绍了Docker容器管理工具，以及早期使用的LXC容器管理工具，包括它们的安装、使用和相关技术特点。
尹正杰
74 10
Docker容器管理工具
江湖有缘
|
3月前
|
安全 Linux 网络安全
Docker部署ssh连接工具webssh2
【8月更文挑战第2天】Docker部署ssh连接工具webssh2
江湖有缘
262 6
Docker部署ssh连接工具webssh2
六月的雨在钉钉
|
4月前
|
弹性计算 分布式计算 Serverless
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
【7月更文挑战第6天】全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
六月的雨在钉钉
23704 42
热爱技术的小郑
|
3月前
|
NoSQL 数据可视化 Linux
一文教会你如何在Linux系统中使用Docker安装Redis 、以及如何使用可视化工具连接【详细过程+图解】
这篇文章详细介绍了如何在Linux系统中使用Docker安装Redis，并提供了使用可视化工具连接Redis的步骤。内容包括安装Redis镜像、创建外部配置文件、映射文件和端口、启动和测试Redis实例、配置数据持久化存储，以及使用可视化工具连接和操作Redis数据库的过程。
热爱技术的小郑
583 0
江湖有缘
|
4月前
|
测试技术 Linux Docker
【好玩的开源项目】Docker部署cook菜谱工具
【7月更文挑战第19天】Docker部署cook菜谱工具
江湖有缘
61 1
小空门123-30335
|
4月前
|
Docker Python 容器
容器化技术，特别是Docker，已经成为现代软件开发和部署的重要工具。
容器化技术，特别是Docker，已经成为现代软件开发和部署的重要工具。
小空门123-30335
90 7
小余大牛成长记
|
4月前
|
监控 数据可视化 Linux
使用Portainer图形化工具轻松管理远程Docker环境并实现远程访问
使用Portainer图形化工具轻松管理远程Docker环境并实现远程访问
小余大牛成长记
125 1

热门文章

最新文章

  • 1
    阿里云上搭建Docker Swarm模式集群最佳实践
  • 2
    docker基础知识之挂载本地目录的方法
  • 3
    Docker容器使用问题：Failed to get D-Bus connection: Operation not permitted
  • 4
    docker~大叔对术语的解释
  • 5
    gitlab+jenkins+maven+docker持续集成（八）——jenkins用户组权限对应不同视图
  • 6
    还在用Alpine作为你Docker的Python开发基础镜像？其实Ubuntu更好一点
  • 7
    Docker删除容器日志
  • 8
    Docker查看映射卷报错
  • 9
    ECS使用体验 —— 元宇宙放映室构想 | vue | lingo3d | express | docker
  • 10
    虚拟化技术—docker容器—Dockerfile篇
  • 1
    E-MapReduce Serverless Spark体验评测
    297
  • 2
    MapReduce编程模型——自定义序列化类实现多指标统计
    41
  • 3
    MapReduce编程模型——在idea里面邂逅CDH MapReduce
    82
  • 4
    YARN支持哪些非基于MapReduce的计算模型？
    66
  • 5
    MapReduce是一种用于并行计算的编程模型和处理大规模数据集的实现
    69
  • 6
    Hadoop生态系统详解：HDFS与MapReduce编程
    193
  • 7
    Hadoop MapReduce编程
    62
  • 8
    简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行
    55
  • 9
    【大数据】MapReduce JAVA API编程实践及适用场景介绍
    119
  • 10
    【大数据】计算引擎MapReduce
    114

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 搭建Hadoop环境
  • 通过workbench远程登录ECS，快速搭建Docker环境
  • Docker镜像管理快速入门
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
  • Docker安装和配置
  • 容器的启动和操作

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • alpine
    • 下一篇
    DataWorks售前咨询