AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】EasyMapReduce：利用Spark与Docker以MapReduce方式赋能大规模科学工具

2017-02-20 2322
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Marco Cappucini在Spark Summit East 2017上的演讲，主要介绍了如何通过借助Spark和Docker在分布式数据集上使串行软件能够并行运行，瑞典的Uppsala大学开发了基于Spark的能够以MapReduce方式运行Docker容器的实用程序EasyMapReduce，分享了面对处理大型分布式数据集的挑战，EasyMapReduce是如何帮助实现科学研究的。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Marco Cappucini在Spark Summit East 2017上的演讲，主要介绍了如何通过借助Spark和Docker在分布式数据集上使串行软件能够并行运行，瑞典的Uppsala大学开发了基于Spark的能够以MapReduce方式运行Docker容器的实用程序EasyMapReduce，分享了面对处理大型分布式数据集的挑战，EasyMapReduce是如何帮助实现科学研究的。


3605343545beca061c0f404a4af150ae4840a099

be3199a17b672efebdfee45a8cb2fa890fd29dd8

5175b014f7dc6c10cd8a3c3099eb1eb956a7fb6b

da6ba9ca2a1b32e049b3a787425f6d0064b9a30b

8b7a1297105de90a5c5994665cc83cca9c1d850e

f7e4f6e92d345ac0d5d0147293c873fd467d2113

69af4cf4b019ea25ce4304b0ffabb8804ab4652c

cc73d00aa0e849e85782be5ef655b2e6d617eed0

96575b94df5ba37c61af90c9484af35072180765

a45a3aaa0572f4167e3c6b43b449534146b51bc1

bd614777b69089e743bbc1603d50a0a9eac9e2eb

5746f5f02662fbedf4e4aa16fb13e853b6d2d84a

34cd3036b502e1d071652d8de0a3cb65203f1624

9bbee4438781f4907d97126afa04f4d2cd9db005

866c7f64ebfdfd996551ebaaa9611d76f92b859c

43bd783643bc4f356f363d30b58ef01b5d3dec18

cd95d6b2ebb0dd81d64e35b1d6738d5f7881b2af

af384cf1fe01984791bf027cfb4024be35e3362e

51f13b919d47082b6894192b8173ae0ab614c444

9cbc69a6f362adbc77ba45e5e95b3f36d3525644

abb1ae5a1adba2471a8252addd533b39364f4d47

d27ad33c525cc13eedb4835dd621778c46104c33

826ed410a1a264fcdeb23ff69bdb649b933ae6a0

文章标签：
容器
分布式计算
大数据
Spark
Docker
MaxCompute
小猫吃鱼569
目录
相关文章
sunyalei
|
Prometheus 监控 Cloud Native
除了Prometheus，还有哪些工具可以监控Docker Swarm集群的资源使用情况？
除了Prometheus，还有哪些工具可以监控Docker Swarm集群的资源使用情况？
sunyalei
1097 79
玻璃蛙
|
关系型数据库 MySQL Linux
事项驱动的项目管理工具Dectask的Docker安装教程
Dectask是智能驱动的新一代项目协作工具，本人介绍其Docker安装教程。
玻璃蛙
334 2
修己xj
|
前端开发 数据安全/隐私保护 计算机视觉
MAZANOKE:一款隐私优先的浏览器图像优化工具及Docker部署指南
MAZANOKE 是一款简易的图片优化工具，它直接在浏览器中运行，支持离线使用，并确保您的图片始终保留在设备上，绝不外泄。 这款专为普通人设计的工具，适合与亲友分享使用，是那些来路不明的"免费"在线工具的可靠替代品。
修己xj
648 1
MAZANOKE:一款隐私优先的浏览器图像优化工具及Docker部署指南
赵渝强老师
|
存储 数据可视化 数据安全/隐私保护
【赵渝强老师】Docker的图形化管理工具
本文介绍了三种主流的Docker图形化管理工具：Docker UI、Portainer和Shipyard。Docker UI（现名UI for Docker）适合初学者，支持容器管理并可显示容器关系图；Portainer轻量级且功能全面，支持单机与集群管理；Shipyard专注于多主机集群管理，提供镜像、容器及节点管理功能，并包含engine和rethinkdb两个核心组件。文中还通过图文结合的方式展示了各工具的安装与使用方法。
赵渝强老师
1302 5
【赵渝强老师】Docker的图形化管理工具
蓝易云
|
NoSQL Redis Docker
使用Docker Compose工具进行容器编排的教程
以上就是使用Docker Compose进行容器编排的基础操作。这能帮你更有效地在本地或者在服务器上部署和管理多容器应用。
蓝易云
940 11
蚝油菜花
|
人工智能 文字识别 安全
Stirling-PDF：51.4K Star！用Docker部署私有PDF工作站，支持50多种PDF操作，从此告别在线工具
Stirling-PDF 是一款基于 Docker 的本地化 PDF 编辑工具，支持 50 多种 PDF 操作，包括合并、拆分、转换、压缩等，同时提供多语言支持和企业级功能，满足个人和企业用户的多样化需求。
蚝油菜花
1719 6
Stirling-PDF：51.4K Star！用Docker部署私有PDF工作站，支持50多种PDF操作，从此告别在线工具
dotNative
|
存储 开发工具 开发者
揭秘 Microsoft.Docker.SDK：让容器开发更轻松的强大工具揭秘
随着云计算和容器技术的快速发展，`Docker` 已经成为容器化技术的事实标准。`Microsoft` 作为 `Docker` 的主要支持者和参与者，推出了 `Microsoft.Docker.SDK`，旨在帮助开发者更轻松地进行容器开发。本文将深入揭秘 Microsoft.Docker.SDK 的功能、使用方法以及它在容器开发中的应用。
dotNative
506 13
竹相_左小空空
|
开发工具 虚拟化 git
自学软硬件第755 docker容器虚拟化技术youtube视频下载工具
docker容器虚拟化技术有什么用？怎么使用？TubeTube 项目使用youtube视频下载工具
竹相_左小空空
823 13
aliyun3944920541
|
存储 监控 C++
11 个必备 Docker 工具
11 个必备 Docker 工具
aliyun3944920541
3155 11
11 个必备 Docker 工具
江湖有缘
|
SQL 关系型数据库 数据库
国产数据实战之docker部署MyWebSQL数据库管理工具
【10月更文挑战第23天】国产数据实战之docker部署MyWebSQL数据库管理工具
江湖有缘
1263 4
国产数据实战之docker部署MyWebSQL数据库管理工具

热门文章

最新文章

  • 1
    MapReduce 不适合处理实时数据的原因剖析
  • 2
    hive在E-MapReduce集群的实践（一）hive异常排查入门
  • 3
    《Hadoop与大数据挖掘》——2.5　K-Means算法原理及Hadoop MapReduce实现
  • 4
    开源深度学习库BigDL在阿里云E-MapReduce上的实践
  • 5
    从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL
  • 6
    MaxCompute（原ODPS） MapReduce常见问题解答
  • 7
    Hadoop， Hadoop涉及到的一些常见概念（分布式与集群、HDFS、MapReduce等），Hadoop怎么用？
  • 8
    阿里云E-MapReduce集群-开源Ldap密码不安全问题解决方案
  • 9
    【大数据计算】(三) MapReduce的安装和基础编程
  • 10
    通过Job Committer保证Mapreduce/Spark任务数据一致性
  • 1
    在虚拟机Docker环境下部署Nginx的步骤。
    519
  • 2
    手把手教你使用 Docker 部署 Nginx 教程
    4500
  • 3
    n8n Docker 部署手册
    4106
  • 4
    【Docker】（3）学习Docker中 镜像与容器数据卷、映射关系！手把手带你安装 MySql主从同步 和 Redis三主三从集群！并且进行主从切换与扩容操作，还有分析 哈希分区 等知识点！
    1048
  • 5
    【Docker】（2）还在浏览网页寻找Docker命令？本文全面列举与使用Docker里的各个命令！想要什么命令直接从本文拿！
    980
  • 6
    【Docker】（1）Docker的概述与架构，手把手带你安装Docker，云原生路上不可缺少的一门技术！
    865
  • 7
    【赵渝强老师】Docker容器的资源管理机制
    986
  • 8
    手把手教你用 Docker 部署 Redis
    3058
  • 9
    如何在Kubernetes环境下使用第三方监控系统监控Docker容器性能？
    1275
  • 10
    如何使用第三方监控系统监控Docker容器性能？
    990

    • 相关课程

    更多
  • 基于Docker与Jenkins实现自动化部署
  • Docker 快速入门
  • Docker完全自学手册图文教程
  • AI开发者的Docker实践
  • 大数据实时计算框架Spark快速入门
  • Docker 入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！