AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】Spark中的容错：从生产实践中获取的经验

2017-02-20 2007
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Jose Soltren在Spark Summit East 2017上的演讲，主要介绍了Spark容错中的螺母和螺栓，他首先简述了Spark中的各种容错机制，然后讨论了YARN上的Spark、调度与资源分配，在演讲中还对于一些用户案例进行了探讨研究并给出了一些需要的工具，最后分享了未来Spark中容错未来的发展方向比如调度器和检查点的变化。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Jose Soltren在Spark Summit East 2017上的演讲，主要介绍了Spark容错中的螺母和螺栓，他首先简述了Spark中的各种容错机制，然后讨论了YARN上的Spark、调度与资源分配，在演讲中还对于一些用户案例进行了探讨研究并给出了一些需要的工具，最后分享了未来Spark中容错未来的发展方向比如调度器和检查点的变化。


eda36212c56a131101de1d93f8388de93d3bcd7f

1bc27318154d3e50eaafc51ba0ccd3ea09eb139d

b486c25feca26c9c9df65ceeff3ab583e27db972

052b9cb7ae278bc92e94ec51ac1addb81b319052

99e29d29550a86908023b807c86e5c68a8833a41

686df38703cefc8673fe1ce7902ddb89f6e30975

e0d5fc459c5cb3b32a9677ef4a45a5ca0b3804e1

852eac129bbcc1e04b97988f66791ceada022a1f

04bd88b6fef6132011d297efce33513596704d4e

858dbea2077386db0570054f25ef8904aabc301c

061d33b2268a781b4ec580706049aab2f67cc005

3cc6ef37f1f171a58d04488868dd066ebec5e03b

826273977cc0d1a01cf84237c4bd84f05b02f359

b35c9991e1e2ce89b6056650ce913bd4a8d9d595

5a7c47c25f86581254b2e38bd2ad57faa3e2831d

695cc106a81a404fcda585ed617fd79a8576f2c5

708cdaee506831f6fdfdfebd8e9e66176443bbca

5b28f643a33c256257a68c5519577c5d8781db9e

d744e673a649527a513d1fb70477427cb1bd6d5b

194325a279f1d472935868ce25df79160355b636

84ae58927d8ad85e673a5d959ece3fadb094cb7e

0468f5a8a050b8be0a09de95a2639b3d9afc29e3

f19314279b84f6537e9343dd76c33827753abdde

f55462edabdf8a94447d0653237de0982e98b4b7

a3f650eb01f3304861bd13cb2c4b1b81daf20715

文章标签：
分布式计算
大数据
Spark
关键词：
apache spark生产
apache spark实践
apache spark容错
apache spark summit
apache spark east
小猫吃鱼569
目录
相关文章
BookSea
|
SQL 分布式计算 Java
Spark入门指南：从基础概念到实践应用全解析
在这个数据驱动的时代，信息的处理和分析变得越来越重要。而在众多的大数据处理框架中， Apache Spark 以其独特的优势脱颖而出。
BookSea
162 0
扬流
|
1月前
|
分布式计算 大数据 Apache
Apache Spark & Paimon Meetup · 北京站，助力 LakeHouse 架构生产落地
2024年11月15日13:30北京市朝阳区阿里中心-望京A座-05F，阿里云 EMR 技术团队联合 Apache Paimon 社区举办 Apache Spark & Paimon meetup，助力企业 LakeHouse 架构生产落地”线下 meetup，欢迎报名参加！
扬流
101 3
扬流
|
5月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例，介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
扬流
430 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
扬流
|
4月前
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务，以实现任务调度和执行的自动化，帮助您更有效地管理数据处理任务。
扬流
224 0
周周的奇妙编程
|
5月前
|
分布式计算 Hadoop Serverless
数据处理的艺术：EMR Serverless Spark实践及应用体验
阿里云EMR Serverless Spark是基于Spark的全托管大数据处理平台，融合云原生弹性与自动化，提供任务全生命周期管理，让数据工程师专注数据分析。它内置高性能Fusion Engine，性能比开源Spark提升200%，并有成本优化的Celeborn服务。支持计算存储分离、OSS-HDFS兼容、DLF元数据管理，实现一站式的开发体验和Serverless资源管理。适用于数据报表、科学项目等场景，简化开发与运维流程。用户可通过阿里云控制台快速配置和体验EMR Serverless Spark服务。
周周的奇妙编程
14797 2
郑小健
|
6月前
|
分布式计算 运维 Serverless
通过Serverless Spark提交PySpark流任务的实践体验
EMR Serverless Spark服务是阿里云推出的一种全托管、一站式的数据计算平台，旨在简化大数据计算的工作流程，让用户更加专注于数据分析和价值提炼，而非基础设施的管理和运维。下面就跟我一起通过Serverless Spark提交PySpark流任务吧。
郑小健
359 1
1941623231718325
|
6月前
|
分布式计算 Spark 大数据
深入探究Apache Spark在大数据处理中的实践应用
【6月更文挑战第2天】Apache Spark是流行的开源大数据处理框架，以其内存计算速度和低延迟脱颖而出。本文涵盖Spark概述、核心组件（包括Spark Core、SQL、Streaming和MLlib）及其在数据预处理、批处理分析、交互式查询、实时处理和机器学习中的应用。通过理解Spark内部机制和实践应用，可提升大数据处理效率，发挥其在各行业的潜力。
1941623231718325
366 3
FrancekChen
|
7月前
|
分布式计算 Shell 开发工具
Spark编程实验二：RDD编程初级实践
Spark编程实验二：RDD编程初级实践
FrancekChen
359 1
热烈的马
|
7月前
|
存储 分布式计算 大数据
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解（图文解释）
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解（图文解释）
热烈的马
465 0
阿里云云原生
|
分布式计算 Kubernetes Serverless
Hago 的 Spark on ACK 实践
Hago 的 Spark on ACK 实践
阿里云云原生
535 0

热门文章

最新文章

  • 1
    Spark Master启动源码分析
  • 2
    Spark-spark streaming
  • 3
    Spark PruneDependency 依赖关系 RangePartitioner
  • 4
    Spark本地环境搭建（local模式）
  • 5
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 6
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 7
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 8
    利用闪存优化在Cosco基础上的Spark Shuffle
  • 9
    Spark Shell入门教程（上）
  • 10
    Spark Stage切分 源码剖析——DAGScheduler
  • 1
    spark用于分析数据并将数据保存到数据库中是
    76
  • 2
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    96
  • 3
    如何解决Spark在深度学习中的资源消耗问题？
    91
  • 4
    Spark在深度学习中的优缺点是什么？
    264
  • 5
    使用Spark进行机器学习
    81
  • 6
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    142
  • 7
    【Spark】Spark基础教程知识点
    91
  • 8
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    177
  • 9
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    149
  • 10
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    84

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    fs.oss.accessKeyId和fs.oss.accessKeySecret。