更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。
本讲义出自Sim Simeonov在Spark Summit East 2017上的演讲，主要介绍了Spark工作中的三个防弹原则以及他们的系统原则和设计模式。这三个原则分别是：幂等性、行级结构化日志以及不变的查询结构。
【Spark Summit East 2017】Bulletproof Jobs：大规模Spark处理模式
2017-02-18
1668
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Sim Simeonov在Spark Summit East 2017上的演讲，主要介绍了Spark工作中的三个防弹原则以及他们的系统原则和设计模式。这三个原则分别是：幂等性、行级结构化日志以及不变的查询结构。
目录
相关文章
|
7月前
|
分布式计算
大数据
数据处理
Apache Spark：提升大规模数据处理效率的秘籍
【4月更文挑战第7天】本文介绍了Apache Spark的大数据处理优势和核心特性，包括内存计算、RDD、一站式解决方案。分享了Spark实战技巧，如选择部署模式、优化作业执行流程、管理内存与磁盘、Spark SQL优化及监控调优工具的使用。通过这些秘籍，可以提升大规模数据处理效率，发挥Spark在实际项目中的潜力。
593
0
0
|
2月前
|
分布式计算
Kubernetes
Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
199
6
6
|
2月前
|
分布式计算
资源调度
Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
86
2
2
|
4月前
|
分布式计算
资源调度
大数据
【决战大数据之巅】：Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决！
【8月更文挑战第7天】随着大数据需求的增长，Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务，易于设置，适用于小规模或独立部署；而 YARN 作为 Hadoop 的资源管理系统，支持资源的统一管理和调度，更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
283
3
3
|
5月前
|
弹性计算
分布式计算
Serverless
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
【7月更文挑战第6天】全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
23733
42
43
|
5月前
|
SQL
弹性计算
资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS（Elastic Compute Service）是各大云服务商阿里云提供的一种基础云计算服务，它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
79
7
7
|
5月前
|
SQL
分布式计算
大数据
MaxCompute操作报错合集之 Spark Local模式启动报错，是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务，用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时，可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
81
4
4
|
6月前
|
存储
分布式计算
监控
|
7月前
|
机器学习/深度学习
分布式计算
数据处理
|
7月前
|
分布式计算
资源调度
调度
热门文章
最新文章
1
Spark-spark streaming
2
Spark PruneDependency 依赖关系 RangePartitioner
3
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
4
利用闪存优化在Cosco基础上的Spark Shuffle
5
Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
6
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
7
Spark Shell入门教程（上）
8
【大数据架构】Apache Flink和Apache Spark—比较指南
9
Spark Stage切分 源码剖析——DAGScheduler
10
领英如何应对Apache Spark的Scalability挑战
1
spark用于分析数据并将数据保存到数据库中是
78
2
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
100
3
如何解决Spark在深度学习中的资源消耗问题？
96
4
Spark在深度学习中的优缺点是什么？
271
5
使用Spark进行机器学习
92
6
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
153
7
【Spark】Spark基础教程知识点
96
8
DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
191
9
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
156
10
MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
89