AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】从Spark中学会的问题解决秘诀

2017-02-12 1583
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Stavros kontopoulos与Justin Pihony在Spark Summit EU 2016上的演讲，在演讲中他们分享了内存空间不足问题（OOM）、该方法不存在问题、大小混乱问题以及安全的流恢复问题，以及如何使用Spark解决相应的问题。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Stavros kontopoulos与Justin Pihony在Spark Summit EU 2016上的演讲，在演讲中他们分享了内存空间不足问题（OOM）、该方法不存在问题、大小混乱问题以及安全的流恢复问题，以及如何使用Spark解决相应的问题。


852a5a09cacf5bf42f3670023cfb3d2f9571ad26

756a58df9f2f3d09dc04564166dec87fb3694333

a970fa1ffb228a41770059a524ea18afac770069

c8d4c87495ce14bc6cb320caa8f157be2bf48379

17da206a30ce8ffc1d8e1886d6af0dbca1fe8f21

41295c16522d9533db64693d7e150b2c4d08a190

978af033297b5459442d76e9e48b4f232dc05357

159b4fc6461223dfd02e33a8c720f97fe6fcb100

ceeab560c46e6a35a1e35dd1ca9f18d805788cc6

fdaf8387759c86d287ae2a1af55c27e811ebd527

8ae10648c27f9058bdcc90cf3c2468a0c67797ec

0c76b07f897539eb769d304706f12bb68407cd05

1f59f71d0a866b244694783b9059c4bd7b4f403c

83005e2c4891589d4a363716c65ed122c222c3a8

26fffe4ebf89233b40cbd3e52aaadd781dab8052

fc2b32b6535d82d16bf8fa52ddf951a426a16530

730ba21381239760b8dae4aa51057b742ccd9bb5

91a1f4f43f7b6591bb7098e9a17e03e5f21e2fa2

9965a9315f9be2acb462183ff60866108fbc1a10

14d54f46761751f8e7a280172304e2bfce618ede

4c2030f78c179f22f22262cae20277518ce6726f

e3a8e28c21dc97fd65dd40b55dd31a73b0466428

199cd4926f6c1a7a9906b477edd460815cd290b8

31feb1160fa26284754dff7bc5195d98305970d7

150d5a012c625dc7f7d57d5aac5f64cd0b664023

551014176d88ec7f643703df052e8a6d20ad564b

322fbbd6dd3d5b8e9ec0e1e9312b5a4bc79236f7

aaf9fd083e5cbb85270faada11cdd8299e232cd3

909c344090dede8e3bdd508c9a1c20231de3234b

d7a78ec80da965685c2336c65ccb7134e83b4272

24a44589f58a60b9d569ccae2f49162bac51004e

c3ee5fa2037830992a8a5d21d51a62be96283b68

f8daa32741ecffb8f02ba3dd08ea523bbead6bb7

85158982f7a0c518d0879476d8a12214523bcb89

f226f60d93e0af63b27d4c480b062a101de4d326

08bc26663c33b31e4ef07450f410fc181e8764e4

df9b4377341c3e9dfd8308f48fbbe6de61aa5346

019991d2e7f56b4beb67a9b66d6aa2da6487f05e

261c07ba8d66473067ce386b6cce5c7a3cbe79df

4c4146ae102b5bed5db5ceea20c2a5683a1b14b7

722a07220a56150d3e0a28898f1ef5f66b6f2b23

59328f111cf2cce38187b9d3bd10f28c662a53f7

545b3e02c810fa51a82814e129b5e141648b56c8

eb840635c334b319593e98ba6a18531b9ce7f213

文章标签：
安全
分布式计算
Spark
大数据
MaxCompute
关键词：
apache spark summit
apache spark summit eu
小猫吃鱼569
目录
相关文章
开源大数据EMR
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即，Apache Spark 中国技术交流社区在此诚邀各位，代表国内开发者选择您最希望听到的主题，届时社区将联合国内顶尖技术专家一一展开中文形式分享。
开源大数据EMR
1105 0
Spark + AI Summit 2020 中文议题有奖征集
阿里云E-MapReduce团队
|
SQL 人工智能 分布式计算
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
超乎你想象的干货合集打包带走！
阿里云E-MapReduce团队
22661 0
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
阿里云E-MapReduce团队
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
916 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
阿里云E-MapReduce团队
1617 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
阿里云E-MapReduce团队
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
阿里云E-MapReduce团队
2204 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
阿里云E-MapReduce团队
|
SQL 人工智能 缓存
Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾，Photon 引擎首次曝光
在Spark + AI Summit 2020上， Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰，在性能上大幅超越 Presto。在过去几年，我们见过了太多的 benchmark，大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心，可谓及时雨。
阿里云E-MapReduce团队
2547 0
Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾，Photon 引擎首次曝光
阿里云E-MapReduce团队
|
机器学习/深度学习 人工智能 分布式计算
Spark + AI summit 2019北美技术峰会华丽落幕
本次SAIC含盖了数据工程与数据科学的内容，包括AI产品化的最佳实践案例分享：超大数据规模下，利用流数据处理确保训练数据更新的时效性，完成数据质量监控，测试以及数据模型服务。也有对流行的软件框架如TensorFlow，SciKit-Learn，Keras，PyTorch，DeepLearning4J，BigDL以及Deep Learning Pipelines等，分别进行深入的主题分享探讨。
阿里云E-MapReduce团队
1237 0
寒凝雪
|
机器学习/深度学习 分布式计算 大数据
Spark Summit EU重头戏：TensorFlow、结构化的流和GPU硬件加速
寒凝雪
1533 0
小猫吃鱼569
|
分布式计算 Hadoop 流计算
【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块
本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验，演讲的内容非常简单易懂并且非常有趣，在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。
小猫吃鱼569
2493 0
小猫吃鱼569
|
分布式计算 安全 Hadoop
【Hadoop Summit Tokyo 2016】Apache Spark & Apache Zeppelin的安全状态
本讲义出自Vinay Shukla在Hadoop Summit Tokyo 2016上的演讲，主要介绍了 Spark的安全体系、以及YARN AM上的Spark驱动以及Kerberos身份验证等相关内容，最后还介绍了SparkSQL的相关内容。
小猫吃鱼569
2930 0

热门文章

最新文章

  • 1
    [Spark][Python]Mapping Single Rows to Multiple Pairs
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    Spark Job的提交与task本地化分析（源码阅读八）
  • 4
    spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
  • 5
    Spark-spark streaming
  • 6
    Spark-构建基于Spark的推荐引擎
  • 7
    Spark PruneDependency 依赖关系 RangePartitioner
  • 8
    Spark Master启动源码分析
  • 9
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 10
    Spark编程语言选择：Scala、Java和Python
  • 1
    DAG（有向无环图）在Spark中的应用
    404
  • 2
    scala-spark中的groupby、like等的用法
    209
  • 3
    spark执行sql的原理是什么
    114
  • 4
    容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
    84
  • 5
    spark用于分析数据并将数据保存到数据库中是
    65
  • 6
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    84
  • 7
    如何解决Spark在深度学习中的资源消耗问题？
    83
  • 8
    Spark在深度学习中的优缺点是什么？
    218
  • 9
    使用Spark进行机器学习
    63
  • 10
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    116

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月