【Spark Summit EU 2016】使用Java Agent扩展Spark

简介: 本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲,主要介绍了Spark缓存中出现的关于when, what, where的挑战问题以及应对这一挑战使用RDDs的解决算法。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲,主要介绍了Spark缓存中出现的关于when, what, where的挑战问题以及应对这一挑战使用RDDs的解决算法。并介绍了Java Agent的相关内容,如何使用Java Agent来扩展Spark,如何在分布式集群上使用Agent以及Yarn定位服务的相关内容。


02b01d4ee50fbde7370d788dd900ffe55d541d53

69ad10a723475f6075581f517a47a40439abc8a9

ccc0af72567f0308b3cf55895eeeabd43d90862c

158624a96aff94dff97c88304f72ff608812072f

87053a174b92d689d420fc7d1d3537ed01ef5d75

6704e9a1e91c51bf2dedef6c5e4f13b58613ddc5

98d6417c8fece19738b275aeb1209e13a0fb9d42

02025de7e7e4ea121ca012c2835aa22522f0612d

b2d8b2554931769ebae70e0c8dad1a4786855adb


08e69354c36ede3359677a9f7cde75347147bc21

c1296f47ebbd284de7cad9ab7ce6eca6d8175a4f

cc314fa18384d712087afec26a76d29ae7fd699b

db8a3ea4245cf7b2902a2bc77f1b0917bbec6c9e

324396e910af4f89a78011a88f31c5bf60a6a895

8969b9d94ac06d2eacf6fe8a81ee4e4416b42bc8

ca5d8ec30806d5542fe1acdabd9bf5899c25aea1

5fbfc8f72d009f9dbcdb83ca9917bab318d303ce

554a720832de94ef42f7dd986019f42387ea71d9

75dc8cd7187e4decd9f52d0947257b3d4033bfce

269dfca45c8803eec3e139612f2a415073e17fca

e21a0a88becd56a5846acbf9935d288722375b1c

550e2ccba6e741e5c80ec3b77bbd04cd9f530f59

960bda6312c2ccfb0187de8c7c531f1a0a718e04

90ca3d8d4cd87bb7e9a8d029f4809a8f37322ed1

4e5aef7bb9defd6776648da3e1cd76b378fe24fe

aa97b7fbfbb9802fbd4ecb4408b04f5fd412ad0f

1ccaaf0b201e6ffcd4a461327da3a6adba05bdcd

9861a388b6a2ff37e6df5e38bbec483dc809bed3

c2213eba9fb82f4aa5ae45dfd596035d38958e88

26e7a3987858e86eb3fc7122919c8d8b778bebe0

a66ccefe5f65bccf75533af2bfc242558a272b1b

e2b7bcf3543bff7fcec14cc4fe9685a3a9aeb9fd

74498fa7af679c37d12593b1cc0f79591f9817c4

相关文章
|
4月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
82 0
|
4月前
|
分布式计算 Java 大数据
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
161 0
|
7月前
|
设计模式 前端开发 Java
使用Java MVC开发高效、可扩展的Web应用
本文将介绍如何使用Java MVC(Model-View-Controller)模式来开发高效、可扩展的Web应用。我们将深入探讨MVC模式的核心概念,以及如何在Java中实现这一体系结构。通过合理地分离业务逻辑、用户界面和数据处理,我们可以构建出易于维护和扩展的Web应用程序。
|
6月前
|
分布式计算 API 流计算
22MyCat - Spark/Storm 对join扩展(简略)
22MyCat - Spark/Storm 对join扩展(简略)
30 0
|
6月前
|
分布式计算 Java Spark
Spark 启动时,报JAVA_HOME is not set
Spark 启动时,报JAVA_HOME is not set
64 0
|
3月前
|
SQL 分布式计算 测试技术
使用UDF扩展Spark SQL
使用UDF扩展Spark SQL
|
3月前
|
分布式计算 Java Scala
Spark编程语言选择:Scala、Java和Python
Spark编程语言选择:Scala、Java和Python
Spark编程语言选择:Scala、Java和Python
|
4月前
|
SQL 分布式计算 Hadoop
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark:Java大师的大数据研究之旅
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark:Java大师的大数据研究之旅
|
4月前
|
算法 Java
给定一个字符串数组,如何找到其中最长的回文子串? 要求:编写一个Java函数,输入一个字符串数组,输出其中最长的回文子串。要求时间复杂度为O(n^2)。可以考虑使用动态规划或中心扩展的方法来优化算法。
给定一个字符串数组,如何找到其中最长的回文子串? 要求:编写一个Java函数,输入一个字符串数组,输出其中最长的回文子串。要求时间复杂度为O(n^2)。可以考虑使用动态规划或中心扩展的方法来优化算法。
41 1
|
5月前
|
Java
Java接口:实现多重继承,促进代码复用与扩展的强大工具
Java接口:实现多重继承,促进代码复用与扩展的强大工具