【Spark Summit EU 2016】使用Java Agent扩展Spark

简介: 本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲,主要介绍了Spark缓存中出现的关于when, what, where的挑战问题以及应对这一挑战使用RDDs的解决算法。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲,主要介绍了Spark缓存中出现的关于when, what, where的挑战问题以及应对这一挑战使用RDDs的解决算法。并介绍了Java Agent的相关内容,如何使用Java Agent来扩展Spark,如何在分布式集群上使用Agent以及Yarn定位服务的相关内容。


02b01d4ee50fbde7370d788dd900ffe55d541d53

69ad10a723475f6075581f517a47a40439abc8a9

ccc0af72567f0308b3cf55895eeeabd43d90862c

158624a96aff94dff97c88304f72ff608812072f

87053a174b92d689d420fc7d1d3537ed01ef5d75

6704e9a1e91c51bf2dedef6c5e4f13b58613ddc5

98d6417c8fece19738b275aeb1209e13a0fb9d42

02025de7e7e4ea121ca012c2835aa22522f0612d

b2d8b2554931769ebae70e0c8dad1a4786855adb


08e69354c36ede3359677a9f7cde75347147bc21

c1296f47ebbd284de7cad9ab7ce6eca6d8175a4f

cc314fa18384d712087afec26a76d29ae7fd699b

db8a3ea4245cf7b2902a2bc77f1b0917bbec6c9e

324396e910af4f89a78011a88f31c5bf60a6a895

8969b9d94ac06d2eacf6fe8a81ee4e4416b42bc8

ca5d8ec30806d5542fe1acdabd9bf5899c25aea1

5fbfc8f72d009f9dbcdb83ca9917bab318d303ce

554a720832de94ef42f7dd986019f42387ea71d9

75dc8cd7187e4decd9f52d0947257b3d4033bfce

269dfca45c8803eec3e139612f2a415073e17fca

e21a0a88becd56a5846acbf9935d288722375b1c

550e2ccba6e741e5c80ec3b77bbd04cd9f530f59

960bda6312c2ccfb0187de8c7c531f1a0a718e04

90ca3d8d4cd87bb7e9a8d029f4809a8f37322ed1

4e5aef7bb9defd6776648da3e1cd76b378fe24fe

aa97b7fbfbb9802fbd4ecb4408b04f5fd412ad0f

1ccaaf0b201e6ffcd4a461327da3a6adba05bdcd

9861a388b6a2ff37e6df5e38bbec483dc809bed3

c2213eba9fb82f4aa5ae45dfd596035d38958e88

26e7a3987858e86eb3fc7122919c8d8b778bebe0

a66ccefe5f65bccf75533af2bfc242558a272b1b

e2b7bcf3543bff7fcec14cc4fe9685a3a9aeb9fd

74498fa7af679c37d12593b1cc0f79591f9817c4

相关文章
|
2月前
|
Arthas 监控 Java
拥抱 OpenTelemetry:阿里云 Java Agent 演进实践
本文介绍了阿里云 Java Agent 4.x 版本在基于 OTel Java Agent 二次开发过程中的实践与思考,并重点从功能、性能、稳定性、兼容性四个方面介绍了所做的工作。同时也介绍了阿里云可观测团队积极参与开源建设取得的丰厚成果。
252 6
拥抱 OpenTelemetry:阿里云 Java Agent 演进实践
|
3月前
|
分布式计算 大数据 Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
51 1
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
|
4月前
|
消息中间件 分布式计算 Java
Linux环境下 java程序提交spark任务到Yarn报错
Linux环境下 java程序提交spark任务到Yarn报错
56 5
|
6月前
|
Java 关系型数据库 MySQL
GraalVM 静态编译下 OTel Java Agent 的自动增强方案与实现
在 2024 OpenTelemetry Community Day 会议中,阿里云可观测工程师张乎兴(望陶)和饶子昊(铖朴)为大家带来了《GraalVM 静态编译下 OTel Java Agent 的自动增强方案与实现》的演讲分享,介绍阿里云在相关领域的探索方案,本文是相关分享对应的中文整理。
285 19
|
5月前
|
数据采集 人工智能 监控
【Azure 应用程序见解】Application Insights Java Agent 3.1.0的使用实验,通过修改单个URL的采样率来减少请求及依赖项的数据采集
【Azure 应用程序见解】Application Insights Java Agent 3.1.0的使用实验,通过修改单个URL的采样率来减少请求及依赖项的数据采集
|
7月前
|
分布式计算 资源调度 Hadoop
Java大数据处理:Spark与Hadoop整合
Java大数据处理:Spark与Hadoop整合
|
7月前
|
SQL JSON 分布式计算
|
7月前
|
SQL 分布式计算 Java
|
8月前
|
分布式计算 Java 测试技术
Spark 单元测试报Error:(26, 16) java: 程序包sun.misc不存在
Spark 单元测试报Error:(26, 16) java: 程序包sun.misc不存在
151 0
|
4天前
|
监控 Java
java异步判断线程池所有任务是否执行完
通过上述步骤,您可以在Java中实现异步判断线程池所有任务是否执行完毕。这种方法使用了 `CompletionService`来监控任务的完成情况,并通过一个独立线程异步检查所有任务的执行状态。这种设计不仅简洁高效,还能确保在大量任务处理时程序的稳定性和可维护性。希望本文能为您的开发工作提供实用的指导和帮助。
42 17
下一篇
开通oss服务