【Spark Summit EU 2016】使用Java Agent扩展Spark

简介: 本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲,主要介绍了Spark缓存中出现的关于when, what, where的挑战问题以及应对这一挑战使用RDDs的解决算法。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲,主要介绍了Spark缓存中出现的关于when, what, where的挑战问题以及应对这一挑战使用RDDs的解决算法。并介绍了Java Agent的相关内容,如何使用Java Agent来扩展Spark,如何在分布式集群上使用Agent以及Yarn定位服务的相关内容。


02b01d4ee50fbde7370d788dd900ffe55d541d53

69ad10a723475f6075581f517a47a40439abc8a9

ccc0af72567f0308b3cf55895eeeabd43d90862c

158624a96aff94dff97c88304f72ff608812072f

87053a174b92d689d420fc7d1d3537ed01ef5d75

6704e9a1e91c51bf2dedef6c5e4f13b58613ddc5

98d6417c8fece19738b275aeb1209e13a0fb9d42

02025de7e7e4ea121ca012c2835aa22522f0612d

b2d8b2554931769ebae70e0c8dad1a4786855adb


08e69354c36ede3359677a9f7cde75347147bc21

c1296f47ebbd284de7cad9ab7ce6eca6d8175a4f

cc314fa18384d712087afec26a76d29ae7fd699b

db8a3ea4245cf7b2902a2bc77f1b0917bbec6c9e

324396e910af4f89a78011a88f31c5bf60a6a895

8969b9d94ac06d2eacf6fe8a81ee4e4416b42bc8

ca5d8ec30806d5542fe1acdabd9bf5899c25aea1

5fbfc8f72d009f9dbcdb83ca9917bab318d303ce

554a720832de94ef42f7dd986019f42387ea71d9

75dc8cd7187e4decd9f52d0947257b3d4033bfce

269dfca45c8803eec3e139612f2a415073e17fca

e21a0a88becd56a5846acbf9935d288722375b1c

550e2ccba6e741e5c80ec3b77bbd04cd9f530f59

960bda6312c2ccfb0187de8c7c531f1a0a718e04

90ca3d8d4cd87bb7e9a8d029f4809a8f37322ed1

4e5aef7bb9defd6776648da3e1cd76b378fe24fe

aa97b7fbfbb9802fbd4ecb4408b04f5fd412ad0f

1ccaaf0b201e6ffcd4a461327da3a6adba05bdcd

9861a388b6a2ff37e6df5e38bbec483dc809bed3

c2213eba9fb82f4aa5ae45dfd596035d38958e88

26e7a3987858e86eb3fc7122919c8d8b778bebe0

a66ccefe5f65bccf75533af2bfc242558a272b1b

e2b7bcf3543bff7fcec14cc4fe9685a3a9aeb9fd

74498fa7af679c37d12593b1cc0f79591f9817c4

相关文章
|
27天前
|
存储 缓存 Java
java语言后台管理ruoyi后台管理框架-登录提示“无效的会话,或者会话已过期,请重新登录。”-扩展知识数据库中密码加密的方法-问题如何解决-以及如何重置若依后台管理框架admin密码-优雅草卓伊凡
java语言后台管理ruoyi后台管理框架-登录提示“无效的会话,或者会话已过期,请重新登录。”-扩展知识数据库中密码加密的方法-问题如何解决-以及如何重置若依后台管理框架admin密码-优雅草卓伊凡
93 3
java语言后台管理ruoyi后台管理框架-登录提示“无效的会话,或者会话已过期,请重新登录。”-扩展知识数据库中密码加密的方法-问题如何解决-以及如何重置若依后台管理框架admin密码-优雅草卓伊凡
|
5月前
|
分布式计算 大数据 Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
89 1
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
|
5月前
|
缓存 Java 数据库连接
使用 NCache 将 Java 微服务扩展到极致性能
使用 NCache 将 Java 微服务扩展到极致性能
47 8
|
6月前
|
消息中间件 分布式计算 Java
Linux环境下 java程序提交spark任务到Yarn报错
Linux环境下 java程序提交spark任务到Yarn报错
76 5
|
7月前
|
Java 数据库连接 缓存
Hibernate性能调优:五大秘籍,让应用效能飙升,告别慢如蜗牛的加载,体验丝滑般流畅!
【8月更文挑战第31天】本文深入探讨了提升Hibernate应用性能的五大技巧,包括选择合适的缓存策略、优化查询语句、合理使用Eager与Lazy加载、批量操作与事务管理以及利用索引和数据库优化。通过正确配置多级缓存、分页查询、延迟加载、批量处理及合理创建索引,能够显著提高应用响应速度与吞吐量,改善用户体验。这些技巧需根据具体应用场景灵活调整,以实现最佳性能优化效果。
304 0
|
7月前
|
Java API Spring
打造未来电商新引擎:揭秘Java可扩展API设计,让支付与物流灵活如丝,引领电商时代潮流!
【8月更文挑战第30天】本文通过电商平台案例,探讨了如何设计可扩展的Java API。首先定义支付和物流服务的接口与抽象类,然后实现具体服务,接着引入工厂模式或依赖注入管理服务实例,最后通过配置实现灵活扩展。这种设计确保了应用架构的灵活性和长期稳定性。
80 3
|
7月前
|
缓存 安全 Java
Java服务器端技术:Servlet与JSP的集成与扩展
Java服务器端技术:Servlet与JSP的集成与扩展
71 3
|
8月前
|
设计模式 存储 缓存
Java面试题:结合建造者模式与内存优化,设计一个可扩展的高性能对象创建框架?利用多线程工具类与并发框架,实现一个高并发的分布式任务调度系统?设计一个高性能的实时事件通知系统
Java面试题:结合建造者模式与内存优化,设计一个可扩展的高性能对象创建框架?利用多线程工具类与并发框架,实现一个高并发的分布式任务调度系统?设计一个高性能的实时事件通知系统
87 0
|
8月前
|
设计模式 存储 安全
Java面试题:设计一个线程安全的单例类并解释其内存占用情况?使用Java多线程工具类实现一个高效的线程池,并解释其背后的原理。结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
Java面试题:设计一个线程安全的单例类并解释其内存占用情况?使用Java多线程工具类实现一个高效的线程池,并解释其背后的原理。结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
91 1
|
8月前
|
设计模式 存储 缓存
Java面试题:结合单例模式与Java内存模型,设计一个线程安全的单例类?使用内存屏障与Java并发工具类,实现一个高效的并发缓存系统?结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
Java面试题:结合单例模式与Java内存模型,设计一个线程安全的单例类?使用内存屏障与Java并发工具类,实现一个高效的并发缓存系统?结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
68 0

热门文章

最新文章