【Spark Summit EU 2016】使用Java Agent扩展Spark

简介: 本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲,主要介绍了Spark缓存中出现的关于when, what, where的挑战问题以及应对这一挑战使用RDDs的解决算法。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲,主要介绍了Spark缓存中出现的关于when, what, where的挑战问题以及应对这一挑战使用RDDs的解决算法。并介绍了Java Agent的相关内容,如何使用Java Agent来扩展Spark,如何在分布式集群上使用Agent以及Yarn定位服务的相关内容。


02b01d4ee50fbde7370d788dd900ffe55d541d53

69ad10a723475f6075581f517a47a40439abc8a9

ccc0af72567f0308b3cf55895eeeabd43d90862c

158624a96aff94dff97c88304f72ff608812072f

87053a174b92d689d420fc7d1d3537ed01ef5d75

6704e9a1e91c51bf2dedef6c5e4f13b58613ddc5

98d6417c8fece19738b275aeb1209e13a0fb9d42

02025de7e7e4ea121ca012c2835aa22522f0612d

b2d8b2554931769ebae70e0c8dad1a4786855adb


08e69354c36ede3359677a9f7cde75347147bc21

c1296f47ebbd284de7cad9ab7ce6eca6d8175a4f

cc314fa18384d712087afec26a76d29ae7fd699b

db8a3ea4245cf7b2902a2bc77f1b0917bbec6c9e

324396e910af4f89a78011a88f31c5bf60a6a895

8969b9d94ac06d2eacf6fe8a81ee4e4416b42bc8

ca5d8ec30806d5542fe1acdabd9bf5899c25aea1

5fbfc8f72d009f9dbcdb83ca9917bab318d303ce

554a720832de94ef42f7dd986019f42387ea71d9

75dc8cd7187e4decd9f52d0947257b3d4033bfce

269dfca45c8803eec3e139612f2a415073e17fca

e21a0a88becd56a5846acbf9935d288722375b1c

550e2ccba6e741e5c80ec3b77bbd04cd9f530f59

960bda6312c2ccfb0187de8c7c531f1a0a718e04

90ca3d8d4cd87bb7e9a8d029f4809a8f37322ed1

4e5aef7bb9defd6776648da3e1cd76b378fe24fe

aa97b7fbfbb9802fbd4ecb4408b04f5fd412ad0f

1ccaaf0b201e6ffcd4a461327da3a6adba05bdcd

9861a388b6a2ff37e6df5e38bbec483dc809bed3

c2213eba9fb82f4aa5ae45dfd596035d38958e88

26e7a3987858e86eb3fc7122919c8d8b778bebe0

a66ccefe5f65bccf75533af2bfc242558a272b1b

e2b7bcf3543bff7fcec14cc4fe9685a3a9aeb9fd

74498fa7af679c37d12593b1cc0f79591f9817c4

相关文章
|
1月前
|
数据采集 监控 Oracle
GraalVM 24 正式发布阿里巴巴贡献重要特性 —— 支持 Java Agent 插桩
阿里巴巴是 GraalVM 全球顾问委员会的唯一中国代表,阿里云程序语言与编译器团队和可观测团队合作实现了 GraalVM 应用的无侵入可观测能力,并在 ARMS 平台上线了该功能。目前在 GraalVM 24 中发布的是支持 Java agent 的第一步,其余能力将在 GraalVM 的后续版本中陆续发布。
174 21
|
2月前
|
人工智能 自然语言处理 前端开发
从理论到实践:使用JAVA实现RAG、Agent、微调等六种常见大模型定制策略
大语言模型(LLM)在过去几年中彻底改变了自然语言处理领域,展现了在理解和生成类人文本方面的卓越能力。然而,通用LLM的开箱即用性能并不总能满足特定的业务需求或领域要求。为了将LLM更好地应用于实际场景,开发出了多种LLM定制策略。本文将深入探讨RAG(Retrieval Augmented Generation)、Agent、微调(Fine-Tuning)等六种常见的大模型定制策略,并使用JAVA进行demo处理,以期为AI资深架构师提供实践指导。
343 73
|
3月前
|
存储 缓存 Java
java语言后台管理ruoyi后台管理框架-登录提示“无效的会话,或者会话已过期,请重新登录。”-扩展知识数据库中密码加密的方法-问题如何解决-以及如何重置若依后台管理框架admin密码-优雅草卓伊凡
java语言后台管理ruoyi后台管理框架-登录提示“无效的会话,或者会话已过期,请重新登录。”-扩展知识数据库中密码加密的方法-问题如何解决-以及如何重置若依后台管理框架admin密码-优雅草卓伊凡
300 3
java语言后台管理ruoyi后台管理框架-登录提示“无效的会话,或者会话已过期,请重新登录。”-扩展知识数据库中密码加密的方法-问题如何解决-以及如何重置若依后台管理框架admin密码-优雅草卓伊凡
|
6月前
|
Arthas 监控 Java
拥抱 OpenTelemetry:阿里云 Java Agent 演进实践
本文介绍了阿里云 Java Agent 4.x 版本在基于 OTel Java Agent 二次开发过程中的实践与思考,并重点从功能、性能、稳定性、兼容性四个方面介绍了所做的工作。同时也介绍了阿里云可观测团队积极参与开源建设取得的丰厚成果。
598 34
拥抱 OpenTelemetry:阿里云 Java Agent 演进实践
|
9月前
|
Java API Spring
打造未来电商新引擎:揭秘Java可扩展API设计,让支付与物流灵活如丝,引领电商时代潮流!
【8月更文挑战第30天】本文通过电商平台案例,探讨了如何设计可扩展的Java API。首先定义支付和物流服务的接口与抽象类,然后实现具体服务,接着引入工厂模式或依赖注入管理服务实例,最后通过配置实现灵活扩展。这种设计确保了应用架构的灵活性和长期稳定性。
103 3
|
2月前
|
Arthas 监控 Java
拥抱 OpenTelemetry:阿里云 Java Agent 演进实践
拥抱 OpenTelemetry:阿里云 Java Agent 演进实践
107 0
|
7月前
|
分布式计算 大数据 Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
133 1
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
|
7月前
|
缓存 Java 数据库连接
使用 NCache 将 Java 微服务扩展到极致性能
使用 NCache 将 Java 微服务扩展到极致性能
62 8
|
8月前
|
消息中间件 分布式计算 Java
Linux环境下 java程序提交spark任务到Yarn报错
Linux环境下 java程序提交spark任务到Yarn报错
97 5
|
9月前
|
缓存 安全 Java
Java服务器端技术:Servlet与JSP的集成与扩展
Java服务器端技术:Servlet与JSP的集成与扩展
94 3

热门文章

最新文章