【Spark Summit EU 2016】Spark Steaming + 动态配置+动态分配构建弹性流计算

简介: 本讲义出自Shaun Klopfenstein和Neelesh Shastry在Spark Summit EU上的演讲,主要介绍了为了面对当前大数据分析的业务需求和SaaS需求,使用Spark Steaming的优势所在,以及为了应对Spark+Kafka所带来的挑战,所设计出的Marketo框架。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Shaun Klopfenstein和Neelesh Shastry在Spark Summit EU上的演讲,主要介绍了为了面对当前大数据分析的业务需求和SaaS需求,使用Spark Steaming的优势所在,以及为了应对Spark+Kafka所带来的挑战,所设计出的Marketo框架。并且分享了Marketo框架强大的动态配置能力、偏移管理、多租户DStream以及动态资源分配的能力。


9d3e986b51573e9e1c5d798a7dfd8b87c976d54e

55c3fca41f954bb273b201e0ba84042e21a01353

e5e32959aa9d3ed6cd257821f7aae722a9778557

db7890043c53ef2e7c81d4751cd6008c760be1ac

4a6a24a980d2e69637455829fdcee961647746d6

df26f28b27255ba203c72d5b910b3eef3439e2c6

0a897712108acec546051d8d0a1701786e549a4d

4df7a4ea274541c9e646cf768295637e2008279a

96eccea63ef9106a7b7a0e72ac043d62e509935c

5b6431f11eb822c27e261a8e7cf4f0e9f2ee3810

d8d4ecc73c7a5260c0da4c96a11aebbbe528df22

46cd1f9a7093597fc6765c21c26d6e9a36b64125

2e443e303112c4f4a4aac23f711e7825ab469c6e

6a76902fa12b5eb3a5e8ec0b29a073dda502e0f4

c6c6aa489d165ff282d3f660e6a9977b7f1fe66a

3ed53615c9bfd908836ea8c22ee524485e16f615

e6eb0c497f84b06161253e5786e851bfaf305a03

84544245324b25b1494fff55ee256cd4fa8d50d5

7902c5ae1152e01ead3478797cd872218b5f4c6e

d7e8a0acd5a5828ba6b35d4b7555305105a499af

478c8d386fcb838cf6119d351a1caf4639ff83bd

cc85e6671200b579da982c7e7e52fdc9ca9f4bc8

3c921825cb99b8b3339f4ab7c7bee3cfe51e96fb

9a5925d6f5c00a16f93d1f0a77551f7669f53016

f41a8d8dcb0919ff5253546e40cb5a508f30cf74

4dd144d49bbd68d336e813524834f577924168a4

2e331cf49e5f07013d178fd099f896a89acd1402

314bb8b6a3b9f8fc354f8c5b339c33489cc7d6be



相关文章
|
1月前
|
分布式计算 大数据 Apache
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解(图文解释 超详细)
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解(图文解释 超详细)
81 0
|
SQL 消息中间件 分布式计算
用Spark进行实时流计算
用Spark进行实时流计算
390 0
用Spark进行实时流计算
|
存储 分布式计算 资源调度
spark on k8s的动态资源分配和external shuffle Service以及任务的队列资源管理
spark on k8s的动态资源分配和external shuffle Service以及任务的队列资源管理
761 0
|
SQL 存储 分布式计算
「Spark从精通到重新入门(二)」Spark中不可不知的动态资源分配
资源是影响 Spark 应用执行效率的一个重要因素。Spark 应用中真正执行 task 的组件是 Executor,可以通过spark.executor.instances 指定 Spark 应用的 Executor 的数量。在运行过程中,无论 Executor上是否有 task 在执行,都会被一直占有直到此 Spark 应用结束。
615 0
「Spark从精通到重新入门(二)」Spark中不可不知的动态资源分配
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即,Apache Spark 中国技术交流社区在此诚邀各位,代表国内开发者选择您最希望听到的主题,届时社区将联合国内顶尖技术专家一一展开中文形式分享。
Spark + AI Summit 2020 中文议题有奖征集
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
|
SQL 人工智能 缓存
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
在Spark + AI Summit 2020上, Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰,在性能上大幅超越 Presto。在过去几年,我们见过了太多的 benchmark,大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心,可谓及时雨。
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光