【Spark Summit East 2017】不必犹豫,使用Spark 2.0结构化流

简介: 本讲义出自Michael Armbrust在Spark Summit East 2017上的演讲,在Spark 2.0中,引入了结构化的流,它允许用户不断地、增量地随着数据的增加而改变对于世界的看法,并且Spark 2.0仍然保持了Spark SQL的相同性,Michael Armbrust主要分享了他们在这之后,在在健壮性、延迟、表现力和可观察性所取得的进展。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Michael Armbrust在Spark Summit East 2017上的演讲,在Spark 2.0中,引入了结构化的流,它允许用户不断地、增量地随着数据的增加而改变对于世界的看法,并且Spark 2.0仍然保持了Spark SQL的相同性,Michael Armbrust主要分享了他们在引入结构化的流之后,在在健壮性、延迟、表现力和可观察性所取得的进展。


50c833315d2ddf2cbe1b16d49ac9796c5a583dd3

6a531afcc15ab2fc136cad2f94592f097605ceea

75432290eab58d2814c66c48ae3f24c99d4ed9e3

9a4f2f7d102eb518189bea7a4828889403a57bd6

c05449a7576ca70f0c9b4902b3db7949d00535cf

334a0677cc491fd3cb6123224fac683b411cc46b

65c1bcf0d2d603d3b1ba5fa02c2dfed1fb361b2c

828db6af51513bc57e1376a1895f22e82fd97687

相关文章
|
JSON 分布式计算 监控
Spark结构化流应用编程模式
Spark结构化流应用编程模式
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即,Apache Spark 中国技术交流社区在此诚邀各位,代表国内开发者选择您最希望听到的主题,届时社区将联合国内顶尖技术专家一一展开中文形式分享。
Spark + AI Summit 2020 中文议题有奖征集
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
|
SQL 人工智能 缓存
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
在Spark + AI Summit 2020上, Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰,在性能上大幅超越 Presto。在过去几年,我们见过了太多的 benchmark,大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心,可谓及时雨。
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
|
流计算 分布式计算 Spark
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
本次直播我们邀请了Tablestore存储服务技术专家 朱晓然 ,为大家详细介绍如何基于Tablestore的CDC技术,将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
|
机器学习/深度学习 人工智能 分布式计算
Spark + AI summit 2019北美技术峰会华丽落幕
本次SAIC含盖了数据工程与数据科学的内容,包括AI产品化的最佳实践案例分享:超大数据规模下,利用流数据处理确保训练数据更新的时效性,完成数据质量监控,测试以及数据模型服务。也有对流行的软件框架如TensorFlow,SciKit-Learn,Keras,PyTorch,DeepLearning4J,BigDL以及Deep Learning Pipelines等,分别进行深入的主题分享探讨。
|
机器学习/深度学习 分布式计算 大数据