【Spark Summit East 2017】Spark,类型函数式编程的引诱者

简介: 本讲义出自Jeff Smith与Rohan Aletty在Spark Summit East 2017上的演讲,主要介绍了如何使用Spark作为学习工具,在函数式编程等领域构建技能栈,介绍了从基础工作Scala和函数式编程的概念到完全实现机器学习管道,并讲解了Spark以及MLlib。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Jeff Smith与Rohan Aletty在Spark Summit East 2017上的演讲,主要介绍了如何使用Spark作为学习工具,在函数式编程等领域构建技能栈,介绍了从基础工作Scala和函数式编程的概念到完全实现机器学习管道,并讲解了Spark以及MLlib。


bb6668d4f67992ba0c86c3dc9aec7c6a0f5bc51a

2497a22cf931ba20bd06b4487c6ca0e43ee8bab5

bb4f830ad59d918cf11c8dcac6130f267f5ab11e

8601b46d854cd699c7cb5e7031108c7e79e4b9fe

5b904adbcf1312ae6c0e5fec2c059d9eba5cfb92

a5f60d6f062d38567a45a6127a28a7df4101e053

e1b7baef4dd60f34efa5de0cb85d5c966ac1e371

38cd277a5501633f21c365c615a8dc384b30a2e4

a9ac99bbec002f8a893ed088b8e4afa2d83741e9

699e560cb38779943b57da78fe94dcbb047e204b

0bb921944c679818f5c744a2fb332fbae6ae6bca

df052db4fb791c4d672cfe718afd913282de24f0

85e1c70d930580edd1ac38c2f17eb6d8e8bcf80f

73539debd7b5dce45489c8961571a921d7e8e31c

b2501b418953a0e6e3629e3b87115cd2eb5a8608

e0aece708f815b7847304892363bdaeec20ac82b

e76f3d38414f457359ac703d875fc5655ed3526c

0915d21f550b80270978bc3604ee99ad8fc94034

f66c809095a3fd0514fdf21bb2c9daa75be12c52

d434c048c34cd555816085d9e8402e0ccdf0b1b9

3f954b6d108fac7fa7d207a25b490825092e8606

874902db7f9aab9d7ee31e0773f22751c4fda583

b754b961136ccc9cd56ae5251173a156dede2459

9e0910f4689dc18d658e3e34fda8f1f43a64c60d

719cd7f43aa9e86d8c76502c76e49e0108464362

0bc177114d74e71e57fefd62150c0dea93ff2ce6

95ac348f6cdce3340fbc7c9fd74077046149eed9

a4efb7c1d5201e93ec72a3bb00bce57ee4685d69

b626deda5fb8d670e19d4c7ac87a09f8828d63cc

268b5ad85c85cbfcd8eb178fd571936d2c002c5e

27acdc116861f18a2baffc885bd52324687581f1

26d21ece220ed829e79470133fed7d3d3827846b

d196e2f90004983fdc28f683542ba39d122501e8

1cba859781548fd62a4328d69b58711166c04c5d

ea422a0f4156f0e022696daea709fc715f3b3e4e

5c87a23a9b490dcd3424443c9936d8643d04f75d

b8dec4c53076d37e551f73c016924f3118a569eb

7c0e46e7d7069f486ca128903ae5b7ff2646b3c3

3ab356a32ef45fe6ee92bf617b571fb85911cf92

1096b7a876d6f63c708005a87bbd5cb6104a60b7




9068b08947160c0698500479202f2adeba2046ab

11380966d434168c5afa208b2beb1deaf126049d

02c8dd6abcbad4c3108a5b144bc72afe3709bbd6

88b61a291ff26523d033a8948ca80f631ffb022b

640cc99c39b1c6b376916441e3add3b7a75f236c

57434888edc435e0738991b34813dca718af467c

accda94295af0f7a52d55da2ea5d4d7eeef724c4

80e3459105aa66acf02649976d6a5c5f40eb79b3

db7a4bd416dc8f6994d7c2ca22aa248add85cd1b

a028a7a07ad94ec2afc36cea177ce9a730eb8f07

801df822b6d10fe260a8aa3d409ddfd231b1575a

216a558aac20c074401c1d0c1002908b19b77d7e

7e0b5e99190919376835c58668d78a968fa40aae


相关文章
|
3月前
|
机器学习/深度学习 分布式计算 大数据
Spark 适合解决多种类型的大数据处理问题
【9月更文挑战第1天】Spark 适合解决多种类型的大数据处理问题
84 3
|
4月前
|
分布式计算 资源调度 Hadoop
Spark 中的集群管理器类型详解
【8月更文挑战第14天】
98 4
|
存储 分布式计算 大数据
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
566 0
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即,Apache Spark 中国技术交流社区在此诚邀各位,代表国内开发者选择您最希望听到的主题,届时社区将联合国内顶尖技术专家一一展开中文形式分享。
Spark + AI Summit 2020 中文议题有奖征集
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
|
SQL 人工智能 缓存
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
在Spark + AI Summit 2020上, Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰,在性能上大幅超越 Presto。在过去几年,我们见过了太多的 benchmark,大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心,可谓及时雨。
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
|
1月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
143 2
ClickHouse与大数据生态集成:Spark & Flink 实战