备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】Spark，类型函数式编程的引诱者

2017-02-18 1652
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Jeff Smith与Rohan Aletty在Spark Summit East 2017上的演讲，主要介绍了如何使用Spark作为学习工具，在函数式编程等领域构建技能栈，介绍了从基础工作Scala和函数式编程的概念到完全实现机器学习管道，并讲解了Spark以及MLlib。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Jeff Smith与Rohan Aletty在Spark Summit East 2017上的演讲，主要介绍了如何使用Spark作为学习工具，在函数式编程等领域构建技能栈，介绍了从基础工作Scala和函数式编程的概念到完全实现机器学习管道，并讲解了Spark以及MLlib。


bb6668d4f67992ba0c86c3dc9aec7c6a0f5bc51a

2497a22cf931ba20bd06b4487c6ca0e43ee8bab5

bb4f830ad59d918cf11c8dcac6130f267f5ab11e

8601b46d854cd699c7cb5e7031108c7e79e4b9fe

5b904adbcf1312ae6c0e5fec2c059d9eba5cfb92

a5f60d6f062d38567a45a6127a28a7df4101e053

e1b7baef4dd60f34efa5de0cb85d5c966ac1e371

38cd277a5501633f21c365c615a8dc384b30a2e4

a9ac99bbec002f8a893ed088b8e4afa2d83741e9

699e560cb38779943b57da78fe94dcbb047e204b

0bb921944c679818f5c744a2fb332fbae6ae6bca

df052db4fb791c4d672cfe718afd913282de24f0

85e1c70d930580edd1ac38c2f17eb6d8e8bcf80f

73539debd7b5dce45489c8961571a921d7e8e31c

b2501b418953a0e6e3629e3b87115cd2eb5a8608

e0aece708f815b7847304892363bdaeec20ac82b

e76f3d38414f457359ac703d875fc5655ed3526c

0915d21f550b80270978bc3604ee99ad8fc94034

f66c809095a3fd0514fdf21bb2c9daa75be12c52

d434c048c34cd555816085d9e8402e0ccdf0b1b9

3f954b6d108fac7fa7d207a25b490825092e8606

874902db7f9aab9d7ee31e0773f22751c4fda583

b754b961136ccc9cd56ae5251173a156dede2459

9e0910f4689dc18d658e3e34fda8f1f43a64c60d

719cd7f43aa9e86d8c76502c76e49e0108464362

0bc177114d74e71e57fefd62150c0dea93ff2ce6

95ac348f6cdce3340fbc7c9fd74077046149eed9

a4efb7c1d5201e93ec72a3bb00bce57ee4685d69

b626deda5fb8d670e19d4c7ac87a09f8828d63cc

268b5ad85c85cbfcd8eb178fd571936d2c002c5e

27acdc116861f18a2baffc885bd52324687581f1

26d21ece220ed829e79470133fed7d3d3827846b

d196e2f90004983fdc28f683542ba39d122501e8

1cba859781548fd62a4328d69b58711166c04c5d

ea422a0f4156f0e022696daea709fc715f3b3e4e

5c87a23a9b490dcd3424443c9936d8643d04f75d

b8dec4c53076d37e551f73c016924f3118a569eb

7c0e46e7d7069f486ca128903ae5b7ff2646b3c3

3ab356a32ef45fe6ee92bf617b571fb85911cf92

1096b7a876d6f63c708005a87bbd5cb6104a60b7




9068b08947160c0698500479202f2adeba2046ab

11380966d434168c5afa208b2beb1deaf126049d

02c8dd6abcbad4c3108a5b144bc72afe3709bbd6

88b61a291ff26523d033a8948ca80f631ffb022b

640cc99c39b1c6b376916441e3add3b7a75f236c

57434888edc435e0738991b34813dca718af467c

accda94295af0f7a52d55da2ea5d4d7eeef724c4

80e3459105aa66acf02649976d6a5c5f40eb79b3

db7a4bd416dc8f6994d7c2ca22aa248add85cd1b

a028a7a07ad94ec2afc36cea177ce9a730eb8f07

801df822b6d10fe260a8aa3d409ddfd231b1575a

216a558aac20c074401c1d0c1002908b19b77d7e

7e0b5e99190919376835c58668d78a968fa40aae


文章标签：
大数据
分布式计算
Spark
关键词：
apache spark类型
apache spark summit
apache spark summit east
apache spark east
apache spark summit east类型
小猫吃鱼569
目录
相关文章
阿里云E-MapReduce团队
|
SQL 人工智能 分布式计算
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
超乎你想象的干货合集打包带走！
阿里云E-MapReduce团队
22621 0
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
阿里云E-MapReduce团队
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
885 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
阿里云E-MapReduce团队
1549 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
阿里云E-MapReduce团队
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
阿里云E-MapReduce团队
2139 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
阿里云E-MapReduce团队
|
SQL 人工智能 缓存
Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾，Photon 引擎首次曝光
在Spark + AI Summit 2020上， Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰，在性能上大幅超越 Presto。在过去几年，我们见过了太多的 benchmark，大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心，可谓及时雨。
阿里云E-MapReduce团队
2459 0
Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾，Photon 引擎首次曝光
开源大数据EMR
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即，Apache Spark 中国技术交流社区在此诚邀各位，代表国内开发者选择您最希望听到的主题，届时社区将联合国内顶尖技术专家一一展开中文形式分享。
开源大数据EMR
1077 0
Spark + AI Summit 2020 中文议题有奖征集
阿里云E-MapReduce团队
|
机器学习/深度学习 人工智能 分布式计算
Spark + AI summit 2019北美技术峰会华丽落幕
本次SAIC含盖了数据工程与数据科学的内容，包括AI产品化的最佳实践案例分享：超大数据规模下，利用流数据处理确保训练数据更新的时效性，完成数据质量监控，测试以及数据模型服务。也有对流行的软件框架如TensorFlow，SciKit-Learn，Keras，PyTorch，DeepLearning4J，BigDL以及Deep Learning Pipelines等，分别进行深入的主题分享探讨。
阿里云E-MapReduce团队
1202 0
疯狂的猿
|
4月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
疯狂的猿
162 0
桃李春风一杯酒
|
1月前
|
分布式计算 Hadoop 大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
桃李春风一杯酒
351 1
程序猿～厾罗
|
4月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
程序猿～厾罗
75 0

热门文章

最新文章

  • 1
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 2
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 3
    Spark 源码分析 -- BlockStore
  • 4
    地铁译：Spark for python developers --- 搭建Spark虚拟环境3
  • 5
    Spark RDD类源码阅读
  • 6
    Spark中分布式使用HanLP（1.7.0)分词示例
  • 7
    7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】
  • 8
    Spark 分析网站排名热度
  • 9
    MapReduce Shuffle原理 与 Spark Shuffle原理
  • 10
    AnalyticDB MySQL — Spark 助力在OSS上构建低成本数据湖
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    139
  • 2
    安装Spark
    37
  • 3
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    42
  • 4
    Spark读取变更Hudi数据集Schema实现分析
    45
  • 5
    实战|使用Spark Streaming写入Hudi
    56
  • 6
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    108
  • 7
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    44
  • 8
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    69
  • 9
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    34
  • 10
    Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
    60

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）