AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】基于SparkR的可伸缩数据科学

2017-02-20 2282
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Felix Cheung在Spark Summit East 2017上的演讲，R是一个非常受欢迎的科学数据平台，而Apache Spark是一个高度可扩展的数据平台，SparkR结合了两者的优点，本讲义介绍了关于SparkR的相关内容以及Spark 2.x版本的新特性。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Felix Cheung在Spark Summit East 2017上的演讲，R是一个非常受欢迎的科学数据平台，而Apache Spark是一个高度可扩展的数据平台，SparkR结合了两者的优点，本讲义介绍了关于SparkR的相关内容以及Spark 2.x版本的新特性。


f7c682083adf4ba2cee780964c8d55ba5196aa2e

8ac6336c528c55efedc0852d2c9bc7f881285b15

10cb0c1d3f5739e5459f305052faf9665005ae3d

f55d26cb01c8c40f5f20a040dd521cd94feb1834

4e3ee230faeed92390f7cb86db05df60ca48a56e

71e61b99657bc1b5b833a5ca9170488c11ff5ca5

d5acd43451afea32617b15bd67b2dcb74995cf84

e631dfda1d589077592769a2df6d9c14b7489422

4737bef7025b21a34196a6e3d34369e43c1d2604

800706d6e6cdb24becb4b248e3a33abd5c5fda8e

71f66fe925fbdc12fadf2a48e20212f8ff9c3c1f

cbf21b5acf926ef6b75eaf177e68120c6e3773b4

bff7f41ab5c6a9049203abf9bd166888e04742d0

f697417cf956fc0112c233e4f106f968b359d0cb

95e869090db4df3e3ba6ee78c35e405c436cfbc2

6c971e5a26aef074ed678c26b823bd64491b5bbd

6e6fee1933e23abb3382a61f68914d29a2d35ce8

726fde1362c7eb0a19bc54ba193dafa1830d0c06

9ae8430a694bd784564e14174f8b77a71605702d

8e345d09b13525f90474fcb279105e516c8e04d9

5c04815c5cb9d3949022f0b384ac7b2af6453283

e980121ac18a277fa69cf5015b3a012b9f218e6c

43e3a38d05e76ab34e6a1d16c9c5c6bf4931a370

fa963ea322a01daacfcb5b04501edd22dd7c32e2

c0924df84b5fd2f072598037cd7a30860fb7ae24

ac5d9324aa2293a933db58e27a790ea9e3385084

8cdcc7ed3fe1b53e8759a0ca2c90c968a42d6228

d4b951cccc823611f21b0a63aa5f42237dc29033

26fe47bad371621ee2377bbc66995e3b470d8038

9503821f022ad6cd6981586f3ce666d110b9fb18

69f57dfd8f2ef76b8fadd4985dd733fc12f89919

63c3b05615138301221049bb42ffb926e37608d8

98efe74c68fe974934b087c97983977e1357189c

d8a50a28b642b527929a4483d40734afe2af7cb3

6dcbf1f227b23538779cb5ada34a56d16af5dcc2

896487c33da32b29df313295ffd3575a09511e07

0ac6fd1644773738fe1c58e0eeb7a09d8bef8da2

13429a099900833f57b04d0ad6f9f2970dfb694f

0af26dd5de1b3a3ea91767f6a088c38d23e00cc0

8519342852db1f8c0b21f1f784098d0893ae0a2b

15ebfa41c5fb34a90e9b055005cf5a3047aef7ea

9d7d7b0e45e41d9744a771a9854ee2dca92a0187

1e226f21b7ab81518cb172a730fcfbb99235ab80

4bb88c99a471d95b6af73bc1d6fe519d0fbe7659

d7af9c9cc240a9b8f03b77802db95aabc93cbe02

f27b44faf6b815843cc08c58fa3e4739c5ee90df

文章标签：
云原生大数据计算服务 MaxCompute
Apache
大数据
分布式计算
Spark
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
小猫吃鱼569
目录
相关文章
阿里云E-MapReduce团队
|
SQL 人工智能 分布式计算
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
超乎你想象的干货合集打包带走！
阿里云E-MapReduce团队
23293 0
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
阿里云E-MapReduce团队
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
1171 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
阿里云E-MapReduce团队
2070 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
阿里云E-MapReduce团队
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
阿里云E-MapReduce团队
2825 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
阿里云E-MapReduce团队
|
SQL 人工智能 缓存
Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾，Photon 引擎首次曝光
在Spark + AI Summit 2020上， Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰，在性能上大幅超越 Presto。在过去几年，我们见过了太多的 benchmark，大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心，可谓及时雨。
阿里云E-MapReduce团队
3095 0
Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾，Photon 引擎首次曝光
程序员熊建锟
|
人工智能 分布式计算 大数据
大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
本文探讨了大数据场景下降维的核心问题与解决方案，重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例，揭示高维空间中样本稀疏性问题，并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用，包括数据准备、核心实现与效果评估，同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外，还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应，为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则，展望未来发展方向。
程序员熊建锟
846 0
郑小健
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
1369 2
ClickHouse与大数据生态集成：Spark & Flink 实战
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
933 79
武子康
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
武子康
566 0
武子康
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
454 0

热门文章

最新文章

  • 1
    Spark SQL玩起来
  • 2
    Spark SQL性能优化
  • 3
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 4
    【译】使用Spark SQL 运行大规模基因组工作流
  • 5
    钉钉群直播【Spark Relational Cache 原理和实践】
  • 6
    EMR Spark Relational Cache的执行计划重写
  • 7
    云栖社区2019年1月技术活动：PG， Java，Spark等30+场预告【持续更新】
  • 8
    一口气说完MR、Storm、Spark、SparkStreaming和Flink
  • 9
    spark 监控梳理
  • 10
    适合小白入门Spark的全面教程（二）
  • 1
    Linux环境下 java程序提交spark任务到Yarn报错
    375
  • 2
    Kubeflow-Spark-Operator-架构学习指南
    706
  • 3
    阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
    919
  • 4
    springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理
    707
  • 5
    Spark SQL架构及高级用法
    1038
  • 6
    大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
    846
  • 7
    一体系数据平台的进化：基于阿里云 EMR Serverless Spark 的持续演进
    602
  • 8
    Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速
    1196
  • 9
    3 秒音频也能克隆？拆解 Spark-TTS 架构的极致小样本学习
    1245
  • 10
    从InfluxDB到StarRocks：Grab实现Spark监控平台10倍性能提升
    702

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！