AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】在生产环境中的大规模数据应用中使用SparkR

2017-02-20 2105
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Heiko Korndorf在Spark Summit East 2017上的演讲，R语言是一个广受平台数据科学家欢迎的应用于许多不同的领域的模型分析创建的语言，但是当这些应用程序从科学实验室迁移到大型企业的生产环境就出现了一系列新的挑战，而独立于R的Spark则是非常强大的通用计算平台，通过引入SparkR使得在生产环境下使用数据科学应用成为了可能，本次演讲将会分享两个将数据科学应用引入真实生产环境的案例。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Heiko Korndorf在Spark Summit East 2017上的演讲，R语言是一个广受平台数据科学家欢迎的应用于许多不同的领域的模型分析创建的语言，但是当这些应用程序从科学实验室迁移到大型企业的生产环境就出现了一系列新的挑战，而独立于R的Spark则是非常强大的通用计算平台，通过引入SparkR使得在生产环境下使用数据科学应用成为了可能，本次演讲将会分享两个将数据科学应用引入真实生产环境的案例。


30097218ad785274173312c75d96ade9ac2047af

3e6b4bde43ff050170df29e68010aedf9720e45a

25eab99ad160e9f25703e2f85fe7eb65c74f68c9

491961c6d49cabcbec6ccf808897e77b64a7dcd1

27487a63dc7330c657dab6a221bd685d1356d1fc

cf8a753ce7c45749d27bcda7a6499a4c56381357

13b9e99aa53f94869cb72ce4ee26f1b99db5a33c

614c7b7d028e0d079a8a2137ecc22b862cddeb31

b9b3f246463585cf0820924c2e73dcd195553cb4

07889f3151184c08c9d033d6f1b590377df81fa4

18dd87edf78bc4600504a50e7f9616896083b247

f093d4b8353600a4b1af17c69e7f1d561221d197

402d658bc0596343d7c2cc6608989896169e3c39

69f4ce97eb8cfa1f3d62f1265d48f2ca9d188ecb

2229a6d715765f74ae9dd5faed057ac3f5b0029d

fb882d421140ed73fd1532d16a364adc14e8f349

9c377d1c35aa4550449faaedf2db302a804fd000

a28b39deb7331655414009ea2743f44b9b274a5e

7481844022b9c72d0f0f890f6d7a42e419c69b1e

28f3cdb323e372617b7b9865a614c525dc543cfc

e04bc6c2297e98e95897d0e93cf9570665d7bd7a

6a1a7879b8d63182488312d95d4b7ddb81113221

06dd34e2426c9b400228ef68f2e9bb364bcda31e

24a08180e658b3cca2671ce9e8d71172a8b3ae2f

5fd809e0412660da5b872d288bf89db2f4ef1b33

文章标签：
大数据
分布式计算
Spark
关键词：
apache spark应用
apache spark数据
apache spark大规模
apache spark east数据
apache spark生产环境
小猫吃鱼569
目录
相关文章
夏天49597
|
4月前
|
机器学习/深度学习 SQL 分布式计算
Spark核心原理与应用场景解析：面试经验与必备知识点解析
本文深入探讨Spark核心原理（RDD、DAG、内存计算、容错机制）和生态系统（Spark SQL、MLlib、Streaming），并分析其在大规模数据处理、机器学习及实时流处理中的应用。通过代码示例展示DataFrame操作，帮助读者准备面试，同时强调结合个人经验、行业趋势和技术发展以展现全面的技术实力。
夏天49597
297 0
疯狂的猿
|
4月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
疯狂的猿
236 0
程序猿～厾罗
|
4月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
程序猿～厾罗
139 0
BookSea
|
11月前
|
SQL 分布式计算 Java
Spark入门指南：从基础概念到实践应用全解析
在这个数据驱动的时代，信息的处理和分析变得越来越重要。而在众多的大数据处理框架中， Apache Spark 以其独特的优势脱颖而出。
BookSea
119 0
明哥的IT随笔
|
11月前
|
分布式计算 安全 Java
SPARK 应用如何快速应对 LOG4J 的系列安全漏洞
SPARK 应用如何快速应对 LOG4J 的系列安全漏洞
明哥的IT随笔
103 0
1941623231718325
|
1月前
|
分布式计算 大数据 数据处理
Apache Spark的应用与优势：解锁大数据处理的无限潜能
【8月更文挑战第23天】Apache Spark以其卓越的性能、易用性、通用性、弹性与可扩展性以及丰富的生态系统，在大数据处理领域展现出了强大的竞争力和广泛的应用前景。随着大数据技术的不断发展和普及，Spark必将成为企业实现数字化转型和业务创新的重要工具。未来，我们有理由相信，Spark将继续引领大数据处理技术的发展潮流，为企业创造更大的价值。
1941623231718325
65 3
土木林森
|
1月前
|
分布式计算 资源调度 测试技术
“Spark Streaming异常处理秘籍：揭秘如何驯服实时数据流的猛兽，守护你的应用稳如泰山，不容错过！”
【8月更文挑战第7天】Spark Streaming 是 Apache Spark 中的关键组件，用于实时数据流处理。部署时可能遭遇数据问题、资源限制或逻辑错误等异常。合理处理这些异常对于保持应用稳定性至关重要。基础在于理解其异常处理机制，通过 DSC 将数据流切分为 RDD。对于数据异常，可采用 try-catch 结构捕获并处理；资源层面异常需优化 Spark 配置，如调整内存分配；逻辑异常则需加强单元测试及集成测试。结合监控工具，可全面提升应用的健壮性和可靠性。
土木林森
63 3
jianz123
|
1月前
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
jianz123
39 0
张飞的猪
|
2月前
|
分布式计算 大数据 Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
张飞的猪
99 1
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
周周的奇妙编程
|
2月前
|
分布式计算 Hadoop Serverless
数据处理的艺术：EMR Serverless Spark实践及应用体验
阿里云EMR Serverless Spark是基于Spark的全托管大数据处理平台，融合云原生弹性与自动化，提供任务全生命周期管理，让数据工程师专注数据分析。它内置高性能Fusion Engine，性能比开源Spark提升200%，并有成本优化的Celeborn服务。支持计算存储分离、OSS-HDFS兼容、DLF元数据管理，实现一站式的开发体验和Serverless资源管理。适用于数据报表、科学项目等场景，简化开发与运维流程。用户可通过阿里云控制台快速配置和体验EMR Serverless Spark服务。
周周的奇妙编程
14741 2

热门文章

最新文章

  • 1
    Spark Core概念学习系列之Spark Core（十四）
  • 2
    重磅解读：基于Occlum和BigDL构建端到端的安全分布式Spark大数据分析方案
  • 3
    附录A Spark2.1核心工具类Utils
  • 4
    Spark-ML-01-小试spark分析离线商品信息
  • 5
    spark集群配置
  • 6
    Spark-神奇的共享变量
  • 7
    跟我一起数据挖掘（22）——spark入门
  • 8
    Spark shuffle详细过程
  • 9
    [Spark][Python]Spark Python 索引页
  • 10
    Spark Job的提交与task本地化分析（源码阅读八）
  • 1
    如何解决Spark在深度学习中的资源消耗问题？
    69
  • 2
    Spark在深度学习中的优缺点是什么？
    149
  • 3
    使用Spark进行机器学习
    49
  • 4
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    96
  • 5
    【Spark】Spark基础教程知识点
    55
  • 6
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    120
  • 7
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    133
  • 8
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    54
  • 9
    数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
    596
  • 10
    [AIGC大数据基础] Spark 入门
    285

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    使用OSS上传下载文件