AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

# Apache spark系列技术直播# 第五讲【 Spark RDD编程入门 】

2018-12-14 1809
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家 直播时间：2018.12.13（本周四）19:00 - 20:00 内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括： Spark、RDD简介 RDD API简介 打包与spark-submit 性能分析与调优基础 ppt链接：https://yq.

主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家

直播时间：2018.12.13（本周四）19:00 - 20:00

内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括：

  1. Spark、RDD简介
  2. RDD API简介
  3. 打包与spark-submit
  4. 性能分析与调优基础

ppt链接：https://yq.aliyun.com/download/3142
视频链接：https://yq.aliyun.com/live/720

加入Apache Spark中国技术交流钉钉群与大牛交流经验

_2018_12_05_4_48_20_meitu_1

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Apache
API
Spark
关键词：
Apache技术
apache spark技术
apache spark rdd
技术apache spark
Apache spark
社区小助手
目录
相关文章
SelectDB
|
10月前
|
消息中间件 OLAP Kafka
Apache Doris 实时更新技术揭秘：为何在 OLAP 领域表现卓越？
Apache Doris 为何在 OLAP 领域表现卓越？凭借其主键模型、数据延迟、查询性能、并发处理、易用性等多方面特性的表现，在分析领域展现了独特的实时更新能力。
SelectDB
834 9
JJLIN距离
|
9月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统，Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制，帮助开发者构建可靠、可扩展的实时数据流处理系统。
JJLIN距离
826 4
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
759 79
SelectDB
|
存储 SQL 缓存
Apache Doris & SelectDB 技术能力全面解析
本文将对 Doris & SelectDB 适合的分析场景和技术能力进行概述解析
SelectDB
2087 1
Apache Doris & SelectDB 技术能力全面解析
NineData
|
安全 Apache 数据库
【倒计时3天】NineData x Apache Doris x 阿里云联合举办数据库技术Meetup，5月24日深圳见！
5月24日，NineData联合Apache Doris与阿里云在深圳举办数据库技术Meetup。活动聚焦「数据实时分析」与「数据同步迁移」两大领域，邀请行业专家分享技术趋势、产品实践及解决方案，助力企业构建高效安全的数据管理体系。时间：14:00-17:30；地点：深圳新一代产业园2栋20楼会议室。线下名额有限（80人），速报名参与深度交流！
NineData
357 1
蚂蚁数据智能技术
|
11月前
|
人工智能 自然语言处理 测试技术
新晋社区PMC李攀：“在Apache Fory，技术实力是唯一的通行证”
一起走近开源项目的幕后英雄——PMC成员
蚂蚁数据智能技术
361 0
武子康
|
存储 分布式计算 druid
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
武子康
509 1
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
753 2
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
675 1
龙大吉
|
分布式计算 大数据 Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
龙大吉
531 1
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    开源深度学习库BigDL在阿里云E-MapReduce上的实践
  • 2
    开源大数据周刊-第36期
  • 3
    Spark + AI 2019北美技术峰会华丽落幕
  • 4
    优路教育借助阿里云Flink+StarRocks+Paimon湖仓一体化构建职业教育业务全链路实时数据服务平台
  • 5
    分布式快照算法: Chandy-Lamport
  • 6
    小红书 API 接口使用指南：笔记详情数据接口的接入与使用
  • 7
    OpenClaw + QQ 机器人！保姆级图文教程，一步到位
  • 8
    大模型RAG实战：从零搭建专属知识库问答助手
  • 9
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
  • 10
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 1
    优路教育借助阿里云Flink+StarRocks+Paimon湖仓一体化构建职业教育业务全链路实时数据服务平台
    424
  • 2
    OpenClaw + QQ 机器人！保姆级图文教程，一步到位
    546
  • 3
    1688商品详情API（1688.item_get）Python实战：构建B2B供应链数据中台
    343
  • 4
    迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升
    275
  • 5
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    700
  • 6
    一套底座支撑多场景：高德地图基于 Paimon + StarRocks 轨迹服务实践
    466
  • 7
    EMR Serverless Spark 携手 PAI/百炼，开启“SQL 即 AI”的新篇章
    318
  • 8
    诗悦游戏基于DLF与EMR StarRocks降本38%
    387
  • 9
    基于DLF构建实时数据湖
    291
  • 10
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    408

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 推荐镜像

    更多
  • apache
    • 下一篇
    利用阿里云OSS（对象存储服务）快速搭建私人网盘