AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】

2018-12-12 1484
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括：1. Spark、RDD简介 2. RDD API简介 3. 打包与spark-submit 4. 性能分析与调优基础主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家直播时间：2018.

内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括：

  1. Spark、RDD简介
  2. RDD API简介
  3. 打包与spark-submit
  4. 性能分析与调优基础

_2018_12_18_11_28_49

主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家

直播时间：2018.12.13（本周四）19:00 - 20:00

ppt链接：https://yq.aliyun.com/download/3142
视频链接：https://yq.aliyun.com/live/720

加入Apache Spark中国技术交流钉钉群与大牛交流经验


_2018_12_05_4_48_20_meitu_1

欢迎大家扫码加入~~

文章标签：
开源大数据平台 E-MapReduce
分布式计算
API
Spark
Apache
关键词：
Apache编程
Apache spark
apache apache spark
apache spark Apache
apache spark rdd
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
社区小助手
目录
相关文章
土木林森
|
8天前
|
前端开发 JavaScript Java
Apache Wicket 框架：踏上从新手到英雄的逆袭之路，成就你的编程传奇！
【9月更文挑战第4天】Apache Wicket是一款基于Java的开源Web应用框架，以简洁、易维护及强大功能著称。它采用组件化设计，让页面开发更为模块化。Wicket的简洁编程模型、丰富的组件库、良好的可维护性以及对Ajax的支持，使其成为高效开发Web应用的理想选择。下文将通过解析Wicket的基本概念与特性，帮助读者深入了解这一框架的优势。
土木林森
24 1
土木林森
|
8天前
|
Java API Apache
从零到英雄的蜕变：如何用Apache Wicket打造你的第一个Web应用——不仅是教程，更是编程之旅的启航
【9月更文挑战第4天】学习Apache Wicket这一开源Java Web应用框架是一段激动人心的旅程。本文将指导你通过Maven搭建环境，并创建首个“Hello, World!”应用。从配置`pom.xml`到实现`HelloWorldApplication`类，再到`web.xml`的设置，一步步教你构建与部署简单网页。适合初学者快速上手，体验其简洁API与强大组件化设计的魅力。
土木林森
9 1
wljslmz
|
29天前
|
分布式计算 Serverless 数据处理
Spark RDD 中的 map 和 flatMap 转换有什么区别？
【8月更文挑战第13天】
wljslmz
40 4
张飞的猪
|
2月前
|
分布式计算 大数据 Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
张飞的猪
91 1
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
公众号:码到三十五
|
3月前
|
Java 数据库连接 Apache
深入理解Apache Commons Pool2池化技术
深入理解Apache Commons Pool2池化技术
公众号:码到三十五
77 5
叫做饺子
|
2月前
|
分布式计算 Apache Spark
Python与Apache Spark：实时AI的大数据引擎——Spark Streaming实战
7月更文挑战第9天
叫做饺子
77 0
1941623231718325
|
3月前
|
分布式计算 Hadoop 大数据
大数据技术：Hadoop与Spark的对比
【6月更文挑战第15天】**Hadoop与Spark对比摘要** Hadoop是分布式系统基础架构，擅长处理大规模批处理任务，依赖HDFS和MapReduce，具有高可靠性和生态多样性。Spark是快速数据处理引擎，侧重内存计算，提供多语言接口，支持机器学习和流处理，处理速度远超Hadoop，适合实时分析和交互式查询。两者在资源占用和生态系统上有差异，适用于不同应用场景。选择时需依据具体需求。
1941623231718325
168 1
1941623231718325
|
3月前
|
存储 大数据 分布式数据库
使用Apache HBase进行大数据存储：技术解析与实践
【6月更文挑战第7天】Apache HBase，一个基于HDFS的列式存储NoSQL数据库，提供高可靠、高性能的大数据存储。其特点是列式存储、可扩展至PB级数据、低延迟读写及多版本控制。适用场景包括大规模数据存储、实时分析、日志存储和推荐系统。实践包括集群环境搭建、数据模型设计、导入、查询及性能优化。HBase在大数据存储领域扮演关键角色，未来有望在更多领域发挥作用。
1941623231718325
119 3
1941623231718325
|
3月前
|
监控 NoSQL 数据建模
使用Apache Cassandra进行分布式数据库管理的技术实践
【6月更文挑战第5天】本文探讨了使用Apache Cassandra进行分布式数据库管理的技术实践。Cassandra是一款高性能、可扩展的NoSQL数据库，适合大规模、高并发场景。文章介绍了其高可扩展性、高性能、高可用性和灵活数据模型等核心特性，并详细阐述了环境准备、安装配置、数据建模与查询以及性能优化与监控的步骤。通过本文，读者可掌握Cassandra的运用，适应不断增长的数据需求。
1941623231718325
103 6
1941623231718325
|
3月前
|
存储 分布式计算 Hadoop
使用Apache Hadoop进行分布式计算的技术详解
【6月更文挑战第4天】Apache Hadoop是一个分布式系统框架，应对大数据处理需求。它包括HDFS（分布式文件系统）和MapReduce编程模型。Hadoop架构由HDFS、YARN（资源管理器）、MapReduce及通用库组成。通过环境搭建、编写MapReduce程序，可实现分布式计算。例如，WordCount程序用于统计单词频率。优化HDFS和MapReduce性能，结合Hadoop生态系统工具，能提升整体效率。随着技术发展，Hadoop在大数据领域将持续发挥关键作用。
1941623231718325
71 5
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    分布式快照算法: Chandy-Lamport
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 3
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 4
    阿里封神-大数据处理技术漫谈
  • 5
    【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法
  • 6
    HBase写性能优化
  • 7
    YARN中的CPU资源隔离-CGroups
  • 8
    使用Ranger对Hive数据进行脱敏
  • 9
    Apache Flink : Checkpoint 原理剖析与应用实践
  • 10
    使用EMR-Kafka Connect进行数据迁移
  • 1
    阿里云 EMR StarRocks 在七猫的应用和实践
    100
  • 2
    EMR Serverless StarRocks体验测评
    31
  • 3
    EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
    139
  • 4
    不是吧？这么好用的开源标注工具，竟然还有人不知道…
    56
  • 5
    迟来的EMR Serverless Spark评测报告
    204
  • 6
    DataWorks操作报错合集之在处理元数据存储时发生报错：ODPS-0010000，该如何处理
    86
  • 7
    EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
    365
  • 8
    【报名中】阿里云 x StarRocks：极速湖仓第二季—上海站
    301
  • 9
    阿里云 EMR Serverless StarRocks OLAP 数据分析场景解析
    19136
  • 10
    E-MapReduce Serverless Spark体验评测
    267

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    对象存储 OSS 如何创建 bucket|学习笔记