备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

# Apache spark系列技术直播# 第五讲【 Spark RDD编程入门 】

2018-12-14 1514
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家 直播时间：2018.12.13（本周四）19:00 - 20:00 内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括： Spark、RDD简介 RDD API简介 打包与spark-submit 性能分析与调优基础 ppt链接：https://yq.

主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家

直播时间：2018.12.13（本周四）19:00 - 20:00

内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括：

  1. Spark、RDD简介
  2. RDD API简介
  3. 打包与spark-submit
  4. 性能分析与调优基础

ppt链接：https://yq.aliyun.com/download/3142
视频链接：https://yq.aliyun.com/live/720

加入Apache Spark中国技术交流钉钉群与大牛交流经验

_2018_12_05_4_48_20_meitu_1

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Apache
API
Spark
关键词：
Apache入门
apache spark入门
技术apache spark
apache spark编程
apache spark rdd
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
社区小助手
目录
相关文章
老马啸西风2024
|
14天前
|
Java 应用服务中间件 Apache
从零手写实现 apache Tomcat-01-入门介绍
创建简易Tomcat涉及理解其作为Java服务器的角色，建立HTTP服务器，实现Servlet接口处理动态和静态内容，以及启动和关闭服务器。项目mini-cat是一个简化版Tomcat实现，支持Servlet、静态网页和基础功能。可通过maven添加依赖并运行测试类快速体验。开源项目位于[GitHub](https://github.com/houbb/minicat)。
老马啸西风2024
32 2
桃李春风一杯酒
|
29天前
|
分布式计算 Hadoop 大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
桃李春风一杯酒
350 1
孙玉洁-47170
|
2月前
|
分布式计算 并行计算 大数据
Spark学习---day02、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）
Spark学习---day02、Spark核心编程 RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）
孙玉洁-47170
81 1
孙玉洁-47170
|
2月前
|
分布式计算 Java Scala
Spark学习---day03、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）
Spark学习---day03、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）
孙玉洁-47170
42 1
老马啸西风2024
|
14天前
|
XML 安全 Java
从零手写实现 apache Tomcat-02-web.xml 入门详细介绍
`web.xml`是Java Web应用的核心配置文件，描述应用工作方式。它包含Servlet、Filter和Listener的定义。例如，示例展示了如何配置名为`my`的Servlet处理`/my`请求，`LoggingFilter`拦截所有请求，以及`MyServletContextAttrListener`监听应用事件。`web.xml`是服务器理解应用结构与行为的指南。迷你版Tomcat实现——mini-cat（开源：https://github.com/houbb/minicat）。
老马啸西风2024
21 1
程序员三木
|
17天前
|
分布式计算 大数据 数据处理
[AIGC大数据基础] Spark 入门
[AIGC大数据基础] Spark 入门
程序员三木
141 0
yuanzhengme
|
24天前
|
存储 Linux 数据库
ZooKeeper【搭建 01】apache-zookeeper-3.6.2 单机版安装+配置+添加到service服务+开机启动配置+验证+chkconfig配置（一篇入门zookeeper）
【4月更文挑战第8天】ZooKeeper【搭建 01】apache-zookeeper-3.6.2 单机版安装+配置+添加到service服务+开机启动配置+验证+chkconfig配置（一篇入门zookeeper）
yuanzhengme
38 0
长梦
|
1月前
|
分布式计算 资源调度 Hadoop
Apache Hadoop入门指南：搭建分布式大数据处理平台
【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用，并引导初学者了解Hadoop的基本概念、核心组件（HDFS、YARN、MapReduce）及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境，学习者可掌握基本操作。此外，文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性，旨在为读者提供Hadoop入门指导，助其踏入大数据处理的旅程。
长梦
182 0
孙玉洁-47170
|
2月前
|
SQL 分布式计算 Java
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
孙玉洁-47170
139 1
zuozewei
|
2月前
|
监控 测试技术 Linux
性能工具之 Apache Bench 入门使用
ab 全称为：apache bench，ab 为小型压力工具，对于在 Linux 中简单压测 HTTP 接口轻巧灵活。
zuozewei
25 1
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    现代流式计算的基石：Google DataFlow
  • 4
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 5
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 6
    HIVE MapJoin异常问题处理总结
  • 7
    漫谈分布式计算框架
  • 8
    JindoFS概述：云原生的大数据计算存储分离方案
  • 9
    5W1H(六何分析法)全景洞察大数据
  • 10
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 1
    基于阿里云向量检索 Milvus 版和 LangChain 快速构建 LLM 问答系统
    28
  • 2
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    131
  • 3
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    293
  • 4
    EMR Notebook 开启公测，提供交互式数据分析平台
    176
  • 5
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    182
  • 6
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    414
  • 7
    Paimon 与 Spark 的集成（二）：查询优化
    117539
  • 8
    阿里云 EMR Serverless Spark 版免费邀测中
    420
  • 9
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    220
  • 10
    1688API接口推荐：1688口令转换真实链接接口
    36

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）