AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark】【RDD】从本地文件系统创建RDD

2022-11-09 161
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 【Spark】【RDD】从本地文件系统创建RDD

练习作业

完成任务从文件创建三个RDD(math bigdata student)

cd ~
touch math
touch bigdata
touch student
pwd

q2.png

启动Spark-shell

var localrdd1 = sc.textFile("file:///home/用户名/math")
var localrdd2 = sc.textFile("file:///home/用户名/bigdata")
var localrdd3 = sc.textFile("file:///home/用户名/student")
localrdd1.collect
localrdd2.collect
localrdd3.collect

q1.png

文章标签：
分布式计算
Spark
关键词：
apache spark rdd
apache spark系统
apache spark创建
apache spark文件系统
萌狼蓝天
目录
相关文章
赵渝强老师
|
16天前
|
分布式计算 Spark
【赵渝强老师】Spark RDD的依赖关系和任务阶段
Spark RDD之间的依赖关系分为窄依赖和宽依赖。窄依赖指父RDD的每个分区最多被一个子RDD分区使用，如map、filter操作；宽依赖则指父RDD的每个分区被多个子RDD分区使用，如分组和某些join操作。窄依赖任务可在同一阶段完成，而宽依赖因Shuffle的存在需划分不同阶段执行。借助Spark Web Console可查看任务的DAG图及阶段划分。
赵渝强老师
57 15
赵渝强老师
|
3月前
|
存储 分布式计算 并行计算
【赵渝强老师】Spark中的RDD
RDD（弹性分布式数据集）是Spark的核心数据模型，支持分布式并行计算。RDD由分区组成，每个分区由Spark Worker节点处理，具备自动容错、位置感知调度和缓存机制等特性。通过创建RDD，可以指定分区数量，并实现计算函数、依赖关系、分区器和优先位置列表等功能。视频讲解和示例代码进一步详细介绍了RDD的组成和特性。
赵渝强老师
65 0
武子康
|
4月前
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
武子康
53 0
武子康
|
4月前
|
SQL 分布式计算 大数据
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
武子康
136 0
武子康
|
4月前
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
武子康
61 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
武子康
|
4月前
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
武子康
71 0
武子康
|
4月前
|
缓存 分布式计算 大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（一）
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（一）
武子康
96 0
武子康
|
4月前
|
分布式计算 算法 大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（二）
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（二）
武子康
80 0
武子康
|
4月前
|
存储 缓存 分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
武子康
67 4
武子康
|
4月前
|
JSON 分布式计算 大数据
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
武子康
56 1

热门文章

最新文章

  • 1
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
  • 2
    【赵渝强老师】Spark RDD的依赖关系和任务阶段
  • 3
    Spark 与 MapReduce 的 Shuffle 的区别？
  • 4
    Spark Master HA 主从切换过程不会影响到集群已有作业的运行， 为什么？
  • 5
    【赵渝强老师】Spark的容错机制：检查点
  • 6
    Spark Shell入门教程（上）
  • 7
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 8
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 9
    领英如何应对Apache Spark的Scalability挑战
  • 10
    Spark Stage切分 源码剖析——DAGScheduler
  • 1
    【赵渝强老师】Spark的容错机制：检查点
    29
  • 2
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
    79
  • 3
    【赵渝强老师】Spark RDD的依赖关系和任务阶段
    57
  • 4
    Spark Master HA 主从切换过程不会影响到集群已有作业的运行， 为什么？
    32
  • 5
    Spark 与 MapReduce 的 Shuffle 的区别？
    52
  • 6
    Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
    72
  • 7
    【赵渝强老师】Spark中的RDD
    65
  • 8
    【赵渝强老师】Spark Streaming中的DStream
    68
  • 9
    【赵渝强老师】Spark SQL的数据模型：DataFrame
    75
  • 10
    【赵渝强老师】Spark生态圈组件
    96

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 云HBaseSQL及分析 ——Phoenix&Spark
  • R AND SPARK
  • Spark Autotuning
    • 下一篇
    阿里云oss简介和如何对接使用