AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark】【RDD】从本地文件系统创建RDD

2022-11-09 138
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 【Spark】【RDD】从本地文件系统创建RDD

练习作业

完成任务从文件创建三个RDD(math bigdata student)

cd ~
touch math
touch bigdata
touch student
pwd

q2.png

启动Spark-shell

var localrdd1 = sc.textFile("file:///home/用户名/math")
var localrdd2 = sc.textFile("file:///home/用户名/bigdata")
var localrdd3 = sc.textFile("file:///home/用户名/student")
localrdd1.collect
localrdd2.collect
localrdd3.collect

q1.png

文章标签：
分布式计算
Spark
关键词：
apache spark rdd
apache spark系统
apache spark创建
apache spark文件系统
萌狼蓝天
目录
相关文章
武子康
|
29天前
|
SQL 消息中间件 分布式计算
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解(一)
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解(一)
武子康
38 5
武子康
|
29天前
|
分布式计算 大数据 数据处理
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解(二)
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解(二)
武子康
38 4
武子康
|
29天前
|
存储 缓存 分布式计算
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
武子康
35 4
武子康
|
29天前
|
存储 缓存 分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
武子康
41 4
武子康
|
29天前
|
JSON 分布式计算 大数据
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
武子康
28 1
武子康
|
29天前
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
武子康
34 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
武子康
|
29天前
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
武子康
27 0
武子康
|
29天前
|
SQL 分布式计算 大数据
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
武子康
42 0
武子康
|
29天前
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
武子康
30 0
武子康
|
29天前
|
缓存 分布式计算 大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（一）
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（一）
武子康
38 0

热门文章

最新文章

  • 1
    [Spark][Python]Mapping Single Rows to Multiple Pairs
  • 2
    spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
  • 3
    Spark Job的提交与task本地化分析（源码阅读八）
  • 4
    [Spark][Python]Spark Python 索引页
  • 5
    Spark-spark streaming
  • 6
    Spark-构建基于Spark的推荐引擎
  • 7
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 8
    Spark编程语言选择：Scala、Java和Python
  • 9
    Spark PruneDependency 依赖关系 RangePartitioner
  • 10
    Spark Master启动源码分析
  • 1
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    85
  • 2
    如何解决Spark在深度学习中的资源消耗问题？
    84
  • 3
    Spark在深度学习中的优缺点是什么？
    223
  • 4
    使用Spark进行机器学习
    67
  • 5
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    124
  • 6
    【Spark】Spark基础教程知识点
    73
  • 7
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    163
  • 8
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    141
  • 9
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    74
  • 10
    数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
    683

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    DataWorks智能数据建模全面公测开始啦！