spark rdd saveAsTextFile保存为文件

简介:
sc.parallelize(["one", "two", "two", "three", "three", "three"]).map(lambda x: (x,1)).repartition(1).saveAsTextFile("feature/all.txt")

load方法:

a=sc.textFile("feature/all.txt")
a.collect()

[u"('one', 1)", u"('two', 1)", u"('two', 1)", u"('three', 1)", u"('three', 1)", u"('three', 1)"]











本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7767609.html,如需转载请自行联系原作者








相关文章
|
存储 SQL 分布式计算
Spark中的数据加载与保存
Spark中的数据加载与保存
|
小程序 前端开发
uniapp 小程序接入友盟 ,自定义事件携带参数
uniapp 小程序接入友盟 ,自定义事件携带参数
296 0
|
12月前
|
存储 监控 NoSQL
MongoDB以其独特的优势和广泛的应用场景
MongoDB以其独特的优势和广泛的应用场景
416 8
|
机器学习/深度学习 计算机视觉 Python
模型评估与选择:Sklearn中的交叉验证与网格搜索
【7月更文第23天】在机器学习项目中,模型的评估与选择是至关重要的步骤,它直接关系到模型的泛化能力和最终的应用效果。Scikit-learn(简称sklearn)作为Python中最受欢迎的机器学习库之一,提供了丰富的工具来进行模型调优和性能评估,其中交叉验证(Cross-Validation, CV)与网格搜索(Grid Search)是两个核心组件。本文将深入探讨这两项技术,并通过代码示例展示其在实践中的应用。
246 8
|
存储 SQL 缓存
InnoDB、MyISAM、Memory 存储引擎 的区别
InnoDB、MyISAM、Memory 存储引擎 的区别
309 0
|
存储 关系型数据库 MySQL
MySQL分区的优缺点
数据库中分区是将表或索引的数据划分成更小、更可管理的部分的一种技术。这些部分被称为分区,每个分区可以独立地进行维护和管理。
754 0
|
存储 资源调度 安全
pnpm:基础使用
pnpm:基础使用
563 0
|
JavaScript 前端开发 开发者
【三十天精通 Vue 3】 第十天 Vue 状态管理详解
【三十天精通 Vue 3】 第十天 Vue 状态管理详解
254 0
|
关系型数据库 MySQL Java
mysql8的免安装版(绿色版)安装工作与卸载以及mysql大小写敏感问题
mysql8的免安装版(绿色版)安装工作与卸载以及mysql大小写敏感问题
743 0
mysql8的免安装版(绿色版)安装工作与卸载以及mysql大小写敏感问题
|
算法 网络安全 数据安全/隐私保护