1、运行spark：在spark目录下执行 bin/spark-shell，进入spark的shell。
2、wordcount的实现：sc.textFile("/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
spark学习记录
2023-11-09
27
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
spark学习记录
目录
相关文章
|
2月前
|
分布式计算
API
Spark
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
84
11
11
|
2月前
|
分布式计算
并行计算
大数据
Spark学习---day02、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）
Spark学习---day02、Spark核心编程 RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）
120
1
1
|
2月前
|
SQL
分布式计算
API
|
2月前
|
分布式计算
Java
Scala
Spark学习---day03、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）
Spark学习---day03、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）
58
1
1
|
2月前
|
SQL
分布式计算
Java
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
190
1
1
|
2月前
|
分布式计算
Spark
索引
|
2月前
|
分布式计算
监控
Java
|
2月前
|
分布式计算
Spark
Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
【2月更文挑战第14天】Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
49
1
1
|
2月前
|
分布式计算
Spark
|
2月前
|
存储
缓存
分布式计算
Spark学习--day04、RDD依赖关系、RDD持久化、RDD分区器、RDD文件读取与保存
Spark学习--day04、RDD依赖关系、RDD持久化、RDD分区器、RDD文件读取与保存
53
1
1
热门文章
最新文章
1
图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
2
Spark中RDD、DataFrame、DataSet的生成与互相转换（非常重要）
3
spark-streaming-kafka-0-8 官网讲解
4
Spark 分析网站排名热度
5
2 分钟读懂大数据框架 Hadoop 和 Spark 的异同
6
NEC新技术带来比Apach Spark快50倍的机器学习能力
7
hadoop/spark节点动态调整
8
流式大数据处理的三种框架：Storm，Spark和Samza
9
Spark集群独立模式HA
10
python spark 求解最大 最小 平均
1
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
54
2
如何解决Spark在深度学习中的资源消耗问题？
42
3
Spark在深度学习中的优缺点是什么？
50
4
使用Spark进行机器学习
28
5
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
50
6
【Spark】Spark基础教程知识点
32
7
DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
37
8
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
106
9
MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
32
10
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
330