AI 助理
备案控制台
开发者社区 大数据 文章 正文

Spark 教程系列

2023-12-29 61
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Spark 教程系列

1.spark 基本概念

spark学习笔记（2）spark基本概念和术语解释_攻城的蒂巴格的博客-CSDN博客

2.广播变量和累加器的理解

Spark共享变量(广播变量、累加器)_SunnyRivers的博客-CSDN博客

spark 广播变量 - Angel_jing - 博客园

3.线上实际任务分析

第一部分是driver 日志，第二部分是excutor 日志

4.spark 资源设置

(1)首先检查你的最大并行度（task个数）是否大于申请的vcore个数，如果不是的话，减少executorVcores，使得executorCores*executorNum小于Spark任务的最大并行度。在executor memory不变的情况下，降低executor cores会提高单位vcore的memory使用量。

(2)如果你的Spark任务执行较慢，可提高任务的并行度，充分利用你当前申请的资源。

5.spark sql

Spark 基础教程：wordcount+Spark SQL_诸葛子房_的博客-CSDN博客

从MapReduce 到 Spark ，任务提升100倍


文章标签：
分布式计算
Spark
SQL
关键词：
apache spark教程
诸葛子房
目录
相关文章
扬流
|
4月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例，介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
扬流
401 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
扬流
|
4月前
|
分布式计算 运维 Serverless
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
在大数据快速发展的时代，流式处理技术对于实时数据分析至关重要。EMR Serverless Spark提供了一个强大而可扩展的平台，它不仅简化了实时数据处理流程，还免去了服务器管理的烦恼，提升了效率。本文将指导您使用EMR Serverless Spark提交PySpark流式任务，展示其在流处理方面的易用性和可运维性。
扬流
271 7
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
扬流
|
3月前
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务，以实现任务调度和执行的自动化，帮助您更有效地管理数据处理任务。
扬流
203 0
BetterBench
|
3月前
|
分布式计算 Java Linux
【Deepin 20系统】Linux 系统安装Spark教程及使用
在Deepin 20系统上安装和使用Apache Spark的详细教程，包括安装Java JDK、下载和解压Spark安装包、配置环境变量和Spark配置文件、启动和关闭Spark集群的步骤，以及使用Spark Shell和PySpark进行简单操作的示例。
BetterBench
65 0
杭州小哥哥
|
6月前
|
SQL 分布式计算 Hadoop
【Spark】Spark基础教程知识点
【Spark】Spark基础教程知识点
杭州小哥哥
76 0
诸葛子房
|
6月前
|
SQL 分布式计算 Java
Spark 基础教程：wordcount+Spark SQL
Spark 基础教程：wordcount+Spark SQL
诸葛子房
64 0
阿甘兄
|
消息中间件 分布式计算 Kafka
Flink教程（30）- Flink VS Spark（下）
Flink教程（30）- Flink VS Spark（下）
阿甘兄
80 0
阿甘兄
|
分布式计算 API 调度
Flink教程（30）- Flink VS Spark（上）
Flink教程（30）- Flink VS Spark（上）
阿甘兄
153 0
羽林小王子
|
SQL 机器学习/深度学习 分布式计算
spark与pyspark教程（一）
spark与pyspark教程（一）
羽林小王子
403 0
笑看风云路
|
SQL 分布式计算 资源调度
Spark集群搭建超详细教程
今天为大家带来分布式计算引擎Spark集群搭建，还是使用三个虚拟机节点上进行安装部署，围绕Standalone模式和Yarn模式的这两种部署模式进行展开。
笑看风云路
887 0

热门文章

最新文章

  • 1
    Spark Job的提交与task本地化分析（源码阅读八）
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 4
    Spark-spark streaming
  • 5
    Spark-构建基于Spark的推荐引擎
  • 6
    Spark PruneDependency 依赖关系 RangePartitioner
  • 7
    Spark Master启动源码分析
  • 8
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 9
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 10
    如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
  • 1
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    88
  • 2
    如何解决Spark在深度学习中的资源消耗问题？
    88
  • 3
    Spark在深度学习中的优缺点是什么？
    232
  • 4
    使用Spark进行机器学习
    69
  • 5
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    131
  • 6
    【Spark】Spark基础教程知识点
    77
  • 7
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    166
  • 8
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    144
  • 9
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    77
  • 10
    数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
    699

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云OSS设置跨域访问