Spark重要参数详解
2023-07-19
97
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
Spark重要参数详解
目录
相关文章
|
3月前
|
分布式计算
DataWorks
Java
DataWorks产品使用合集之如何引用在spark jar中引用密文的空间参数
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
42
0
0
|
6月前
|
分布式计算
Scala
Spark
|
存储
SQL
JSON
Spark - Task 与 Partition 一一对应与参数详解
使用 spark 读取 parquet 文件，共有 M个 parquet 文件，于是启动了 PExecutor x QCores 进行如下 WordCount 代码测试，其中 P x Q = M 即 Core 数目与 parquet 文件数一一对应。
612
0
0
|
分布式计算
Java
大数据
|
存储
缓存
资源调度
|
SQL
分布式计算
运维
|
SQL
缓存
分布式计算
Hive引擎Spark优化配置参数1
Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要描述在底层引擎为Spark时，经常会用到的、常见的配置参数。
2112
0
0
|
SQL
分布式计算
运维
技本功|Hive优化之Spark执行引擎参数调优（二）
影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。
本文主要结合实际业务情况，在使用Spark作为底层引擎时，通过一些常见的配置参数对报错任务进行调整优化，主要包含以下两个方面：
1258
0
0
|
分布式计算
分布式数据库
数据库
Spark on HBase Connector：如何在Spark侧设置HBase参数
前言
X-Pack Spark可以使用Spark on HBase Connector直接对接HBase数据库，读取HBase数据表数据。有时在读取HBase时需要设置HBase的一些参数调整性能，例如通过设置hbase.client.scanner.caching的大小调整读取HBase数据的性能。
2182
0
0
|
SQL
分布式计算
数据库
Spark on Phoenix 4.x Connector：如何在Spark侧设置Phoenix参数
前言
X-Pack Spark可以使用Spark on Phoenix 4.x Connector直接对接Phoenix数据库，读取Phoenix数据表数据。有时在读取Phoenix时需要设置Phoenix的一些参数，例如Phoenix为了保障数据库的稳定性，默认开了索引包含，即查询Phoebe表必须要带上索引或者主键字段作为过滤条件。
1726
0
0
热门文章
最新文章
1
阿里云开源离线同步工具DataX3.0介绍
2
DataV 4.0 功能简介
3
【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类
4
你刚吃的兰州牛肉面，背后就藏着大数据
5
DataV回调id——从入门到精通
6
大数据环境下该如何优雅地设计数据分层
7
盘古：阿里云飞天分布式存储系统设计深度解析
8
odps是什么?
9
拍立淘-以图搜图中的图像搜索算法
10
DataV基础版如何制作单独省份地图？
1
python协程+异步总结！
6
2
使用Python实现深度学习模型：智能植物生长监测与优化
12
3
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
7
4
python协程使用教程
5
5
如何使用Puppeteer和Node.js爬取大学招生数据：入门指南
8
6
DistilQwen2：通义千问大模型的知识蒸馏实践
12
7
基于Liquid State Machine的时间序列预测:利用储备池计算实现高效建模
14
8
反向海淘客户案例:hoobuy淘宝代购集运系统搭建攻略介绍
10
9
2024重生之回溯数据结构与算法系列学习之顺序表【无论是王道考研人还真爱粉都能包会的；不然别给我家鸽鸽丢脸好嘛？】
8
10
动态与静态网站抓取的区别：从抓取策略到性能优化
10