【云计算与大数据技术】Spark的解析(图文解释 超详细必看)

本文涉及的产品
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 【云计算与大数据技术】Spark的解析(图文解释 超详细必看)

一、Spark RDD

Spark是一个高性能的内存分布式计算框架,具备可扩展性,任务容错等特性,每个Spark应用都是由一个driver program 构成,该程序运行用户的 main函数 。

Spark提供的一个主要抽象就是 RDD(Resilient Distributed Datasets),这 是一个分布在集群中多节点上的数据集合,利用内存和磁盘作为存储介质。其中内存为主要数据存储对象,支持对该数据集合的并发操作,用户可以使用HDFS中的一个文件来创建一个RDD,可以控制RDD存放于内存中还是存储与磁盘。

RDD的设计目标是针对迭代式机器学习,每个RDD是只读的、不可更改的

创建RDD

有两种方式创建一个 RDD

在driver program 中并行化一个当前的数据集合

利用一个外部存储系统中的数据集合创建

二、Spark与MapReduce对比

Spark 作为新一代的大数据计算框架,针对的是迭代式计算、实时数据处理,要求处理的时间更少,与MapReduce对比整体反映如下

1: 在中间计算结果方面 - Spark基本把数据存放在内存中,只有在内存资源不够的时候才写到磁盘等存储介质中; 而 MapReduce计算过程中 Map任务产生的 计算结果存放到本地磁盘中

2:在计算模型方面 - Spark采用 DAG 图描述计算任务,Spark拥有更丰富的功能;MapReduce则只采用 Map和 Reduce两个函数,计算功能比较简单

3:在计算速度方面 - Spark 的计算速度更快

4:在容错方面 - Spark采用了和 MapReduce类似的方式,针对丢失和无法引用的RDD,Spark采用利用记录的transform,采取重新做已做过的 transform

5:在计算成本方面 - Spark是把RDD主要存放在内存存储介质中,则需要提供高容量的内存;而 MapReduce是面向磁盘的分布式计算框架,因此在成本考虑方面,Spark的计算成本高于 MapReduce计算框架

6:在简单易管理方面 - 目前Spark也在同一个集群上运行流处理 、批处理和机器学习,同时Spark也可以管理不同类型的负载。这些都是 MapReduce做不到的

三、Spark工作机制

开始深入探讨Spark的内部工作原理,具体包括Spark运行的DAG图、Partition、容错机制、缓存管理以及数据持久化

1:DAG工作图

DAG是有向无环图

当用户运行action操作的时候, Spark调度器检查RDD的lineage图,生成一个DAG图

为了Spark更加高效的调度和计算,RDD DAG中还包括宽依赖和窄依赖

窄依赖是父节点 RDD 中的分区最多只被子节点 RDD 中的一个分区使用

宽依赖是父节点RDD中的分区被子节点 RDD 中的多个子分区使用

采用DAG方式描述运行逻辑,可以描述更加复杂的运算功能,也有利于Spark调度器调度

2:分区Partition

Spark 执行每次操作transformation都会产生一个新的RDD,每个RDD是Partition分区的集合

在Spark中 ,操作的粒度是Partition分区

当前支持的分区方式有hash分区和范围(range)分区

3:Linedge容错方法

在容错方面有多种方式,包括数据复制以及记录修改日志

RDD本身是一个不可更改的数据集,Spark根据transformation和action构建它的操作图DAG

当执行任务的 Worker失败时完全可以通过操作图 DAG 获得之前执行的操作,进行重新计算

针对RDD的wide dependency,最有效的容错方式同样是采用checkpoint机制  ,但是当前,Spark并没有引入auto checkpointing机制

4:内存管理

旧版本Spark的内存空间分成了3块独立的区域,每块区域的内存容量是按照JVM堆大小的固定比例进行分配的

1:Execution - 在执行shuffle、join、sort和aggregation时,Execution用于缓存中间数据 默认为0.2

2:Storage - Storage主要用于缓存数据块以提高性能,同时也用于连续不断地广播或发送大的任务结果 默认为0.6

3:Other - 这部分内存用于存储运行系统本身需要加载的代码与元数据 默认为0.2

无论是哪个区域的内存,只要内存的使用量达到了上限,则内存中存储的数据就会被放入到硬盘中,从而清理出足够的内存空间,

5:数据读取

Spark最重要的一个功能是它可以通过各种操作 (operations)持久化(或者缓存 )一 个集合到内存中

这个能力使后续的动作速度更快(通常快10倍以上)。 对应迭代算法和快速的交互使用来说,缓存是一个关键的工具

用户可以利用不同的存储级别存储每一个被持久化的RDD  

四、数据读取

Spark支持多种外部数据源来创建 RDD,Hadoop支持的所有格式Spark都支持

包括HDFS Amazon S3 HBase等等

创作不易 觉得有帮助请点赞关注收藏~~~

相关文章
|
8天前
|
存储 分布式计算 数据可视化
大数据常用技术与工具
【10月更文挑战第16天】
40 4
|
10天前
|
Kubernetes Cloud Native 持续交付
云计算的转型之路:云原生技术的崛起与实践####
【10月更文挑战第16天】 本文深入探讨了云原生技术在现代IT架构变革中的核心作用,不同于传统概述,本摘要将聚焦于云原生如何促进企业实现敏捷开发、弹性伸缩及高效运维,通过具体案例分析展现其在实际业务场景中的创新应用,揭示这一技术趋势对企业数字化转型的深远影响。 ####
29 2
|
17天前
|
存储 安全 网络安全
云计算与网络安全:技术融合下的挑战与机遇
【10月更文挑战第9天】在数字时代,云计算和网络安全是推动企业创新和保护资产的两大支柱。本文将探讨云计算服务如何影响网络安全策略,并分析信息安全在云环境中的重要性。我们将通过实际案例来揭示云服务带来的安全挑战,同时展示如何利用最新的安全技术来增强防护。文章旨在为读者提供深入的洞见,帮助他们在享受云计算便利的同时,有效规避潜在的安全风险。
33 1
|
18天前
|
存储 安全 网络安全
云计算与网络安全:技术挑战与应对策略
【10月更文挑战第8天】随着云计算技术的飞速发展,越来越多的企业和个人开始将数据和应用迁移到云端。然而,这也带来了一系列网络安全问题。本文将探讨云计算环境下的网络安全挑战,并提出相应的应对策略。我们将从云服务模型、网络安全威胁、信息安全技术等方面进行分析,并通过代码示例展示如何实现安全措施。
|
1天前
|
安全 网络安全 API
云计算与网络安全:技术融合与挑战
【10月更文挑战第25天】在数字化时代,云计算作为信息技术的革新者,提供了强大的数据处理能力和灵活的资源管理。然而,随之而来的网络安全问题亦日益凸显,成为制约云计算发展的关键因素。本文深入探讨了云计算服务中的网络安全挑战,分析了信息安全技术的应对策略,并提出了相应的解决方案。通过实际案例分析,文章旨在为读者提供一个关于如何在享受云服务便利的同时确保数据安全的全面视角。
|
2天前
|
存储 安全 网络安全
云计算与网络安全:技术、挑战与解决方案
【10月更文挑战第24天】随着云计算技术的飞速发展,越来越多的企业和个人开始将数据和应用迁移到云端。然而,云服务的安全性问题也日益凸显,成为制约云计算发展的重要因素。本文将深入探讨云计算与网络安全之间的关系,分析当前面临的主要安全挑战,并提出相应的解决方案。通过阅读本文,读者将能够更好地理解云计算环境下的安全问题,并掌握应对策略。
|
2天前
|
存储 安全 网络安全
云计算与网络安全:技术融合下的挑战与对策
【10月更文挑战第23天】在数字化浪潮的推动下,云计算已成为企业信息技术架构的核心。然而,随之而来的网络安全问题也日益凸显,成为制约云服务发展的关键因素。本文将从云计算服务的基本概念出发,深入探讨网络安全的重要性,分析当前云计算环境中存在的安全威胁,并提出相应的防御策略。通过技术性的分析与实例说明,旨在为读者提供一套云计算环境下网络安全的实用对策。
15 1
|
5天前
|
存储 安全 网络安全
云计算与网络安全:技术融合与挑战
【10月更文挑战第21天】在数字化时代的浪潮中,云计算作为一项革命性技术正日益成为企业和个人存储、处理数据的优选方案。然而,随着云服务的快速发展和广泛应用,网络安全问题也随之浮现,成为制约云计算发展的关键因素之一。本文将探讨云计算环境中的网络安全挑战,分析信息安全的最佳实践,并提供相应的策略建议,以期为读者提供深入理解和有效应对网络威胁的方法。
26 3
|
4天前
|
云安全 安全 网络安全
云计算与网络安全:技术融合下的风险与对策
【10月更文挑战第22天】本文深入探讨了在云计算环境下,网络安全和信息安全领域的挑战与机遇。通过分析当前云服务的安全架构,识别潜在的安全威胁,并提出了相应的防范措施。文章旨在为读者提供一套全面的云计算安全解决方案,以保障数据的安全性和完整性。
|
7天前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
16 3