Google云计算原理与应用(一)

简介: Google云计算原理与应用(一)

 Google(谷歌)拥有全球最强大的搜索引擎。除了搜索业务,Google 还有 Google Maps、Google Earth、Gmail、YouTube 等其他业务。这些应用的共性在于数据量巨大,且要面向全球用户提供实时服务,因此 Google 必须解决海量数据存储和快速处理问题。Google 研发出了简单而又高效的技术,让多达百万台的廉价计算机协同工作,共同完成这些任务,这些技术在诞生几年后才被命名为 Google 云计算技术。Google 云计算技术包括:Google 文件系统 GFS、分布式计算编程模型 MapReduce、分布式锁服务 Chubby、分布式结构化数据表 Bigtable、分布式存储系统 Megastore、分布式监控系统 Dapper、海量数据的交互式分析工具 Dremel,以及内存大数据分析系统 PowerDrill 等。

一、Google文件系统GFS

 Google 文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为 Google 云计算提供海量存储,并且与 Chubby、MapReduce 及 Bigtable 等技术结合十分紧密,处于所有核心技术的底层。GFS 不是一个开源的系统,我们仅能从 Google 公布的技术文档来获得相关知识。


 当前主流分布式文件系统有 RedHat 的GFS(Global File System)、IBM 的 GPFS、Sun 的 Lustre 等。这些系统通常用于高性能计算或大型数据中心,对硬件设施条件要求较高。以 Lustre 文件系统为例,它只对元数据管理器 MDS 提供容错解决方案,而对于具体的数据存储节点 OST 来说,则依赖其自身来解决容错的问题。例如,Lustre 推荐 OST 节点采用 RAID 技术或 SAN 存储区域网来容错,但由于 Lustre 自身不能提供数据存储的容错,一旦 OST 发生故障就无法恢复,因此对 OST 的稳定性就提出了相当高的要求,从而大大增加了存储的成本,而且成本会随着规模的扩大线性增长。


 Google GFS 的新颖之处在于它采用廉价的商用机器构建分布式文件系统,同时将 GFS 的设计与 Google 应用的特点紧密结合,简化实现,使之可行,最终达到创意新颖、有用、可行的完美组合。GFS 将容错的任务交给文件系统完成,利用软件的方法解决系统可靠性问题,使存储的成本成倍下降。GFS 将服务器故障视为正常现象,并采用多种方法,从多个角度,使用不同的容错措施,确保数据存储的安全、保证提供不间断的数据存储服务。

(一)系统架构

 GFS 的系统架构如下图所示。GFS 将整个系统的节点分为三类角色:Client(客户端0、Master(主服务器)和 Chunk Server(数据块服务器)。Client 是 GFS 提供给应用程序的访问接口,它是一组专用接口,不遵守 POSIX 规范,以库文件的形式提供。应用程序直接调用这些库函数,并与该库链接在一起。Master 是 GFS 的管理节点,在逻辑上只有一个,它保存系统的元数据,负责整个文件系统的管理,是 GFS 文件系统中的 “大脑” 。Chunk Server 负责具体的存储工作。数据以文件的形式存储在 Chunk Server 上,Chunk Server 的个数可以有多个,它的数目直接决定了GFS 的规模。GFS 将文件按照固定大小进行分块,默认是64MB,每一块称为一个Chunk(数据块),每个 Chunk 都有一个对应的索引号(Index)。

GFS将整个系统节点分为三类角色:

GFS的实现机制:

客户端首先访问Master节点,获取交互的Chunk Server信息,然后访问这些Chunk Server,完成数据存取工作。这种设计方法实现了控制流和数据流的分离。

Client与Master之间只有控制流,而无数据流,极大地降低了Master的负载。

Client与Chunk Server之间直接传输数据流,同时由于文件被分成多个Chunk进行分布式存储,Client可以同时访问多个Chunk Server,从而使得整个系统的I/O高度并行,系统整体性能得到提高。

GFS的特点:


1、采用中心服务器模式

可以方便地增加Chunk Server

Master掌握系统内所有Chunk Server的情况,方便进行负载均衡

不存在元数据的一致性问题

2、不缓存数据

文件操作大部分是流式读写,不存在大量重复读写,使用Cache对性能提高不大

Chunk Server上数据存取使用本地文件系统从可行性看,Cache与实际数据的一致性维护也极其复杂

3、在用户态下实现

利用POSIX编程接口存取数据降低了实现难度,提高通用性

POSIX接口提供功能更丰富

用户态下有多种调试工具

Master和Chunk Server都以进程方式运行,单个进程不影响整个操作系统

GFS和操作系统运行在不同的空间,两者耦合性降低

4、只提供专用接口

降低了实现的难度。通常与 POSIX 兼容的接口需要在操作系统内核一级实现,而 GFS 是在应用层实现的。

采用专用接口可以根据应用的特点对应用提供一些特殊支持,如支持多个文件并发追加的接口等。

专用接口直接和 Client、 Master、Chunk Server 交互,减少了操作系统之间上下文的切换,降低了复杂度,提高了效率。

(二)容错机制

1、Master容错

命名空间(Name Space),也就是整个文件系统的目录结构。

Chunk与文件名的映射表。

Chunk副本的位置信息,每一个Chunk默认有三个副本。

  当Master发生故障时,在磁盘数据保存完好的情况下,可以迅速恢复以上元数据。为了防止Master彻底死机的情况,GFS还提供了Master远程的实时备份。

2、Chunk Server容错

GFS采用副本的方式实现Chunk Server的容错

每一个Chunk有多个存储副本(默认为三个)

对于每一个Chunk,必须将所有的副本全部写入成功,才视为成功写入

相关的副本出现丢失或不可恢复等情况,Master自动将该副本复制到其他Chunk Server

GFS中的每一个文件被划分成多个Chunk,Chunk的默认大小是64MB

每一个Chunk以Block为单位进行划分,大小为64KB,每一个Block对应一个32bit的校验和

(三)系统管理技术

  GFS 是一个分布式文件系统,包含从硬件到软件的整套解决方案。除了上面提到的 GFS 的一些关键技术外,还有相应的系统管理技术来支持整个 GFS 的应用,这些技术可能不一定为 GFS 独有。

二、分布式数据处理MapReduce

 MapReduce 是 Google 提出的一个软件架构,是一种处理海量数据的并行编程模式,用于大规模数据集(通常大于1TB)的并行运算。Map(映射)、Reduce(化简)的概念和主要思想,都是从函数式编程语言和矢量编程语言借鉴来的。正是由于 MapReduce 有函数式和矢量编程语言的共性,使得这种编程模式特别适合于非结构化和结构化的海量数据的搜索、挖掘、分析与机器智能学习等。

(一)产生背景

  Jeffery Dean 设计一个新的抽象模型, 封装并行处理、容错处理、本地化计算、负载均衡的细节,还提供了一个简单而强大的接口。这就是MapReduce。

 MapReduce 这种并行编程模式思想最早是在1995年提出的。与传统的分布式程序设计相比,MapReduce 封装了并行处理、容错处理、本地化计算、负载均衡等细节,还提供了一个简单而强大的接口。MapReduce 把对数据集的大规模操作,分发给一个主节点管理下的各分节点共同完成,通过这种方式实现任务的可靠执行与容错机制。

(二)编程模型

Map函数——对一部分原始数据进行指定的操作。每个 Map 操作都针对不同的原始数据,因此 Map 与 Map 之间是互相独立的,这使得它们可以充分并行化。

Reduce操作——对每个 Map 所产生的一部分中间结果进行合并操作,每个 Reduce 所处理的 Map 中间结果是互不交叉的,所有 Reduce 产生的最终结果经过简单连接就形成了完整的结果集。

Map: (in_key, in_value) → {(keyj, valuej) | j = 1…k}

Reduce: (key, [value1,…,valuem]) → (key, final_value)

Map输入参数:in_key 和 in_value,它指明了 Map 需要处理的原始数据

Map输出结果:一组 <key,value> 对,这是经过 Map 操作后所产生的中间结果

Reduce输入参数:(key,[value1,…,valuem])

Reduce工作:对这些对应相同 key 的 value 值进行归并处理

Reduce输出结果:(key, final_value),所有 Reduce 的结果并在一起就是最终结果

(三)实现机制

(1)MapReduce 函数首先把输入文件分成M块

(2)分派的执行程序中有一个主控程序 Master

(3)一个被分配了 Map 任务的 Worker 读取并处理相关的输入块

(4)这些缓冲到内存的中间结果将被定时写到本地硬盘,这些数据通过分区函数分成R个区

(5)当 Maste r通知执行 Reduce 的 Worker 关于中间 <key,value> 对的位置时,它调用远程过程,从 Map Worker 的本地硬盘上读取缓冲的中间数据

(6)Reduce Worker 根据每一个唯一中间 key 来遍历所有的排序后的中间数据,并且把 key 和相关的中间结果值集合传递给用户定义的 Reduce 函数

(7)当所有的 Map 任务和 Reduce 任务都完成的时候,Master 激活用户程序

 由于MapReduce在成百上千台机器上处理海量数据,所以容错机制是不可或缺的。总的来说,MapReduce通过重新执行失效的地方来实现容错。

1、Master失效

  Master会周期性地设置检查点(checkpoint),并导出Master的数据。一旦某个任务失效,系统就从最近的一个检查点恢复并重新执行。由于只有一个Master在运行,如果Master失效了,则只能终止整个MapReduce程序的运行并重新开始。

2、Worker失效

  Master会周期性地给Worker发送ping命令,如果没有Worker的应答,则Master认为Worker失效,终止对这个Worker的任务调度,把失效Worker的任务调度到其他Worker上重新执行。

(四)案例分析

第一个步骤

  对原始的数据进行分割(Split),得到N个不同的数据分块。

第二个步骤

  对每一个数据分块都启动一个Map进行处理。采用桶排序的方法,每个Map中按照首字母将字符串分配到26个不同的桶中。


第三个步骤

  对于Map之后得到的中间结果,启动26个Reduce。按照首字母将Map中不同桶中的字符串集合放置到相应的Reduce中进行处理。

  从上述过程可以看出,由于能够实现处理过程的完全并行化,因此利用 MapReduce 处理海量数据是非常适合的。


目录
相关文章
|
1月前
|
存储 分布式计算 算法
Google云计算原理与应用(四)
Google云计算原理与应用(四)
64 3
|
15天前
|
监控 搜索推荐 数据可视化
Google Analytics是如何帮助网站和应用所有者理解用户行为的?
【6月更文挑战第8天】Google Analytics是如何帮助网站和应用所有者理解用户行为的?
15 4
|
24天前
|
存储 安全 网络安全
云端防御战线:云计算环境下的网络安全与信息保护策略未来交织:新兴技术趋势与跨界应用探索
【5月更文挑战第30天】 随着企业数字化转型的加速,云计算作为支撑现代业务架构的关键技术之一,其安全性已成为业界关注的热点。本文深入探讨了在动态且复杂的云环境中,如何通过多层次、多维度的安全措施确保数据的保密性、完整性与可用性。我们将从云服务模型出发,分析不同服务层次上的安全挑战,并结合最新的网络威胁情报,提出一系列创新的防御机制。这些机制包括基于行为分析的入侵检测系统、加密技术的最新进展以及人工智能在安全事件响应中的应用。文章旨在为云服务提供商和使用者提供一套综合性的网络安全解决方案,以增强云计算环境的整体安全性。
|
27天前
|
机器学习/深度学习 存储 安全
构筑防线:云计算环境下的网络安全策略与实践深度理解变分自编码器:理论与应用
【5月更文挑战第27天】 随着企业和个人日益依赖云计算提供的便捷服务,云平台已成为数据存储、处理和交换的关键枢纽。然而,这种集中化的数据管理方式也带来了前所未有的安全挑战。本文将深入探讨在动态且复杂的云计算环境中,如何通过一系列创新策略和最佳实践来强化网络和信息安全。我们将分析当前云服务中的安全隐患,并提出相应的解决方案,以保障用户和企业的资产安全。 【5月更文挑战第27天】 在深度学习的丰富研究领域中,生成模型因其能够学习数据分布并生成新样本而备受关注。变分自编码器(Variational Autoencoders, VAEs)作为一类生成模型,不仅在无监督学习任务中表现出色,而且在半监督
|
4天前
|
机器学习/深度学习 运维 监控
自动化运维技术在云计算环境中的应用
本文探讨了自动化运维技术在云计算环境中的应用。通过分析云计算的特点和挑战,以及传统运维方式存在的问题,提出了自动化运维的必要性。文章介绍了自动化运维技术的基本原理和常见的应用场景,并详细阐述了其在云计算环境中的优势和实际效果。最后,文章展望了未来自动化运维技术的发展趋势,强调了其对于提高云计算服务质量和效率的重要作用。
10 0
|
4天前
|
存储 弹性计算 数据挖掘
云计算在科研计算中的高效应用
云计算在科研计算中的高效应用
17 0
|
4天前
|
存储 运维 搜索推荐
云计算平台在在线教育领域的应用探索
云计算平台在在线教育领域的应用探索
18 0
|
6天前
|
人工智能 运维 监控
智能运维系统在云计算时代的应用与发展
随着云计算技术的快速发展,传统的运维方式已经无法满足复杂多变的IT环境需求。智能运维系统作为一种新型的解决方案,正在逐渐成为企业提高运维效率、降低故障风险的重要工具。本文将探讨智能运维系统在云计算时代的应用与发展,以及未来的发展趋势。
19 0
|
23天前
|
机器学习/深度学习 安全 网络安全
云端防御:云计算环境中的网络安全与信息保护策略深度学习在图像识别中的应用与挑战
【5月更文挑战第31天】 在数字化转型的浪潮中,云计算已成为企业及个人存储和处理数据的首选平台。然而,随着云服务的广泛采用,网络安全威胁也随之增加,使得信息安全成为亟待解决的挑战。本文聚焦于云计算环境特有的安全风险,探讨了多层次、多维度的防御策略,旨在为读者提供一套综合的云安全解决方案蓝图。通过分析当前云服务中的安全缺陷,并提出相应的防护措施,文章不仅强调了技术层面的对策,还涉及了管理与合规性方面的重要性。
|
24天前
|
机器学习/深度学习 人工智能 运维
自动化运维在云计算环境中的应用与挑战
随着云计算技术的快速发展,自动化运维在云计算环境中扮演着越来越重要的角色。本文将探讨自动化运维在云计算环境中的应用现状和所面临的挑战,分析其对云计算技术发展和运维管理的影响,以及未来可能的发展方向。