Google File System 阅读笔记

简介: 今天终于拜读了著名GFS的论文,大体上的设计思路是明白了,复杂的系统,其实用了很多简单的逻辑在里面,下面是记录的一些笔记:  设计之初(系统需求) 系统使用便宜的PC节点来实现,所以对于监控和容错要求很高。

今天终于拜读了著名GFS的论文,大体上的设计思路是明白了,复杂的系统,其实用了很多简单的逻辑在里面,下面是记录的一些笔记:

 

设计之初(系统需求)


系统使用便宜的PC节点来实现,所以对于监控和容错要求很高。

系统主要目标为提供大于100Mb的文件服务,常见文件为Gb以上,支持小文件,但是不做优化。

系统主要有两种类型的读:持续的流读和随机的跳读。同时还包括大文件、连续文件的写入和追加。

系统必须支持多客户。例如利用生产者-消费者队列模型或者其他的方法。

网路响应时间需要快。


GFS架构

 

数据的主从模式

Master的任务

Chunk Size的选择(64Mb)

Metadata特点:内存存储、Chunk的位置

Operation Log:如何处理并发的日志,如何确保日志安全(本地、远端同时写入才返回成功)


垃圾回收机制

在大型分布系统中,组件的失败非常常见。所以需要一种机制,来检查或者收回那些不一致的空间。


高可用策略

1、快速恢复。不管因为什么原因导致的服务终止,在数秒钟内恢复

2、块复制。

3、Master的复制以及Shadown,确保故障时文件的可读


数据一致性,一致性的信息存储在内存中,读取文件时进行验证 

相关文章
|
5月前
Google Earth Engine(GEE)——当加载图表的时候出现错误No features contain non-null values of “system:time_start“.
Google Earth Engine(GEE)——当加载图表的时候出现错误No features contain non-null values of “system:time_start“.
105 0
|
5月前
|
机器学习/深度学习 自然语言处理 对象存储
[wordpiece]论文分析:Google’s Neural Machine Translation System
[wordpiece]论文分析:Google’s Neural Machine Translation System
72 1
|
并行计算 监控 关系型数据库
The Google File System
The Google File System
69 0
|
存储 缓存 负载均衡
大数据理论篇HDFS的基石——Google File System(二)
Google File System 但凡是要开始讲大数据的,都绕不开最初的Google三驾马车:Google File System(GFS), MapReduce,BigTable。 为这一切的基础的Google File System,不但没有任何倒台的迹象,还在不断的演化,事实上支撑着Google这个庞大的互联网公司的一切计算。 以下是原文内容,内容较长,建议详细阅读。
237 0
大数据理论篇HDFS的基石——Google File System(二)
|
存储 缓存 监控
大数据理论篇HDFS的基石——Google File System(一)
Google File System 但凡是要开始讲大数据的,都绕不开最初的Google三驾马车:Google File System(GFS), MapReduce,BigTable。 为这一切的基础的Google File System,不但没有任何倒台的迹象,还在不断的演化,事实上支撑着Google这个庞大的互联网公司的一切计算。 以下是原文内容,内容较长,建议详细阅读。
628 0
大数据理论篇HDFS的基石——Google File System(一)
|
存储 缓存 文件存储
GFS架构启示 | Google File System
搞架构的人,Google的架构论文是必看的,但好像大家都不愿意去啃英文论文。故把自己的读书笔记,加入自己的思考,分享给大家。
1269 0
|
存储 缓存 监控
The Google File System中文版
译者:alex 摘要 我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。
756 0
|
Web App开发 JavaScript 前端开发
Feedly:替代 Google Reader 的最佳 RSS 阅读器
  Google Reader 将要关闭已是事实,唯一的办法就是尽快找到一个替代品,Feedly 是公认的替代 Google Reader 的最佳 RSS  阅读器。之前了解这款国外的 RSS 订阅工具的朋友不是很多,这篇文章向大家做个简单介绍。
1134 0
【备忘】google阅读器和Gmail的快捷键
  j/k 文章向下/上 选择列表中下/上一篇文章 space/shift-space 页向下/上 向下/上移动当前页 n/p 扫描下/上 在列表中,选中下一篇但不打开 o 打开/关闭文章 在列表中,展开或者收起选中文章 e...
1125 0
下一篇
无影云桌面