「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八

简介: 「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八

8 云存储

8.1 概念

云存储的典型特点:

  • 超大规模(上 TB 甚至 上 EB 的容量)
  • 高可扩展性(可以平滑横向扩展)
  • 高可靠性和可用性(以公有云提供商腾讯云为例,其云存储 COS 的 SLA 为:数据持久性 99.9999999999%(12 个 9)服务可用性 99.995%)
  • 安全(公有云、互联网、多租户场景下,安全是基本需求)
  • 按需服务(公有云存储特性,按需服务,按量计费)
  • 透明服务
  • 低成本(运行于大量低成本 x86 服务器之上)

8.2 产品形态

产品形态包括几类:

  • 块存储
  • 对象存储(如:Amazon S3)
  • 文件系统存储

其中 Amazon S3 为 Amazon 公有云首创,且已经成为事实上的对象存储标准,其应用编程接口如下:

  • List Bucket:列出桶
  • Put Bucket:创建桶
  • Delete Bucket:删除桶
  • Head Bucket:判断桶是否存在且具有访问权限
  • Put Object:创建一个对象并加入桶中或修改一个已有对象。可选启用对象多版本策略。
  • Get Object:读取对象的数据及元数据,元数据包括对象长度,MD5 哈希值,创建时间等
  • Delete Object(s):删除对象
  • Head Object:获取对象的元数据
  • Initial Multipart Upload: 初始化多次上传,获取多次上传的编号(upload ID)
  • Upload Part:上传部分数据
  • Complete Multipart Upload:完成多次上传,S3 会将之前上传的部分数据连接为一个大对象
  • Abort Multipart Upload:中止多次上传请求。

8.3 云存储的核心优势

成本,成本,还是 TMD 成本!

下表是中型数据中心和特大型数据中心的成本对比,特大型数据中心的网络和存储成本分别是中型数据中心的:1/7.1、1/5.7。

类别 中型数据中心成本 特大型数据中心成本 比率
网络 $95/Mb/Month $13/Mb/Month 7.1
存储 $2.20/GB/Month $0.40/GB/Month 5.7
管理 140 台服务器 / 管理员 1000 台以上服务器 / 管理员 7.1

PUE(Power Usage Effectiveness,能源使用效率)。一般国内中型数据中心的 PUE > 2,就是说,一半以上的能源被浪费掉,而特大型数据中心,如 Fackebook 某太阳能供电数据中心的 PUE 值为 1.07,几乎没有额外的能源损耗。

大大降低 IT 成本,资源利用率也很高

云存储核心优势:

  • 更低的硬件成本和网络成本
  • 更低的管理成本和电力成本
  • 更高的资源利用率

加快创新速度

8.4 云存储安全

云存储的安全挑战:

  • 在信任边界方面有了巨大的变化
  • 更多利益相关方(云消费者、云提供商、云审计方、云代理商、云运营商)
  • 云存储服务暴露在互联网上
  • 多租户共享的引入
  • 数据存储

云存储安全分类:

  1. 用户安全 :认证,授权
  2. 网络安全 :安全通信、网络防火墙、入侵检测、DDoS 攻击防护
  3. 多租户隔离
  4. 存储安全 :数据备份以及数据安全
相关文章
|
1月前
|
存储
嵌入式微处理器的系统架构中指令系统
嵌入式微处理器的系统架构中指令系统
13 0
|
1月前
|
存储 搜索推荐 数据挖掘
ElasticSearch架构介绍及原理解析
ElasticSearch架构介绍及原理解析
107 0
|
2月前
|
缓存 NoSQL 关系型数据库
|
2月前
|
监控 数据可视化 关系型数据库
微服务架构+Java+Spring Cloud +UniApp +MySql智慧工地系统源码
项目管理:项目名称、施工单位名称、项目地址、项目地址、总造价、总面积、施工准可证、开工日期、计划竣工日期、项目状态等。
307 6
|
1月前
|
存储 前端开发 BI
基于云计算技术的B/S架构智能云HIS系统源码 集挂号、处方、收费、取药、病历于一体
云HIS是针对中小医院机构、乡镇卫生室推出的一套基于云端的云HIS服务平台,借助云HIS,将医院业务流程化,大大提高医院的服务效率和服务质量,为客户提供医院一体化的信息解决方案。云HIS主要功能:包含门诊收费管理,住院收费管理,门诊医生工作站,住院医生工作站,住院护士工作站,辅助检查科室管理,药房药品管理,药库药品管理,报表查询。满足诊所、中小医院业务中看诊、收费、发药、药库管理、经营分析等多环节的工作需要。
45 4
|
2月前
|
SQL 分布式计算 Hadoop
Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
【2月更文挑战第6天】Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
101 0
|
2月前
|
Kubernetes 物联网 数据中心
大规模 IoT 边缘容器集群管理的几种架构 -2-HashiCorp 解决方案 Nomad
大规模 IoT 边缘容器集群管理的几种架构 -2-HashiCorp 解决方案 Nomad
|
1月前
|
人工智能 运维 监控
构建高性能微服务架构:现代后端开发的挑战与策略构建高效自动化运维系统的关键策略
【2月更文挑战第30天】 随着企业应用的复杂性增加,传统的单体应用架构已经难以满足快速迭代和高可用性的需求。微服务架构作为解决方案,以其服务的细粒度、独立性和弹性而受到青睐。本文将深入探讨如何构建一个高性能的微服务系统,包括关键的设计原则、常用的技术栈选择以及性能优化的最佳实践。我们将分析微服务在处理分布式事务、数据一致性以及服务发现等方面的挑战,并提出相应的解决策略。通过实例分析和案例研究,我们的目标是为后端开发人员提供一套实用的指南,帮助他们构建出既能快速响应市场变化,又能保持高效率和稳定性的微服务系统。 【2月更文挑战第30天】随着信息技术的飞速发展,企业对于信息系统的稳定性和效率要求
|
1月前
|
运维 Linux Apache
LAMP架构调优(九)——Apache Rewrite功能实战
LAMP架构调优(九)——Apache Rewrite功能实战
13 1
|
1月前
|
存储 监控 容灾
TiDB存储层深入:分布式存储架构与数据一致性保障
【2月更文挑战第26天】本文将深入探讨TiDB的存储层,详细解析其分布式存储架构、数据复制机制以及数据一致性保障措施。通过了解存储层的核心组件和工作原理,我们可以更好地理解TiDB如何确保数据的可靠性、高可用性和可扩展性。本文将从存储层的架构、数据分布、容错机制等方面展开介绍,帮助读者全面掌握TiDB存储层的关键技术和优势。

推荐镜像

更多