「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八

8 云存储

8.1 概念

云存储的典型特点:

  • 超大规模(上 TB 甚至 上 EB 的容量)
  • 高可扩展性(可以平滑横向扩展)
  • 高可靠性和可用性(以公有云提供商腾讯云为例,其云存储 COS 的 SLA 为:数据持久性 99.9999999999%(12 个 9)服务可用性 99.995%)
  • 安全(公有云、互联网、多租户场景下,安全是基本需求)
  • 按需服务(公有云存储特性,按需服务,按量计费)
  • 透明服务
  • 低成本(运行于大量低成本 x86 服务器之上)

8.2 产品形态

产品形态包括几类:

  • 块存储
  • 对象存储(如:Amazon S3)
  • 文件系统存储

其中 Amazon S3 为 Amazon 公有云首创,且已经成为事实上的对象存储标准,其应用编程接口如下:

  • List Bucket:列出桶
  • Put Bucket:创建桶
  • Delete Bucket:删除桶
  • Head Bucket:判断桶是否存在且具有访问权限
  • Put Object:创建一个对象并加入桶中或修改一个已有对象。可选启用对象多版本策略。
  • Get Object:读取对象的数据及元数据,元数据包括对象长度,MD5 哈希值,创建时间等
  • Delete Object(s):删除对象
  • Head Object:获取对象的元数据
  • Initial Multipart Upload: 初始化多次上传,获取多次上传的编号(upload ID)
  • Upload Part:上传部分数据
  • Complete Multipart Upload:完成多次上传,S3 会将之前上传的部分数据连接为一个大对象
  • Abort Multipart Upload:中止多次上传请求。

8.3 云存储的核心优势

成本,成本,还是 TMD 成本!

下表是中型数据中心和特大型数据中心的成本对比,特大型数据中心的网络和存储成本分别是中型数据中心的:1/7.1、1/5.7。

类别 中型数据中心成本 特大型数据中心成本 比率
网络 $95/Mb/Month $13/Mb/Month 7.1
存储 $2.20/GB/Month $0.40/GB/Month 5.7
管理 140 台服务器 / 管理员 1000 台以上服务器 / 管理员 7.1

PUE(Power Usage Effectiveness,能源使用效率)。一般国内中型数据中心的 PUE > 2,就是说,一半以上的能源被浪费掉,而特大型数据中心,如 Fackebook 某太阳能供电数据中心的 PUE 值为 1.07,几乎没有额外的能源损耗。

大大降低 IT 成本,资源利用率也很高

云存储核心优势:

  • 更低的硬件成本和网络成本
  • 更低的管理成本和电力成本
  • 更高的资源利用率

加快创新速度

8.4 云存储安全

云存储的安全挑战:

  • 在信任边界方面有了巨大的变化
  • 更多利益相关方(云消费者、云提供商、云审计方、云代理商、云运营商)
  • 云存储服务暴露在互联网上
  • 多租户共享的引入
  • 数据存储

云存储安全分类:

  1. 用户安全 :认证,授权
  2. 网络安全 :安全通信、网络防火墙、入侵检测、DDoS 攻击防护
  3. 多租户隔离
  4. 存储安全 :数据备份以及数据安全
相关文章
|
1月前
|
监控 持续交付 API
深入理解微服务架构:构建高效、可扩展的系统
【10月更文挑战第14天】深入理解微服务架构:构建高效、可扩展的系统
84 0
|
8天前
|
传感器 算法 物联网
智能停车解决方案之停车场室内导航系统(二):核心技术与系统架构构建
随着城市化进程的加速,停车难问题日益凸显。本文深入剖析智能停车系统的关键技术,包括停车场电子地图编辑绘制、物联网与传感器技术、大数据与云计算的应用、定位技术及车辆导航路径规划,为读者提供全面的技术解决方案。系统架构分为应用层、业务层、数据层和运行环境,涵盖停车场室内导航、车位占用检测、动态更新、精准导航和路径规划等方面。
44 4
|
19天前
|
运维 NoSQL Java
后端架构演进:微服务架构的优缺点与实战案例分析
【10月更文挑战第28天】本文探讨了微服务架构与单体架构的优缺点,并通过实战案例分析了微服务架构在实际应用中的表现。微服务架构具有高内聚、低耦合、独立部署等优势,但也面临分布式系统的复杂性和较高的运维成本。通过某电商平台的实际案例,展示了微服务架构在提升系统性能和团队协作效率方面的显著效果,同时也指出了其带来的挑战。
57 4
|
18天前
|
前端开发 安全 关系型数据库
秒合约系统/开发模式规则/技术架构实现
秒合约系统是一种高频交易平台,支持快速交易、双向持仓和高杠杆。系统涵盖用户注册登录、合约创建与编辑、自动执行、状态记录、提醒通知、搜索筛选、安全权限管理等功能。交易规则明确,设有价格限制和强平机制,确保风险可控。技术架构采用高并发后端语言、关系型数据库和前端框架,通过智能合约实现自动化交易,确保安全性和用户体验。
|
26天前
|
存储 数据管理 调度
HarmonyOS架构理解:揭开鸿蒙系统的神秘面纱
【10月更文挑战第21天】华为的鸿蒙系统(HarmonyOS)以其独特的分布式架构备受关注。该架构包括分布式软总线、分布式数据管理和分布式任务调度。分布式软总线实现设备间的无缝连接;分布式数据管理支持跨设备数据共享;分布式任务调度则实现跨设备任务协同。这些特性为开发者提供了强大的工具,助力智能设备的未来发展。
79 1
|
1月前
|
存储 监控 负载均衡
|
1月前
|
传感器 存储 架构师
构建基于 IoT 的废物管理系统:软件架构师指南
构建基于 IoT 的废物管理系统:软件架构师指南
72 9
|
1月前
|
存储 前端开发 API
DDD领域驱动设计实战-分层架构
DDD分层架构通过明确各层职责及交互规则,有效降低了层间依赖。其基本原则是每层仅与下方层耦合,分为严格和松散两种形式。架构演进包括传统四层架构与改良版四层架构,后者采用依赖反转设计原则优化基础设施层位置。各层职责分明:用户接口层处理显示与请求;应用层负责服务编排与组合;领域层实现业务逻辑;基础层提供技术基础服务。通过合理设计聚合与依赖关系,DDD支持微服务架构灵活演进,提升系统适应性和可维护性。
|
1月前
|
存储 安全 开发工具
百度公共IM系统的Andriod端IM SDK组件架构设计与技术实现
本文主要介绍了百度公共IM系统的Andriod端IM SDK的建设背景、IM SDK主要结构和工作流程以及建设过程遇到的问题和解决方案。
55 3
|
2月前
|
监控 Android开发 iOS开发
深入探索安卓与iOS的系统架构差异:理解两大移动平台的技术根基在移动技术日新月异的今天,安卓和iOS作为市场上最为流行的两个操作系统,各自拥有独特的技术特性和庞大的用户基础。本文将深入探讨这两个平台的系统架构差异,揭示它们如何支撑起各自的生态系统,并影响着全球数亿用户的使用体验。
本文通过对比分析安卓和iOS的系统架构,揭示了这两个平台在设计理念、安全性、用户体验和技术生态上的根本区别。不同于常规的技术综述,本文以深入浅出的方式,带领读者理解这些差异是如何影响应用开发、用户选择和市场趋势的。通过梳理历史脉络和未来展望,本文旨在为开发者、用户以及行业分析师提供有价值的见解,帮助大家更好地把握移动技术发展的脉络。
93 6

推荐镜像

更多