「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八

8 云存储

8.1 概念

云存储的典型特点:

  • 超大规模(上 TB 甚至 上 EB 的容量)
  • 高可扩展性(可以平滑横向扩展)
  • 高可靠性和可用性(以公有云提供商腾讯云为例,其云存储 COS 的 SLA 为:数据持久性 99.9999999999%(12 个 9)服务可用性 99.995%)
  • 安全(公有云、互联网、多租户场景下,安全是基本需求)
  • 按需服务(公有云存储特性,按需服务,按量计费)
  • 透明服务
  • 低成本(运行于大量低成本 x86 服务器之上)

8.2 产品形态

产品形态包括几类:

  • 块存储
  • 对象存储(如:Amazon S3)
  • 文件系统存储

其中 Amazon S3 为 Amazon 公有云首创,且已经成为事实上的对象存储标准,其应用编程接口如下:

  • List Bucket:列出桶
  • Put Bucket:创建桶
  • Delete Bucket:删除桶
  • Head Bucket:判断桶是否存在且具有访问权限
  • Put Object:创建一个对象并加入桶中或修改一个已有对象。可选启用对象多版本策略。
  • Get Object:读取对象的数据及元数据,元数据包括对象长度,MD5 哈希值,创建时间等
  • Delete Object(s):删除对象
  • Head Object:获取对象的元数据
  • Initial Multipart Upload: 初始化多次上传,获取多次上传的编号(upload ID)
  • Upload Part:上传部分数据
  • Complete Multipart Upload:完成多次上传,S3 会将之前上传的部分数据连接为一个大对象
  • Abort Multipart Upload:中止多次上传请求。

8.3 云存储的核心优势

成本,成本,还是 TMD 成本!

下表是中型数据中心和特大型数据中心的成本对比,特大型数据中心的网络和存储成本分别是中型数据中心的:1/7.1、1/5.7。

类别 中型数据中心成本 特大型数据中心成本 比率
网络 $95/Mb/Month $13/Mb/Month 7.1
存储 $2.20/GB/Month $0.40/GB/Month 5.7
管理 140 台服务器 / 管理员 1000 台以上服务器 / 管理员 7.1

PUE(Power Usage Effectiveness,能源使用效率)。一般国内中型数据中心的 PUE > 2,就是说,一半以上的能源被浪费掉,而特大型数据中心,如 Fackebook 某太阳能供电数据中心的 PUE 值为 1.07,几乎没有额外的能源损耗。

大大降低 IT 成本,资源利用率也很高

云存储核心优势:

  • 更低的硬件成本和网络成本
  • 更低的管理成本和电力成本
  • 更高的资源利用率

加快创新速度

8.4 云存储安全

云存储的安全挑战:

  • 在信任边界方面有了巨大的变化
  • 更多利益相关方(云消费者、云提供商、云审计方、云代理商、云运营商)
  • 云存储服务暴露在互联网上
  • 多租户共享的引入
  • 数据存储

云存储安全分类:

  1. 用户安全 :认证,授权
  2. 网络安全 :安全通信、网络防火墙、入侵检测、DDoS 攻击防护
  3. 多租户隔离
  4. 存储安全 :数据备份以及数据安全
相关文章
|
6天前
|
人工智能 Cloud Native Serverless
从理论到落地:MCP 实战解锁 AI 应用架构新范式 | 免费领取 78 页完整 PPT
本文旨在从 MCP 的技术原理、降低 MCP Server 构建复杂度、提升 Server 运行稳定性等方面出发,分享我们的一些实践心得。
141 22
|
8天前
|
人工智能 自然语言处理 API
MCP与A2A协议比较:人工智能系统互联与协作的技术基础架构
本文深入解析了人工智能领域的两项关键基础设施协议:模型上下文协议(MCP)与代理对代理协议(A2A)。MCP由Anthropic开发,专注于标准化AI模型与外部工具和数据源的连接,降低系统集成复杂度;A2A由Google发布,旨在实现不同AI代理间的跨平台协作。两者虽有相似之处,但在设计目标与应用场景上互为补充。文章通过具体示例分析了两种协议的技术差异及适用场景,并探讨了其在企业工作流自动化、医疗信息系统和软件工程中的应用。最后,文章强调了整合MCP与A2A构建协同AI系统架构的重要性,为未来AI技术生态系统的演进提供了方向。
182 4
|
12天前
|
消息中间件 大数据 关系型数据库
RocketMQ实战—3.基于RocketMQ升级订单系统架构
本文主要介绍了基于MQ实现订单系统核心流程的异步化改造、基于MQ实现订单系统和第三方系统的解耦、基于MQ实现将订单数据同步给大数据团队、秒杀系统的技术难点以及秒杀商详页的架构设计和基于MQ实现秒杀系统的异步化架构。
RocketMQ实战—3.基于RocketMQ升级订单系统架构
|
13天前
|
边缘计算 监控 安全
301重定向进阶实战:从性能优化到未来架构演进
本文探讨了百万级流量动态重定向的架构设计与优化方案,结合全球电商平台迁移案例,展示基于Nginx+Lua的动态规则引擎及流量分级策略。同时,深入分析性能优化与安全加固技术,如零延迟跳转、智能熔断机制,并提出混合云环境下的跨平台解决方案。此外,针对SEO数据继承与流量恢复提供三维权重映射模型和自动化监测工具链。最后,展望边缘计算、区块链及量子安全等下一代重定向技术,为企业构建面向未来的体系提供参考。
63 7
|
13天前
|
监控 NoSQL 算法
百万级URL重定向工程:大规模网站架构设计与性能优化实战
本文深入探讨了大规模重定向系统的核心挑战与解决方案,涵盖技术瓶颈分析、分布式架构设计、十亿级URL处理策略、全球化部署方案及全链路监控体系。通过数学建模与性能优化,提出三层架构模型,并结合一致性哈希分片算法实现高效路由。同时,对比不同架构的吞吐量与容灾能力,分享某电商平台实践案例,展示性能显著提升。最后展望重定向即服务(RaaS)未来趋势,包括AI动态路由、量子安全跳转和边缘智能等关键技术,为企业提供扩展性强、稳定性高的系统设计参考。
73 25
|
20天前
|
机器学习/深度学习 文字识别 监控
安全监控系统:技术架构与应用解析
该系统采用模块化设计,集成了行为识别、视频监控、人脸识别、危险区域检测、异常事件检测、日志追溯及消息推送等功能,并可选配OCR识别模块。基于深度学习与开源技术栈(如TensorFlow、OpenCV),系统具备高精度、低延迟特点,支持实时分析儿童行为、监测危险区域、识别异常事件,并将结果推送给教师或家长。同时兼容主流硬件,支持本地化推理与分布式处理,确保可靠性与扩展性,为幼儿园安全管理提供全面解决方案。
|
28天前
|
运维 供应链 前端开发
中小医院云HIS系统源码,系统融合HIS与EMR功能,采用B/S架构与SaaS模式,快速交付并简化运维
这是一套专为中小医院和乡镇卫生院设计的云HIS系统源码,基于云端部署,采用B/S架构与SaaS模式,快速交付并简化运维。系统融合HIS与EMR功能,涵盖门诊挂号、预约管理、一体化电子病历、医生护士工作站、收费财务、药品进销存及统计分析等模块。技术栈包括前端Angular+Nginx,后端Java+Spring系列框架,数据库使用MySQL+MyCat。该系统实现患者管理、医嘱处理、费用结算、药品管控等核心业务全流程数字化,助力医疗机构提升效率和服务质量。
【YashanDB知识库】如何排查YMP报错:”OCI版本为空或OCI的架构和本地系统的架构不符“
【YashanDB知识库】如何排查YMP报错:”OCI版本为空或OCI的架构和本地系统的架构不符“
【YashanDB知识库】如何排查YMP报错:”OCI版本为空或OCI的架构和本地系统的架构不符“
|
1月前
|
资源调度 监控 调度
基于SCA的软件无线电系统的概念与架构
软件通信体系架构(SCA)是基于软件定义无线电(SDR)思想构建的开放式、标准化和模块化平台,旨在通过软件实现通信功能的灵活配置。SCA起源于美军为解决“信息烟囱”问题而推出的联合战术无线电系统(JTRS),其核心目标是提升多军种联合作战通信能力。 上海介方信息公司的OpenSCA操作环境严格遵循SCA4.1/SRTF标准,支持高集成、嵌入式等场景,适用于军用通信、雷达等领域。 SCA体系包括目标平台资源层(TRL)、环境抽象层(EAL)、SRTF操作环境(OE)及应用层(AL)。其中,SRTF操作环境包含操作系统、运行时环境(RTE)和核心框架(CF),提供波形管理、资源调度等功能。
|
1月前
|
消息中间件 安全 NoSQL
布谷直播系统源码开发实战:从架构设计到性能优化
作为山东布谷科技的一名技术研发人员,我参与了多个直播系统平台从0到1的开发和搭建,也见证了直播行业从萌芽到爆发的全过程。今天,我想从研发角度,分享一些直播系统软件开发的经验和心得,希望能对大家有所帮助。

推荐镜像

更多