「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八

简介: 「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八

8 云存储

8.1 概念

云存储的典型特点:

  • 超大规模(上 TB 甚至 上 EB 的容量)
  • 高可扩展性(可以平滑横向扩展)
  • 高可靠性和可用性(以公有云提供商腾讯云为例,其云存储 COS 的 SLA 为:数据持久性 99.9999999999%(12 个 9)服务可用性 99.995%)
  • 安全(公有云、互联网、多租户场景下,安全是基本需求)
  • 按需服务(公有云存储特性,按需服务,按量计费)
  • 透明服务
  • 低成本(运行于大量低成本 x86 服务器之上)

8.2 产品形态

产品形态包括几类:

  • 块存储
  • 对象存储(如:Amazon S3)
  • 文件系统存储

其中 Amazon S3 为 Amazon 公有云首创,且已经成为事实上的对象存储标准,其应用编程接口如下:

  • List Bucket:列出桶
  • Put Bucket:创建桶
  • Delete Bucket:删除桶
  • Head Bucket:判断桶是否存在且具有访问权限
  • Put Object:创建一个对象并加入桶中或修改一个已有对象。可选启用对象多版本策略。
  • Get Object:读取对象的数据及元数据,元数据包括对象长度,MD5 哈希值,创建时间等
  • Delete Object(s):删除对象
  • Head Object:获取对象的元数据
  • Initial Multipart Upload: 初始化多次上传,获取多次上传的编号(upload ID)
  • Upload Part:上传部分数据
  • Complete Multipart Upload:完成多次上传,S3 会将之前上传的部分数据连接为一个大对象
  • Abort Multipart Upload:中止多次上传请求。

8.3 云存储的核心优势

成本,成本,还是 TMD 成本!

下表是中型数据中心和特大型数据中心的成本对比,特大型数据中心的网络和存储成本分别是中型数据中心的:1/7.1、1/5.7。

类别 中型数据中心成本 特大型数据中心成本 比率
网络 $95/Mb/Month $13/Mb/Month 7.1
存储 $2.20/GB/Month $0.40/GB/Month 5.7
管理 140 台服务器 / 管理员 1000 台以上服务器 / 管理员 7.1

PUE(Power Usage Effectiveness,能源使用效率)。一般国内中型数据中心的 PUE > 2,就是说,一半以上的能源被浪费掉,而特大型数据中心,如 Fackebook 某太阳能供电数据中心的 PUE 值为 1.07,几乎没有额外的能源损耗。

大大降低 IT 成本,资源利用率也很高

云存储核心优势:

  • 更低的硬件成本和网络成本
  • 更低的管理成本和电力成本
  • 更高的资源利用率

加快创新速度

8.4 云存储安全

云存储的安全挑战:

  • 在信任边界方面有了巨大的变化
  • 更多利益相关方(云消费者、云提供商、云审计方、云代理商、云运营商)
  • 云存储服务暴露在互联网上
  • 多租户共享的引入
  • 数据存储

云存储安全分类:

  1. 用户安全 :认证,授权
  2. 网络安全 :安全通信、网络防火墙、入侵检测、DDoS 攻击防护
  3. 多租户隔离
  4. 存储安全 :数据备份以及数据安全
相关文章
|
6月前
|
SQL 前端开发 关系型数据库
如何开发一套研发项目管理系统?(附架构图+流程图+代码参考)
研发项目管理系统助力企业实现需求、缺陷与变更的全流程管理,支持看板可视化、数据化决策与成本优化。系统以MVP模式快速上线,核心功能包括需求看板、缺陷闭环、自动日报及关键指标分析,助力中小企业提升交付效率与协作质量。
|
5月前
|
数据采集 机器学习/深度学习 运维
量化合约系统开发架构入门
量化合约系统核心在于数据、策略、风控与执行四大模块的协同,构建从数据到决策再到执行的闭环工作流。强调可追溯、可复现与可观测性,避免常见误区如重回测轻验证、忽视数据质量或滞后风控。初学者应以MVP为起点,结合回测框架与实时风控实践,逐步迭代。详见相关入门与实战资料。
|
6月前
|
JSON 文字识别 BI
如何开发车辆管理系统中的加油管理板块(附架构图+流程图+代码参考)
本文针对中小企业在车辆加油管理中常见的单据混乱、油卡管理困难、对账困难等问题,提出了一套完整的系统化解决方案。内容涵盖车辆管理系统(VMS)的核心功能、加油管理模块的设计要点、数据库模型、系统架构、关键业务流程、API设计与实现示例、前端展示参考(React + Antd)、开发技巧与工程化建议等。通过构建加油管理系统,企业可实现燃油费用的透明化、自动化对账、异常检测与数据分析,从而降低运营成本、提升管理效率。适合希望通过技术手段优化车辆管理的企业技术人员与管理者参考。
|
6月前
|
消息中间件 缓存 JavaScript
如何开发ERP(离散制造-MTO)系统中的生产管理板块(附架构图+流程图+代码参考)
本文详解离散制造MTO模式下的ERP生产管理模块,涵盖核心问题、系统架构、关键流程、开发技巧及数据库设计,助力企业打通计划与执行“最后一公里”,提升交付率、降低库存与浪费。
|
5月前
|
前端开发 JavaScript BI
如何开发车辆管理系统中的车务管理板块(附架构图+流程图+代码参考)
本文介绍了中小企业如何通过车务管理模块提升车辆管理效率。许多企业在管理车辆时仍依赖人工流程,导致违章处理延误、年检过期、维修费用虚高等问题频发。将这些流程数字化,可显著降低合规风险、提升维修追溯性、优化调度与资产利用率。文章详细介绍了车务管理模块的功能清单、数据模型、系统架构、API与前端设计、开发技巧与落地建议,以及实现效果与验收标准。同时提供了数据库建表SQL、后端Node.js/TypeScript代码示例与前端React表单设计参考,帮助企业快速搭建并上线系统,实现合规与成本控制的双重优化。
|
6月前
|
数据采集 运维 数据可视化
AR 运维系统与 MES、EMA、IoT 系统的融合架构与实践
AR运维系统融合IoT、EMA、MES数据,构建“感知-分析-决策-执行”闭环。通过AR终端实现设备数据可视化,实时呈现温度、工单等信息,提升运维效率与生产可靠性。(238字)
|
6月前
|
人工智能 监控 测试技术
告别只会写提示词:构建生产级LLM系统的完整架构图​
本文系统梳理了从提示词到生产级LLM产品的八大核心能力:提示词工程、上下文工程、微调、RAG、智能体开发、部署、优化与可观测性,助你构建可落地、可迭代的AI产品体系。
890 52
|
5月前
|
机器学习/深度学习 人工智能 缓存
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
本文提出面向边缘通用智能的多大语言模型(Multi-LLM)系统,通过协同架构、信任机制与动态编排,突破传统边缘AI的局限。融合合作、竞争与集成三种范式,结合模型压缩、分布式推理与上下文优化技术,实现高效、可靠、低延迟的边缘智能,推动复杂场景下的泛化与自主决策能力。
511 3
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
|
5月前
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
5月前
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)
1014 23

热门文章

最新文章

推荐镜像

更多
  • DNS