带你读《对象存储实战指南》第一章对象存储概述1.1什么是对象存储(一)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 《对象存储实战指南》第一章对象存储概述1.1什么是对象存储(一)

着技术的发展,个人和企业都会产生大星的数据。对于 GB级数据 ,最便捷的方式 就是将移动 硬盘连 接到计算机 ,快速保存数据 。对千 TB级数据 ,可以购买服务器 插上硬盘 ,格式化文 件系统现数据保存。但是对千 PB级数据 ,就不能简单地购买服务器 快速搭建 ,必须考虑海数据安全、稳定、高可用的存取,以及解决网络、服务器    、硬盘的故障,此时需要采用基于分布式技术的对象存储。

 

1.1 什么是对象存储

对象存储不是突然出 现的新鲜事物,是随着技术的演进、业务的需求逐步发展而来的,通过回顾存储 的发展历史 ,可以更好地理解为什么 使用对象 存储。

 

1.1.1 存储发展历史

 

1956年,IBM发布 350DiskStorage Unit, 它是第代真正意义上的磁盘存储 ( Hard DiskDrive, HDD)它的体积约为 2个中等大小的冰箱,只能存放 3.75  MB数据,只有1个机械臂(包含 2个读/写 磁头)2020年的 20TB盘容量是第一代硬盘 的 560倍,尺寸也只有普通人手掌大小。而且,介质技术逐步发展为固态 硬盘 ( SolidStateDrives, SSD),将硬盘的机械技术变革为电子存储技术,存储密度和访问时 延大幅 提升,盘发展历史如图 1-1所示。

image.png

 

1-1     盘发历史

存储技术的发展除围绕盘自身 技术的演进外,还围绕着数据的性、性能、易理、易分享等需求在存储系统不断创新,存储技术发展历史如图 1-2所示

image.pngimage.jpeg

1-2        存储技术发展

 

尽管盘的技术在飞速发展,但是它无法解决块盘出现故障带 来的数据丢失问题为此,业界引入了 廉价磁盘冗余阵列  ( RedundantArraysofInexpensiveDisks,  RAID)  技术,如 2070年代现的镜像技术 ( RAIDl),以及此后演化的存储区域网络Sto rage Area Network,SAN) 通常 ,SAN台外置存储设备 ,可以装入多块盘,在单块盘出现故障后 还能继续工使用 存储区域网络,在主面就像使用通硬盘例如,SAN机提供 16TB逻辑单元号 ( LogicalUnitNumber, LUN),使用体验和 16TB的普通盘全相同


盘本身只提供线性地址间, 主机访问盘时通常按照逻辑区块地址( LogicalBlockAddress, LBA)  数据,比如指定将 64KB数据入盘的 LBA地址为 1TB偏移处本身不具备数据管理能力,无法接存放张阳片 、乐 、段视频,可以通过在盘上格式化件系统 ( FileSystem)  来解决这个问题,件系统对外体现为树形结构的目录和件,应用和使用  可以放入图片、频、视频件,简单易用,不管是单机的文件系统还是集群的文件系统,都不利于多的机器共使用 ,于是,20世纪 80年代,业界发明网络附加 存储 ( NetworkAttachStorage, NAS),它通过网络文件系 统 ( Network File System,NFS) 协议或通用互联网文件系统 ( CommonInternetFileSystem,  CIFS)  协议提供文件服务机通过 NFSCIFS端指定 NAS的网络 IP地址访问共享文件夹 ,现数据的NAS的共文件服务可提供很好的数据分平台,但是随着访问客户端数目 的增加,再加上每个户端存储的文件越来越多,海呈文件存储的难题我们眼前


    文件系统目和海文件存储扩展性的矛盾文件系统目树是纵向设计 的,为了满足应用 ,用按如同图书目的方式一级一 级地理文件如果不同的客户端主机存放上亿的文件,而且目是几十层,那么将是矩阵式的乘法效,这对  NAS来说是大的挑战

 

·  文件系统基千目录的功能影响海文件存储的横向扩展设计 。典型问 题如文 件系统的目录访问权限 ( AccessControlList, ACL) 继承、目录配额( DirectoryQuota) 且在某层目录设置权限 、配额,就需要将信息同步 到下面 的子目录和文件,这会存在难度很大 的同步设计


·  主机挂载 NAS时采用的可移植操作系统接( PortableOperatingSystemInterface,POSIX),本身并不是为海 扩展而设计的。主机基千 POSIX访问 NAS时采用的虚拟文件系统 ( VirtualFileSystem, VFS)接口并未 针对海文件进行优化 设计,在单个文件系统达到上亿级时 ,其通用设计逻辑会消 耗主机的大资源,从而导致性能严重下降


为了解决海量文件存储的难题,20世纪 90年代,对象存储技术诞生了 。随着公共云对象服务 AWSS3、阿里云对象存储 OSS逐步成熟 ,对象存储服务在海量文 件场景下的独特竞争力逐步体现出来。对象存储服务采用桶和对象的平坦模式数据组织模型,对比文件系统树形目录结构数据模型,元数据管 理大大简化,从而 便千横向扩展 。同时,对象存储采用 域名系统 ( DomainNameSystem, DNS) 作为访问的入口,可将域名和多个网 络 IP关联轻松实现网络扩展。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
对象存储
|
7月前
|
存储 人工智能 大数据
OSS存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型,全面覆盖从热到冷的各种数据存储场景。
167 3
|
存储 监控 安全
云存储-对象存储的基本概述 | 学习笔记
快速学习云存储-对象存储的基本概述
云存储-对象存储的基本概述 | 学习笔记
|
对象存储
|
存储 对象存储
带你读《对象存储实战指南》第三章命名和同步3.4小结
《对象存储实战指南》第三章命名和同步3.4小结
185 0
带你读《对象存储实战指南》第三章命名和同步3.4小结
|
存储 数据库 对象存储
带你读《对象存储实战指南》第三章命名和同步3.3逻辑时钟(一)
《对象存储实战指南》第三章命名和同步3.3逻辑时钟
192 0
带你读《对象存储实战指南》第三章命名和同步3.3逻辑时钟(一)
|
存储 监控 算法
带你读《对象存储实战指南》第三章命名和同步3.2物理时钟同步(一)
《对象存储实战指南》第三章命名和同步3.2物理时钟同步(一)
238 0
带你读《对象存储实战指南》第三章命名和同步3.2物理时钟同步(一)
|
域名解析 存储 缓存
带你读《对象存储实战指南》第三章命名和同步3.1命名技术(三)
《对象存储实战指南》第三章命名和同步3.1命名技术(三)
201 0
带你读《对象存储实战指南》第三章命名和同步3.1命名技术(三)
|
网络安全 对象存储 网络架构
《对象存储实战指南》第三章命名和同步3.1命名技术(二)
《对象存储实战指南》第三章命名和同步3.1命名技术
210 0
《对象存储实战指南》第三章命名和同步3.1命名技术(二)
|
监控 网络协议 Java
带你读《对象存储实战指南》第三章命名和同步3.1命名技术
《对象存储实战指南》第三章命名和同步3.1命名技术
217 0
带你读《对象存储实战指南》第三章命名和同步3.1命名技术
下一篇
DataWorks