一文了解阿里云对象存储OSS

对象存储OSS是什么？

对象存储服务（Object Storage Service，简称 OSS），以 HTTP RESTful API 的形式对外提供服务，是阿里云提供的海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面覆盖从热到冷的各种数据，优化存储成本。其数据可靠性不低于 99.9999999999%（12 个 9），服务可用性不低于 99.995%

 

 

对象存储OSS能做什么？

OSS 具有与平台无关的 RESTful API 接口，可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。

阿里云-云存储产品生态

 

 

 

对象存储OSS与传统存储有哪些区别？

SAN(块存储) 和 NAS(文件存储)都是面向数据中心内访问的设备，而OSS（对象存储）产生的目的根本就不是在数据中心内使用，而是面向互联网、移动互联网(3G、4G、5G)而产生的，为大量使用的网页、视频、图片、音频、文档访问而设计。

 

源自：对象存储 OSS 的智能数据分析处理框架

 

 

 

对象存储OSS有哪些功能？

多种存储类型

支持数据冷热分层，提供更具性价比的存储方式

• 数据冷热分层维度

• • 提供标准型、低频型、归档型以及冷归档型四种存储类型，满足不同场景的数据存储,了解存储类型详情

• 数据冗余维度

• • 提供同城区域冗余ZRS、本地冗余LRS类型；ZRS，将数据冗余存放在多个可用区，具备机房级容灾能力；LRS，将数据冗余存放在同一可用区的多个设备，抵御硬盘/存储服务器级故障。

 

数据保护与安全

支持多冗余的可靠架构、完整性校验、权限控制、加密、日志审计、数据合规等，提供更可靠、更安全、更合规的对象存储

 

数据可靠

多重冗余分布式架构，有效应对各类硬件故障，消除单点隐患，提供最大12个9的数据持久性设计

 

完整性校验

存储和读取数据时，对网络流量计算CRC64校验和，检测数据包是否损坏，确保数据完整性

 

完善的权限控制

提供RAM、ACL、BucketPolicy、URL签名等多种访问控制机制，支持Bucket、Object、API级细粒度授权

 

网络访问安全防护

支持防盗链，支持通过BucketPolicy设置IP黑白名单或限制只能Https访问

 

数据加密

提供服务端加密、客户端加密的多种数据加密选项

 

日志审计

支持将OSS访问记录，按小时导出成日志文件，用于分析与审计；支持实时日志查询，结合日志服务，分钟级日志推送，秒级查询与可视化分析

 

数据合规

OSS支持WORM策略（一次写入，多次读取）， 保护周期内，任何人都不能对文件进行修改和删除，满足行业合规要求。同时，阿里云通过国内外多项认证，率先将众多的合规控制点，融入云平台内控管理和产品设计中了解更多详情

 

 

企业级数据管理

支持生命周期、回源、更丰富的数据上传与下载方式、事件通知、回调等，提供更简单易用、更便于管理的对象存储

 

生命周期

可定义数据的生命周期，将符合规则的对象转换存储类型或过期清除

 

镜像回源

支持配置用户源站，当访问数据不在OSS时，OSS会从源站拉取并写入OSS

 

文件上传

支持PutObject、PostObject、MultipartUpload、AppendObject方式。其中，Append上传的文件，支持在文件末尾追加内容

 

文件下载

支持简单下载、断点续传下载，其中断点续传下载，可设置从Object指定的位置开始下载

 

云监控

对接云监控，支持OSS基础服务指标、性能指标和计量指标的监控

 

事件通知

支持事件通知，OSS上Object相关操作可触发事件通知，用户可设置触发器，以执行各种操作

 

实时日志

支持导出访问日志到用户Bucket，也可结合日志服务，对OSS访问记录实时查询、可视化分析，满足企业运维审计、业务分析等需求

 

数据处理能力

支持图片、文档、视频、CSV等数据的常用处理和分析能力，提供更智能的对象存储

 

图片处理

支持jpg、png、bmp、gif、webp、tiff等格式的转换，以及缩略图、剪裁、水印、缩放等多种操作

 

视频截帧

支持截取出视频中的指定位置生成图片，完成视频截帧

 

文档预览

支持对ppt、xls、doc、pdf 等格式文档进行在线预览

 

标签识别

支持图片场景标签识别，如交通工具、电子产品、常用物品、饮食等，支持分层标签

 

人脸识别

支持图片中多张人脸的位置与属性检测，如性别、年龄、情绪、头部姿势、眼睛状态、模糊度等

 

OSS Select

支持通过SQL选取CSV、JSON文件内容，而无需下载整个文件再分析，可为大数据应用提速

 

 

数据生态丰富

支持对接开源生态、阿里云丰富的计算产品、数据管理产品，帮助客户释放数据更大的业务价值

 

开源生态

中国首家被Hadoop官方社区支持的云存储，可对接丰富的开源生态。用户可通过Logstash、Flume将日志投递到OSS，可在Hadoop、Spark、Hive、Impala、Flink、Presto中访问OSS，通过计算存储分离架构，将温数据、冷

数据存储在OSS。

 

计算产品对接

OSS无缝对接阿里云日志服务、EMR、DataLakeAnalytics、函数计算、批量计算、MaxCompute，满足用户日志投递、离线处理、交互式查询、Severless触发计算、批量计算等场景需求。

 

数据管理生态

支持通过阿里云DBS，将各类数据库备份到OSS；通过数据集成，将数据导入到OSS；通过阿里云混合云存储阵列结合云上OSS，可实现本地和云端存储空间的无缝结合。

 

 

大规模数据迁移

支持PB级的在线、离线迁移方案，完成中国互联网首个单客户百PB级数据的迁移上云案例，提供更安全、更快速海量数据迁移上云方案

 

离线数据迁移

闪电立方可将用户线下数据，安全、高效的迁移到OSS，提供端到端的加密机制，支持TB到PB级数据迁移上云

 

在线数据迁移

用户可使用阿里云在线数据迁移服务、OSSImport工具，将第三方云存储、自建线下存储等各类数据，在线迁移到OSS，支持TB至PB级数据迁移到OSS

 

HDFS数据迁移

通过Hadoop对OSS的支持，用户可以在自建的Hadoop集群或通过阿里云EMR，将HDFS中大规模的数据迁移到OSS

 

 

 

对象存储OSS有哪些技术优势？

对象存储设置之初便是面向网络、海量数据的高可靠、高可用、可弹性扩容的公共服务

设计目标

 

任意大小数据对象存储

• 单个对象最大可存48TB

• • Normal （0～5GB）
  • Multipart（0～48.8TB）
  • Appendable（0～5GB）

• 针对移动场景的调优

• • 断点续传
  • Multipart Part最小可以到100KB

• Append

• • 满足边写边读

 

海量存储

• 可线性扩展
• 万台单集群

 

弹性扩容

能够自适应业务数据快速增长，避免出现存储空间被打爆，通过业界领先的资源供应链管理、软件分布式弹性设计，实现 百 EB 级空间、百万亿级对象规模 能力

 

高可靠性

指在硬盘、服务器、网络等故障情况下，以及火灾、地震、洪水等灾害时，可以有效防止数据丢失，通过跨机机柜、机房、区域的数据冗余，实现了99.9999999999%（12 个 9）的高可靠性

• 同城冗余存储(3AZ)，实现 RPO 为 0 的容灾能力。基于遵守 PAXOS 的一致性协议、精妙设计的 AZ 间带宽和时延、以及数据分片的策略，保证了 AZ 故障后的快速切换，零数据丢失。经过蚂蚁主站(支付宝账单、刷脸类业务)、网商银行、淘宝短视频、天猫大屏等的业务打磨，检验了 3AZ 的能力，得到了广泛认可。
• 跨区域复制2.0，实现 RPO 为秒级～分钟级的容灾能力。新版本的复制，在性能优化、用户隔离、依赖解藕方面，做了针对性设计优化，提高了复制的能力。同时，针对云客户在同城两数据中心场景下，实现 OSS 的桶能够跨两数据中心保存数据的需求，开发了 OSS 双集群同城容灾 特性。

 

高可用性

指在服务器故障时、光纤挖断时，可自动切换实现业务连续性，通过容错设计，实现了 99.995% 的可用性

 

安全存储

指数据访问的认证、授权、加密、以及行业法规遵从，支持多项合规认证，比如 KMS 加密、WORM 认证等

 

自动生命管理

支持冷热数据的管理，优化 TCO，提供标准、低频、归档存储，并自动化迁移，优化存储使用成本。

 

公共服务

• 多租户
• 隔离
• QoS

 

 

对象存储OSS有哪些产品优势？

稳定可靠

OSS作为阿里巴巴全集团数据存储的核心基础设施，多年支撑双十一业务高峰，历经高可用与高可靠的严苛考验。OSS的多重冗余架构设计，为数据持久存储提供可靠保障。同时，OSS基于高可用架构设计，消除单节故障，确保数据业务的持续性。

安全合规

支持服务端加密、客户端加密、防盗链、IP黑白名单、细粒度权限管控、日志审计、WORM特性，并获得多项合规认证，包括SEC、FINRA等，满足企业数据安全与合规要求。

智能存储

提供多种数据处理能力，如图片处理、视频截帧、文档预览、图片场景识别、人脸识别、SQL就地查询等，并无缝对接Hadoop生态、以及阿里云函数计算、EMR、DataLakeAnalytics、BatchCompute、MaxCompute、DBS等产品，满足企业数据分析与管理的需求。

数据分层

提供标准、低频、归档以及冷归档多种类型，通过生命周期自动化实现数据类型转换与过期管理，覆盖从热到冷多种存储场景。

 

方便易用

提供RESTFul API、控制台、多种开发语言的SDK、命令行工具、图形化工具等多种使用方式，可以随时随地通过网络管理数据。

 

弹性扩容

支持按量付费模式，按实际使用量付费，无需提前一次性投入。同时，自动弹性扩展，不限用户存储的容量和文件数目，满足EB级海量存储需求。

 

 

 

对象存储OSS有哪些基本概念？

存储空间（Bucket）

用于存储对象（Object）的容器，同一个存储空间的内部是扁平的，没有文件系统的目录等概念，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。可根据实际需求，创建不同存储空间存储不同数据。

 

对象/文件（Object）

是 OSS 存储数据的基本单元，也被称为 OSS 的文件。对象由元信息（Object Meta）、用户数据（Data）和文件名（Key）组成。对象由存储空间内部唯一的 Key 来标识。对象元信息是一组键值对，表示了对象的一些属性，比如最后修改时间、大小等信息，支持在元信息中存储一些自定义的信息。对象的生命周期是从上传成功到被删除为止