OSS 入门基础篇- OSS 产品易用性

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

开发者 API 调用

OSS 支持 RESTFUL API 形式调用,基本上服务端控制台上的功能配置,都可以通过 API 完成配置操作。也可以通过 OpenAPI 对文件进行集群的管理,结果用户访问控制台(RAM policy)加强客户的安全屏蔽,目前支持的 API 如下;

  • GetService (ListBuckets)

    • 对服务地址做Get请求可以返回请求者拥有的所有存储空间(Bucket),其中正斜线(/)表示根目录。
  • PutBucket

    • PutBucket接口用于创建存储空间(Bucket)
  • DeleteBucket

    • DeleteBucket用于删除某个存储空间(Bucket)。
  • GetBucket (ListObjects)

    • GetBucket接口用于列举存储空间(Bucket)中所有文件(Object)的信息。
  • GetBucketInfo

    • GetBucketInfo接口用于查看存储空间(Bucket)的相关信息。只有Bucket的拥有者才能查看Bucket的信息。
  • GetBucketLocation

    • GetBucketLocation接口用于查看存储空间(Bucket)的位置信息。只有Bucket的拥有者才能查看Bucket的位置信息。
  • PutBucketACL

    • PutBucketACL接口用于修改存储空间(Bucket)的访问权限。只有该Bucket的创建者有权限执行此操作。
  • GetBucketAcl

    • GetBucketAcl接口用于获取某个存储空间(Bucket)的访问权限(ACL)。只有Bucket的拥有者才能获取Bucket的访问权限。
  • PutBucketLifecycle

    • PutBucketLifecycle接口用于设置存储空间(Bucket)的生命周期规则。生命周期规则开启后,OSS将按照配置规则,定期自动删除与规则相匹配的文件(Object)。只有Bucket的拥有者才能发起此请求。
  • GetBucketLifecycle

    • GetBucketLifecycle接口用于查看存储空间(Bucket)的生命周期规则(Lifecycle)。只有Bucket的拥有者才有权限查看Bucket的生命周期规则。
  • DeleteBucketLifecycle

    • DeleteBucketLifecycle接口用于删除指定存储空间(Bucket)的生命周期规则。使用DeleteBucketLifecycle接口删除指定Bucket所有的生命周期规则后,该Bucket中的文件(Object)不会被自动删除。只有Bucket的拥有者才能删除该Bucket的生命周期规则。
  • PutBucketVersioning

    • PutBucketVersioning用于设置指定 Bucket 的版本控制状态。只有 Bucket 所有者有权限执行此操作。
  • GetBucketVersioning

    • GetBucketVersioning接口用于获取指定 Bucket 的版本控制状态。
  • GetBucketVersions(ListObjectVersions)

    • GetBucketVersions接口用于列出 Bucket 中包括删除标记(Delete Marker)在内的所有 Object 的版本信息。
  • PutBucketPolicy

    • PutBucketPolicy接口用于为指定的存储空间(Bucket)设置授权策略(Policy)。
  • GetBucketPolicy

    • GetBucketPolicy用于获取指定存储空间(Bucket)的权限策略(Policy)。
  • DeleteBucketPolicy

    • DeleteBucketPolicy用于删除指定存储空间(Bucket)的权限策略(Policy)。
  • GetBucketLogging

    • GetBucketLogging接口用于查看存储空间(Bucket)的访问日志配置。只有Bucket的拥有者才能查看Bucket的访问日志配置。
  • DeleteBucketLogging

    • DeleteBucketLogging用于关闭存储空间(Bucket)的访问日志记录功能。只有Bucket的拥有者才有权限关闭Bucket访问日志记录功能。
  • PutBucketLogging

    • PutBucketLogging接口用于为存储空间(Bucket)开启访问日志记录功能。访问日志记录功能开启后,OSS将自动记录访问Bucket请求的详细信息,并以小时为单位将访问日志作为一个文件(Object)写入指定的Bucket。
  • PutBucketWebsite

    • PutBucketWebsite接口用于将一个bucket设置成静态网站托管模式,以及设置跳转规则。
  • GetBucketWebsite

    • GetBucketWebsite接口用于查看存储空间(Bucket)的静态网站托管状态以及跳转规则。
  • DeleteBucketWebsite

    • DeleteBucketWebsite接口用于关闭存储空间(Bucket)的静态网站托管模式以及跳转规则。只有Bucket的拥有者才能关闭Bucket的静态网站托管模式。
  • GetBucketReferer

    • GetBucketReferer接口用于查看存储空间(Bucket)的防盗链(Referer)相关配置。
  • PutBucketReferer

    • PutBucketReferer接口用于设置存储空间(Bucket)的防盗链(Referer)。您可以使用此接口设置Referer的访问白名单以及是否允许Referer字段为空。
  • PutBucketReferer

    • PutBucketTags接口用来给某个Bucket添加或修改标签。
  • GetBucketTags

    • GetBucketTags用于获取存储空间(Bucket)的标签信息。
  • DeleteBucketTags

    • DeleteBucketTags接口用于删除存储空间(Bucket)标签。
  • PutBucketEncryption

    • PutBucketEncryption接口用于配置Bucket的加密规则。
  • GetBucketEncryption

    • GetBucketEncryption接口用于获取Bucket加密规则。
  • DeleteBucketEncryption

    • DeleteBucketEncryption接口用于删除Bucket加密规则。
  • PutBucketRequestPayment

    • PutBucketRequestPayment接口用于设置请求者付费模式。
  • GetBucketRequestPayment

    • GetBucketRequestPayment接口用于获取请求者付费模式配置信息。
  • PutBucketCORS

    • PutBucketcors接口用于为指定的存储空间(Bucket)设定一个跨域资源共享(CORS)规则。如果Bucket已有CORS规则,使用此接口会覆盖原有规则。Bucket默认不开启CORS功能,所有跨域请求的Origin都不被允许。
  • GetBucketCORS

    • GetBucketCORS接口用于获取指定存储空间(Bucket)当前的跨域资源共享(CORS)规则。
  • DeleteBucketCORS

    • DeleteBucketcors用于关闭指定存储空间(Bucket)对应的跨域资源共享(CORS)功能并清空所有规则。
  • PutObject

    • 上传文件到 OSS
  • GetObject

    • 下载 OSS 文件
  • CopyObject

    • CopyObject接口用于在存储空间(Bucket )内或同地域的Bucket之间拷贝文件(Object)。使用CopyObject接口发送一个Put请求给OSS,OSS会自动判断为拷贝操作,并直接在服务器端执行该操作。
  • AppendObject

    • AppendObject接口用于以追加写的方式上传文件(Object)。通过AppendObject操作创建的Object类型为Appendable Object,而通过PutObject上传的Object是Normal Object。
  • DeleteObject

    • DeleteObject用于删除某个文件(Object)。使用DeleteObject需要对该Object有写权限。
  • DeleteMultipleObjects

    • DeleteMultipleObjects接口用于删除同一个存储空间(Bucket)中的多个文件(Object)。
  • HeadObject

    • HeadObject接口用于获取某个文件(Object)的元信息。使用此接口不会返回文件内容。
  • GetObjectMeta

    • GetObjectMeta接口用于获取一个文件(Object)的元数据信息,包括该Object的ETag、Size、LastModified信息,并且不返回该Object的内容。
  • PostObject

    • PostObject使用HTML表单上传Object到指定Bucket。
  • Callback

    • 用户只需要在发送给 OSS 的请求中携带相应的 Callback 参数,即能实现回调。本文详细介绍Callback的实现原理。
  • RestoreObject

    • RestoreObject接口用于解冻归档类型(Archive)的文件(Object)。
  • SelectObject

    • SelectObject用于对目标文件执行SQL语句,返回执行结果。
  • InitiateMultipartUpload

    • 使用Multipart Upload模式传输数据前,必须先调用该接口来通知OSS初始化一个Multipart Upload事件。
  • UploadPart

    • 初始化一个MultipartUpload之后,可以根据指定的Object名和Upload ID来分块(Part)上传数据。
  • UploadPartCopy

    • UploadPartCopy通过从一个已存在的Object中拷贝数据来上传一个Part。
  • CompleteMultipartUpload

    • 在将所有数据Part都上传完成后,必须调用CompleteMultipartUpload接口来完成整个文件的MultipartUpload。
  • AbortMultipartUpload

    • AbortMultipartUpload接口用于终止MultipartUpload事件。您需要提供MultipartUpload事件相应的Upload ID。
  • ListMultipartUploads

    • ListMultipartUploads用来列举所有执行中的Multipart Upload事件,即已经初始化但还未Complete或者Abort的Multipart Upload事件。
  • ListParts

    • ListParts接口用于列举指定Upload ID所属的所有已经上传成功Part。
  • PutObjectACL

    • PutObjectACL接口用于修改文件(Object)的访问权限(ACL)。此操作只有Bucket Owner有权限执行,且需对Object有读写权限。
  • GetObjectACL

    • GetObjectACL接口用来获取某个存储空间(Bucket)下的某个文件(Object)的访问权限(ACL)。
  • GetSymlink

    • GetSymlink接口用于获取软链接。此操作需要您对该软链接有读权限。
  • PutSymlink

    • PutSymlink接口用于为OSS的TargetObject创建软链接(Symlink),您可以通过该软链接访问TargetObject。
  • PutObjectTagging

    • 您可以通过PutObjectTagging接口设置或更新对象的标签(Object Tagging)。
  • GetObjectTagging

    • 您可以通过GetObjectTagging接口获取对象的标签信息。
  • DeleteObjectTagging

    • 您可以通过DeleteObjectTagging删除指定对象的标签。
  • PutLiveChannel

    • 通过RTMP协议上传音视频数据前,必须先调用该接口创建一个LiveChannel。调用PutLiveChannel接口会返回RTMP推流地址,以及对应的播放地址。
  • ListLiveChannel

    • ListLiveChannel接口用于列举指定的LiveChannel。
  • DeleteLiveChannel

    • DeleteLiveChannel接口用于删除指定的LiveChannel。
  • PutLiveChannelStatus

    • LiveChannel分为enabled和disabled两种状态。您可以使用PutLiveChannelStatus接口在两种状态之间进行切换。
  • GetLiveChannelInfo

    • GetLiveChannelInfo接口用于获取指定LiveChannel的配置信息。
  • GetLiveChannelStat

    • GetLiveChannelStat接口用于获取指定LiveChannel的推流状态信息。
  • GetLiveChannelHistory

    • GetLiveChannelHistory接口用于获取指定LiveChannel的推流记录。使用GetLiveChannelHistory接口最多会返回指定LiveChannel最近的10次推流记录。
  • PostVodPlaylist

    • PostVodPlaylist接口用于为指定的LiveChannel生成一个点播用的播放列表。OSS会查询指定时间范围内由该LiveChannel推流生成的ts文件,并将其拼装为一个m3u8播放列表。
  • GetVodPlaylist

    • GetVodPlaylist接口用于查看指定LiveChannel在指定时间段内推流生成的播放列表。

开发者 SDK 调用

如果用户端不想自己计算鉴权,直接利用 SDK 封装的 API 工具集,免去鉴权的复杂计算
支持 JAVA、 python、PHP 、GO 、C 、C# 、C++、Ruby 等

热点存储优化

OSS 后端采用的不是 hash key 的方式存储,而是采用了 LSM Tree 结构,系统性能是靠分裂分区扩展的。这种场景要求用户在存储 OSS 内容时,在文件命名上要避开热点前缀。用户如果前缀带了类似日期信息热点前缀,可能导致在切换月份的时候从N个分区跳变到压力集中到一个分区;

细节约定

OSS按照文件名UTF-8编码的顺序对用户数据进行自动分区,从而能够处理海量文件,以及承载高速率的客户请求。不过,如果您在上传大量文件时,在命名上使用了顺序前缀(如时间戳或字母顺序),可能会导致大量文件索引集中存储于某个特定分区。这样,当您的请求速率超过2000次/秒时(下载、上传、删除、拷贝、获取元数据信息等操作算1次操作,批量删除N个文件、列举N个文件等操作算N次操作),会带来如下后果:

  • 该分区成为热点分区,导致分区的I/O能力被耗尽,或被系统自动限制请求速率。
  • 热点分区的存在会触发系统进行持续的分区数据再均衡,这个过程可能会延长请求处理时间。
    以上情况会降低OSS的水平扩展效果,导致客户的请求速率受限。

要解决这个问题,就要消除文件名中的顺序前缀。您可以在文件名前缀中引入某种随机性,这样文件索引(以及 I/O 负载)就会均匀分布在多个分区。

下面提供了几个将顺序前缀改为随机性前缀的方法示例。

sample-bucket-01/2017-11-11/customer-1/file1
sample-bucket-01/2017-11-11/customer-2/file2
sample-bucket-01/2017-11-11/customer-3/file3
...
sample-bucket-01/2017-11-12/customer-2/file4
sample-bucket-01/2017-11-12/customer-5/file5
sample-bucket-01/2017-11-12/customer-7/file6
...

针对这种情况,可以对客户ID计算哈希,即MD5(customer-id) ,并取若干字符的哈希前缀作为文件名的前缀。假如取4个字符的哈希前缀,结果如下:

sample-bucket-01/2c99/2017-11-11/customer-1/file1
sample-bucket-01/7a01/2017-11-11/customer-2/file2
sample-bucket-01/1dbd/2017-11-11/customer-3/file3
...
sample-bucket-01/7a01/2017-11-12/customer-2/file4
sample-bucket-01/b1fc/2017-11-12/customer-5/file5
sample-bucket-01/2bb7/2017-11-12/customer-7/file6
...
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
18天前
|
运维 Serverless 应用服务中间件
Serverless 应用引擎产品使用合集之关于OSS映射目录的大小限制,如何可以跳过
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
Serverless 应用引擎产品使用合集之关于OSS映射目录的大小限制,如何可以跳过
|
1天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之多个业务流程上传同名资源到同一个OSS(对象存储服务)URL,会产生什么问题?
摘要:DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1天前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件?
摘要:DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在使用MaxCompute进行数据集成同步到OSS时,出现表名和OSS文件名不一致且多了后缀,该如何处理?
摘要:DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1天前
|
DataWorks 安全 定位技术
DataWorks产品使用合集之如何同步OSS中的Parquet数据,并解析里面的数组成多个字段?
摘要:DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1天前
|
分布式计算 DataWorks 数据处理
DataWorks产品使用合集之要获取OSS文件大小并配置成调度任务,该如何操作?
摘要:DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
9天前
|
人工智能 对象存储
【阿里云AI助理】自家产品提供错误答案。阿里云OSS 资源包类型: 下行流量 地域: 中国内地通用 下行流量包规格: 300 GB 套餐: 下行流量包(中国内地) ,包1年。那么这个是每月300GB,1年是3600GB的流量;还是1年只有300GB的流量?
自家产品提供错误答案。阿里云OSS 资源包类型: 下行流量 地域: 中国内地通用 下行流量包规格: 300 GB 套餐: 下行流量包(中国内地) ,包1年。那么这个是每月300GB,1年是3600GB的流量;还是1年只有300GB的流量?
88 1
|
18天前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之将按日分区的表同步数据到OSS数据源,该如何配置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
101 1
|
18天前
|
存储 Java Maven
大事件后端项目31--------文件上传_阿里云OSS_入门程序
大事件后端项目31--------文件上传_阿里云OSS_入门程序
|
11小时前
|
持续交付 开发工具 对象存储
阿里云云效产品使用合集之构建物如何上传到阿里云OSS?
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。