一站式极致读吞吐,加速业务数字化转型 - 阿里云对象存储 OSS加速器解析与实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 阿里云对象存储OSS重磅推出OSS加速器功能,提供高性能、高吞吐量的数据访问服务。

OSS加速器介绍

   对象存储OSS(Object Storage Service)具有海量、可靠、安全、高性能、低成本的特点。OSS提供标准、低频、归档、冷归档类型,覆盖多种数据从热到冷的存储需求,单个文件的大小从1字节到48.8TB,可以存储的文件个数无限制。OSS已成为互联网、企业级数据应用的基础设施。

   然而,随着互联网业务的发展,越来越多的业务对数据的吞吐提出了更高的要求。为此,阿里云对象存储OSS重磅推出OSS加速器功能,它可以缓存OSS中的热点对象,提供高性能、高吞吐量的数据访问服务。

   OSS加速器适用于基因训练、机器学习、数据湖大数据计算等需要大带宽,且数据重复读较多的场景。OSS加速器是一个标准的服务端缓存服务,和计算完全解耦,不同于传统的OSS功能,其为AZ级的服务模式,用户可以在相关AZ创建加速器,计算引擎通过缓存加速域名进行数据读写。在典型的一些数据湖场景中,例如大数据计算(EMR/DLA等) + OSS场景中,数据读取要求的带宽可能高达数百Gbps~Tbps,普通存储空间的吞吐能力往往无法轻松应对这种大带宽的读取需求。这时您可以开启OSS加速器,将需要重复读取的数据缓存在加速中。当上层应用向OSS加速器请求数据时,加速器根据您购买的加速器的容量大小提供1.6Gbps/TB的带宽(或200MBps/TB的吞吐)和一定的回源带宽(回源带宽是指首次访问不存在于加速器中的数据时,从OSS读取原始数据的带宽,然后OSS会将该数据缓存到加速器中)。

   下图是数据访问流程:

ffa4b588caad4c31bedfb67081bd7015.png

OSS加速器技术特点

1) 极致吞吐能力
   OSS加速器有效解决多种应用场景(比如数据湖等)的读吞吐的挑战,特别是重复读的场景,其能够每TB提供200MBps(Byte)的吞吐能力,线性扩展,最高可以交付Tbps的带宽交付能力。
2)弹性伸缩
   通常计算任务有周期性需求,如何有效避免资源浪费,提效降本?通过OSS加速器的弹性伸缩能力,能够在线进行扩容缩容,可以按需释放或提升资源,有效降低TCO。
3)存算分离
   OSS加速器满足计算资源和存储资源解耦,面对计算任务的多样化,不再需要多个自建缓存搭建匹配,存算分离,灵活选择引擎和版本,满足多业务场景的吞吐加速。
4)数据一致
   同时,基于OSS智能元数据架构,OSS加速器提供了传统缓存方案不具备的一致性,当OSS上文件被更新时,加速器能自动识别,确保引擎读取到的都是最新数据。

使用示例

   下面将演示如何创建OSS加速器以及使用OSS加速器的实际效果。

创建OSS加速器

   用户可以在OSS控制台主页面左侧的导航栏下方看到"OSS加速器"标签页,申请试用通过后,可以看到OSS加速器功能界面

7ae0c59939694f01a0c24c420f7f2d66.png

   点击“创建OSS加速器”按钮后我们可以创建OSS加速器,这个时候会弹出"创建OSS加速器"对话框

f385b1d96aa241cb9590b6bc22b661bd.png

   您可以设置加速器的名称和容量,目前加速器的容量是20TB起步,最高可以设置100TB(更高的容量需要开工单进行申请),容量步长为5TB。目前OSS加速器支持的的可用区是上海的cn-shanghai-g可用区,其他的可用区正在逐步开放中。

修改加速器容量

   创建好加速器后,我们还可以修改加速器的容量,修改加速器的容量同样会修改相关的带宽(吞吐)指标(这里显示的是MB/s,可以自行折算成Mbps或Gbps)。

19d97f1da5614a1587a9b876234adca4.png

设置加速路径

   创建好加速器后,我们需要设置加速路径(加速路径是指当访问对象的前缀匹配加速路径时,会访问加速器进行加速数据访问)。

550351cedfb6488c869304bdf78a1eec.png

   目前一个加速器可以可以配置的bucket数量无限制,每个bucket可以配置最多10个加速路径(如果不设置加速路径的话,将会加速整个bucket里面的数据读取)。

效果展示

   下面我们展示一下加速容量从40TB提升到100TB,然后再降为70TB的效果图(图上的带宽吞吐单位是Byte/s,读取的对象之前访问过,已经缓存在加速器中)。

65c455c7f7f3496c9d2dfe125af6c50a.png

   40TB的加速器容量对应的读带宽约是62.5Gbps,当我们将加速器容量提升到100TB时,带宽上升到约156.25Gbps,然后我们将加速器容量降低到70TB,我们可以看到带宽降到约109.375Gbps。可见OSS加速器可以很好地实现读吞吐带宽的按需提升,弹性伸缩,满足相关业务的需求。

试用申请

   目前阿里云对象存储OSS加速器在邀测使用中,阿里云企业认证用户可申请试用,点击立即申请

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
2月前
|
Java 对象存储 开发者
解析Spring Cloud与Netflix OSS:微服务架构中的左右手如何协同作战
Spring Cloud与Netflix OSS不仅是现代微服务架构中不可或缺的一部分,它们还通过不断的技术创新和社区贡献推动了整个行业的发展。无论是对于初创企业还是大型组织来说,掌握并合理运用这两套工具,都能极大地提升软件系统的灵活性、可扩展性以及整体性能。随着云计算和容器化技术的进一步普及,Spring Cloud与Netflix OSS将继续引领微服务技术的发展潮流。
54 0
|
7天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云GPU服务器全解析_GPU价格收费标准_GPU优势和使用说明
阿里云GPU云服务器提供强大的GPU算力,适用于深度学习、科学计算、图形可视化和视频处理等场景。作为亚太领先的云服务商,阿里云GPU云服务器具备高灵活性、易用性、容灾备份、安全性和成本效益,支持多种实例规格,满足不同业务需求。
|
18天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
21天前
|
存储 弹性计算 NoSQL
"从入门到实践,全方位解析云服务器ECS的秘密——手把手教你轻松驾驭阿里云的强大计算力!"
【10月更文挑战第23天】云服务器ECS(Elastic Compute Service)是阿里云提供的基础云计算服务,允许用户在云端租用和管理虚拟服务器。ECS具有弹性伸缩、按需付费、简单易用等特点,适用于网站托管、数据库部署、大数据分析等多种场景。本文介绍ECS的基本概念、使用场景及快速上手指南。
64 3
|
1月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
1月前
|
域名解析 网络协议
非阿里云注册域名如何在云解析DNS设置解析?
非阿里云注册域名如何在云解析DNS设置解析?
|
1月前
|
弹性计算 网络协议 Ubuntu
如何在阿里云国际版Linux云服务器中自定义配置DNS
如何在阿里云国际版Linux云服务器中自定义配置DNS
|
1月前
|
弹性计算 负载均衡 网络协议
内部名称解析设置阿里云私有 DNS 区域,针对于阿里云国际版经验教程
内部名称解析设置阿里云私有 DNS 区域,针对于阿里云国际版经验教程
|
2月前
|
机器学习/深度学习 Java API
阿里云文档智能解析——大模型版能力最佳实践与体验评测
阿里云文档智能解析(大模型版)在处理非结构化数据方面表现优异,尤其是在性能和可扩展性上具有明显优势。虽然存在一些待完善之处,但其强大的基础能力和广泛的适用场景使其成为企业数字转型过程中的有力助手。随着技术的不断进步和完善,相信它会在更多领域展现出更大的价值。
156 5
阿里云文档智能解析——大模型版能力最佳实践与体验评测
|
25天前
|
运维 Cloud Native 持续交付
云原生技术解析:从IO出发,以阿里云原生为例
【10月更文挑战第24天】随着互联网技术的不断发展,传统的单体应用架构逐渐暴露出扩展性差、迭代速度慢等问题。为了应对这些挑战,云原生技术应运而生。云原生是一种利用云计算的优势,以更灵活、可扩展和可靠的方式构建和部署应用程序的方法。它强调以容器、微服务、自动化和持续交付为核心,旨在提高开发效率、增强系统的灵活性和可维护性。阿里云作为国内领先的云服务商,在云原生领域有着深厚的积累和实践。
52 0

相关产品

  • 对象存储
  • 推荐镜像

    更多