OSS回源的几种方式和应用场景

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000 次 1年
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: 原作者:阿里云解决方案架构师,韩虎。OSS回源有多种方式,选择哪种方式最合适,尤其是对于建立了混合云模式的大客户,怎样通过专线回源,是本文试图解决的问题。

OSS回源方式

OSS伪源服务:伪源服务是OSS团队开发的一款SaaS形态的文件上传OSS的工具,需使用SLB、ECS、RDS资源进行部署,可支持经典网络和VPC网络,支持上传请求鉴权和上传文件MD5校验,已有多个大客户在使用。

OSS镜像回源:使用镜像方式配置回源规则,当请求在OSS没有找到文件,会自动到源站抓取对应文件保存到OSS,并将内容直接返回到用户。

OSS重定向方式回源:使用重定向方式配置回源规则,满足响应条件的请求,会通过HTTP重定向的方式返回重定向的地址,然后浏览器或客户端再到源站获取内容。

镜像回源模式一:公网链路

0fdd569571d20e83a88852ea4691baca7e9ca889

解读:CDN回源到OSS,OSS在Bucket没找到文件,OSS走Internet链路按照配置的源站地址直接到客户源站回源取文件。

适合场景:适合大部分源文件在OSS,少量文件在客户源站,比如平滑迁移源站场景(会有少量文件继续写到客户源站)。

镜像回源模式二:专线链路

45526662f8b747dd57487d1a0db02f660a1671c1

解读:OSS直接透过客户VPC将回源请求通过高通专线透传到客户源站进行源文件抓取。

云平台安全方不允许此种回源方案,因为相当于OSS可以访问云下地址,如果客户更改成恶意源站地址,会对云平台造成安全风险,此前有过案例,除非OSS回源时可以对客户做鉴权。

镜像回源模式三:专线+Proxy

dad4f8f834ced524475a37bc5b48e52e85f8e342

解读:OSS回源请求通过Internet公网先回源到公网SLB,然后再在VPC ECS上部署Nginx将回源请求通过高通专线透传到源站。

适合场景:希望OSS镜像回源功能能够走专线,以保证回源稳定性和效率。

OSS内容同步方案:专线+伪源

6f1f9d3e97a682c5c91f4b7c312528be08790814

解读:在VPC中部署伪源服务,客户侧调用伪源服务接口发起源文件上传请求,伪源调用接口按指定URL抓取文件并上传到OSS。

适合场景:大量源文件走专线进行主动OSS上传,并可进行文件MD5校验后再上传OSS Bucket。

OSS内容同步-专线+伪源+镜像回源

f9ee0e33d0e91f0d757d11336eb4d0ff6103c095

解读:先使用伪源服务走专线进行大部分源文件预上传,然后再使用OSS镜像回源功能走公网或专线回源拉取少部分文件。

方案对比

9330f83de4a41a54046959de19d2c19e22507e6e

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
目录
相关文章
|
11天前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
13天前
|
存储 域名解析 前端开发
震惊!不买服务器,还可以用阿里云国际站 OSS 轻松搭建静态网站
在数字化时代,利用阿里云国际站OSS可低成本搭建静态网站。本文详解OSS优势及步骤:创建Bucket、上传文件、配置首页与404页面、绑定域名等,助你快速上线个人或小型业务网站,操作简单,成本低廉,适合初学者与中小企业。
|
14天前
|
存储 安全 API
某网盘不好用?有没有类似某网盘的存储软件?阿里云国际站 OSS:云存储的全能助手,你 get 了吗?
在数据爆炸时代,阿里云国际站OSS提供海量、安全、低成本的云存储服务,支持多种数据类型存储与灵活访问,助力企业与个人高效管理数据,降低存储成本。开通简便,操作友好,是理想的云端数据解决方案。
|
7月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
128 0
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
10月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
160 1
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
存储 运维 安全
阿里云OSS的优势
【7月更文挑战第19天】阿里云OSS的优势
567 2
|
存储 API 开发工具
阿里云OSS
【7月更文挑战第19天】阿里云OSS
1294 2

热门文章

最新文章