OSS回源的几种方式和应用场景

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 原作者:阿里云解决方案架构师,韩虎。OSS回源有多种方式,选择哪种方式最合适,尤其是对于建立了混合云模式的大客户,怎样通过专线回源,是本文试图解决的问题。

OSS回源方式

OSS伪源服务:伪源服务是OSS团队开发的一款SaaS形态的文件上传OSS的工具,需使用SLB、ECS、RDS资源进行部署,可支持经典网络和VPC网络,支持上传请求鉴权和上传文件MD5校验,已有多个大客户在使用。

OSS镜像回源:使用镜像方式配置回源规则,当请求在OSS没有找到文件,会自动到源站抓取对应文件保存到OSS,并将内容直接返回到用户。

OSS重定向方式回源:使用重定向方式配置回源规则,满足响应条件的请求,会通过HTTP重定向的方式返回重定向的地址,然后浏览器或客户端再到源站获取内容。

镜像回源模式一:公网链路

0fdd569571d20e83a88852ea4691baca7e9ca889

解读:CDN回源到OSS,OSS在Bucket没找到文件,OSS走Internet链路按照配置的源站地址直接到客户源站回源取文件。

适合场景:适合大部分源文件在OSS,少量文件在客户源站,比如平滑迁移源站场景(会有少量文件继续写到客户源站)。

镜像回源模式二:专线链路

45526662f8b747dd57487d1a0db02f660a1671c1

解读:OSS直接透过客户VPC将回源请求通过高通专线透传到客户源站进行源文件抓取。

云平台安全方不允许此种回源方案,因为相当于OSS可以访问云下地址,如果客户更改成恶意源站地址,会对云平台造成安全风险,此前有过案例,除非OSS回源时可以对客户做鉴权。

镜像回源模式三:专线+Proxy

dad4f8f834ced524475a37bc5b48e52e85f8e342

解读:OSS回源请求通过Internet公网先回源到公网SLB,然后再在VPC ECS上部署Nginx将回源请求通过高通专线透传到源站。

适合场景:希望OSS镜像回源功能能够走专线,以保证回源稳定性和效率。

OSS内容同步方案:专线+伪源

6f1f9d3e97a682c5c91f4b7c312528be08790814

解读:在VPC中部署伪源服务,客户侧调用伪源服务接口发起源文件上传请求,伪源调用接口按指定URL抓取文件并上传到OSS。

适合场景:大量源文件走专线进行主动OSS上传,并可进行文件MD5校验后再上传OSS Bucket。

OSS内容同步-专线+伪源+镜像回源

f9ee0e33d0e91f0d757d11336eb4d0ff6103c095

解读:先使用伪源服务走专线进行大部分源文件预上传,然后再使用OSS镜像回源功能走公网或专线回源拉取少部分文件。

方案对比

9330f83de4a41a54046959de19d2c19e22507e6e

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
2月前
|
Java API 开发工具
如何用阿里云 oss 下载文件
阿里云对象存储服务(OSS)提供了多种方式下载文件,以下讲解下各种方式的下载方法
1048 1
|
2月前
|
存储 安全 对象存储
手把手教你搭建阿里云图床(PicGo+Typora+阿里云OSS),新手小白一看就会
本文详细介绍了怎样帮助新手小白从注册,购买阿里云OSS,到一步一步配置OSS做为图床,和PicGo、Typora软件连接,配置好关联之后,在使用Typora写文章时,如果需要插入图片,只需要将图片复制粘贴到Typora的编辑区域,就会自动通过PicGo上传到指定图床,自动复制外网能访问的URL并展示,简直不要太方便,极大的解决了编辑文章时复制处理图片链接的痛点。
216 2
手把手教你搭建阿里云图床(PicGo+Typora+阿里云OSS),新手小白一看就会
|
3月前
|
对象存储
minio临时凭证直传切换到阿里云oss
minio临时凭证直传切换到阿里云oss
190 1
|
2月前
|
弹性计算 前端开发 小程序
微信小程序上传文件至阿里云OSS直传(java后端签名+前端直传)
当前的通用文件上传方式是通过前端上传到服务器,再由服务器转存至对象存储。这种方式在处理小文件时效率尚可,但大文件上传因受限于服务器带宽,速度较慢。例如,一个100MB的文件在5Mbps带宽的阿里云ECS上上传至服务器需160秒。为解决此问题,可以采用后端签名的方式,使微信小程序直接上传文件到阿里云OSS,绕过服务器中转。具体操作包括在JAVA后端引入相关依赖,生成签名,并在微信小程序前端使用这个签名进行文件上传,注意设置正确的请求头和formData参数。这样能提高大文件上传的速度。
|
4天前
|
分布式计算 大数据 MaxCompute
MaxCompute产品使用合集之使用pyodps读取OSS(阿里云对象存储)中的文件的步骤是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之DLC的数据写入到另外一个阿里云主账号的OSS中如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
9天前
|
网络协议 对象存储
阿里云oss配置自有域名
阿里云oss配置自有域名
18 1
|
11天前
|
存储 JSON 前端开发
Javaweb之SpringBootWeb案例之阿里云OSS服务集成的详细解析
Javaweb之SpringBootWeb案例之阿里云OSS服务集成的详细解析
10 0
|
11天前
|
存储 开发工具 对象存储
Javaweb之SpringBootWeb案例之阿里云OSS服务入门的详细解析
Javaweb之SpringBootWeb案例之阿里云OSS服务入门的详细解析
16 0
|
11天前
|
存储 文字识别 安全
Javaweb之SpringBootWeb案例之阿里云OSS服务的详细解析
Javaweb之SpringBootWeb案例之阿里云OSS服务的详细解析
13 0