开发者社区> panyun> 正文

极速同步:网关间多点协同实现数据共享最佳实践

简介: 背景 网关网关提供了从OSS到NAS协议转换,依托于OSS的稳定性和经济性,降低了用户的使用成本,又具备了传统NAS的易用性和POSIX兼容性,可以与用户的已有应用无缝对接,满足了中小企业客户的需求。
+关注继续查看

背景

网关网关提供了从OSS到NAS协议转换,依托于OSS的稳定性和经济性,降低了用户的使用成本,又具备了传统NAS的易用性和POSIX兼容性,可以与用户的已有应用无缝对接,满足了中小企业客户的需求。随着企业规模的增大,用户的分支机构也增多,多地共享数据的需求也逐渐凸显。云存储网关上线一年多的时间里,不断的在收集用户的需求,推出新的功能,解决用户的痛点。今天我们就来看一下网关是如何解决多地共享数据这个难题的。

网关协同场景一

如果用户使用同一个区域的线上网关共享数据,并且在不同网关间进行负载均衡。如下图,就是一个典型的同区域的多网关高效共享Bucket数据的拓扑图。
vpc_1

线上网关在同一个VPC内,或者通过云企业网打通,通过VPC endpoint高速访问OSS,可以将文件快速上传至OSS。这里的难点是如何将其他网关的上传文件信息推送给其他网关,让每个网关在最短的时间内可以看到相同的共享数据的视图。极速同步功能为共享的Bucket创建OSS事件通知规则,并创建对应的MNS消息主题和消息队列,当网关有文件上传到OSS时,OSS会匹配事件通知规则,将该文件的变更信息以MNS消息的方式投递到MNS消息主题,消息主题会分发消息给订阅的各个消息队列,同步组的每个共享监听和接收对应的消息队列的消息。共享解析获取到的消息,再从OSS上获取对应对象的完整元数据信息,实现了增量的同步更新。由于MNS也在同一个区域内,网关可以通过MNS VPC endpoint接收消息,时延很小。在批量上传的场景下,网关可以多路并发接收消息,每秒可以处理上千个OSS通知消息,实现高效极速同步。
vpc_express

网关协同场景二

在更加复杂的协同办公环境下,文件网关还有可能部署在线下机房,通过专线或者公网访问OSS,如果考虑到多地跨区域共享的话,异地的文件网关只能通过广域网发起访问,拓扑图如下:
nonvpc_1

如果线下机房有专线连接阿里云,只要配置好OSS endpoint,就能在同一个VPC内高速访问OSS;如果线下机房只能公网访问阿里云,配置网关共享的时候只能选择公网OSS endpoint作为访问点。同样的,跨地域的网关想要访问OSS,创建共享的时候需要勾选跨域选项,这时候选择OSS所在区域的公网endpoint。由于公网复杂多变,有时延高,带宽受限,网络抖动等诸多限制,如果要共享Bucket中的数据,用扫描Bucket对象的方式去同步元数据,是相当低效的。极速同步功能的推出,将共享从公网定期扫描云上对象的泥潭中解放出来,用增量的方式去及时获取云上数据的变化,无惧Bucket中有海量数据的事实,轻松在秒级获取最新的元数据。实验数据表明,在线下或者跨域公网访问MNS消息队列时,并发处理OSS事件消息的数量可以达到百级,除了初始的全量扫描之外,避免了后续全量扫描文件的开销,满足了大部分广域网协同共享数据的需求,具体的拓扑图如下:
nonvpc_express

小结

本文分别从同VPC多网关共享数据和线下/跨域网关通过公网共享数据这两个典型的场景分析了全量扫描同步元数据的挑战以及利用云存储网关的极速同步功能如何有效解决这个问题,极速同步让多网关间秒级同步共享,高效协同成为现实。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
网络链路存在的问题及解决方案|学习笔记
快速学习网络链路存在的问题及解决方案
62 0
网络链路存在的问题及解决方案|学习笔记
快速学习网络链路存在的问题及解决方案
125 0
vos怎样指定某个对接网关走某个落地网关
vos怎样指定某个对接网关走某个落地网关
44 0
云原生系列二:如何实现跨数百个K8s集群的管理
​  今天就由叶秋学长带领大家学习云原生专栏系列二:如何实现跨数百个K8s集群的管理? Intuit 实现数百个K8s集群的管理 Intuit公司成立于1983年。它以个人财经软件为主要产品。2019年10月入选《财富》杂志“2019未来50强榜单”,排第21位。截至当年,Intuit公司4大BU、30个业务部门运行了大约160个K8s集群,大约5400个名称空间,每天要进行1300次的部署。那么他是如何做到,今天我们做一个简单的讲解。 首先就是为什么Intuit公司要划分如此多的集群?他们希望在不同的业务部门之间实现隔离,并且各业务部门能够拥有自主权;其次,为了满足合规,将审计限
155 0
基于 Mesh 的统一路由在海外业务的实践
本文主要介绍我们最近在利用 Service Mesh 架构解决海外业务问题中一些实践和价值探索。我们在海外业务引入 Mesh 架构过程中,充分利用 Istio 的基于 yaml 来描述和定义路由的抽象能力,制定了企业流量治理标准,并将集团海外业务发展多年的多种路由模块统一成使用 Mesh 的统一路由框架,且在今年双十一支撑了全量的海外业务。也希望通过我们的经验介绍,可以给其他还在探索如何落地 Mesh 的同仁一些参考。
180 0
阿里巴巴是如何打通 CMDB,实现就近访问的?
CMDB在企业中,一般用于存放与机器设备、应用、服务等相关的元数据。当企业的机器及应用达到一定规模后就需要这样一个系统来存储和管理它们的元数据。有一些广泛使用的属性,例如机器的IP、主机名、机房、应用、region等,这些数据一般会在机器部署时录入到CMDB,运维或者监控平台会使用这些数据进行展示或者相关的运维操作。
169 0
带你读《云网络:数字经济的连接》第三章云数据中心网络3.3NAT网关
《云网络:数字经济的连接》第三章云数据中心网络3.3
130 0
Yurt-Tunnel 详解|如何解决 K8s 在云边协同下的运维监控挑战
伴随着 5G、IoT 等技术的快速发展,边缘计算被越来越广泛地应用于电信、媒体、运输、物流、农业、零售等行业和场景中,成为解决这些领域数据传输效率的关键方式。与此同时,边缘计算形态、规模、复杂度的日益增长,边缘计算领域的运维手段、运维能力对边缘业务创新速度的支撑日趋乏力。于是,Kubernetes 迅速成为边缘计算的关键要素,帮助企业在边缘更好地运行容器,最大化利用资源、缩短研发周期。
678 0
基于转发路由器构建企业级组网最佳实践
由于业务需要,客户在云上同地域有多个VPC,希望可以实现多VPC之间的灵活通信,如全部VPC之间可以互相访问、部分VPC隔离、所有流量引流至安全VPC做安全管控、所有VPC统一互联网出口等场景。
175 0
简单高效的跨账号网络互通方案 - 方案实操
基于资源目录场景下,企业将多账号有序组织起来后,如何快速实现它们之间的网络互通。
1242 0
+关注
panyun
文章
问答
视频
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
相关文档: 对象存储 文件存储NAS
文章排行榜
最热
最新
相关电子书
更多
金融异构报文处理和分发
立即下载
超融合网关和软硬件网关编排平台
立即下载
《构建企业私网连接新生态》
立即下载