如何使用云存储网关软件版

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 云存储网关软件版是一款可以部署在用户自己ECS上的网络文件系统,可以通过Posix文件系统语义对后端OSS对象存储直接进行读写访问。相比于ossfs,云存储网关软件版提供了更丰富的功能和更强大的性能。本文以批量部署云存储网关软件版为例,介绍了云存储网关软件版的使用详细步骤。

背景


云存储网关软件版(简称网关软件版)是一款可以部署在用户自己ECS上的网络文件系统,可以通过Posix文件系统语义,使用和本地文件系统类似的方式对后端OSS对象存储直接进行读写访问。相比于ossfs, 网关软件版通过元数据缓存、文件数据缓存、持久化日志、Sync写等技术,提供了更丰富的功能和更强大的性能。网关软件版和云存储网关托管版的使用场景差异可参考官网文档说明:云存储网关软件版


网关软件版目前支持CentOS 7和Alibaba Cloud Linux 2两种类型操作系统的ECS,可以支持单台ECS单独部署,也可以支持同一个VPC内多台ECS的批量部署。本文以批量部署网关软件版为例,介绍网关软件版的使用步骤。


准备ECS


在部署网关软件版之前需要先将ECS准备好。如果已经准备好了ECS,这个部分的步骤可以直接跳过。

创建ECS的详细步骤可以参考文档:Linux系统实例快速入门

创建ECS时注意如下参数的选择。

  1. ECS的地域:根据应用的需要进行选择。

image.png

  1. ECS的规格:根据应用的需要来选择合适的规格,这里使用的是通用型g6e类型ecs.g6e.large。

image.png

  1. ECS操作系统镜像:目前支持CentOS 7和Alibaba Cloud Linux 2两种,这里选择CentOS 7.6和Alibaba Cloud Linux 2.1903 LTS 64位。

image.png

image.png

  1. 批量创建ECS的数量,根据应用需要来进行选择,这里两种不同的操作系统都创建2台相同的ECS。

image.png

  1. ECS数据盘类型及容量大小,这里也是需要根据应用需要来进行选择,这里选择ESSD PL0 100GB的数据盘。

image.png


  1. 确认ECS创建完成,正常运行。

image.png

  1. 登录4台ECS,进行数据盘挂载。

参考 分区格式化数据盘(Linux)对上述创建的100GB ESSD盘进行分区及挂载,挂载目录都为/mnt。


创建网关软件版


  1. 通过云存储网关CSG的官网点击“立即开通”进入云存储网关控制台界面。

image.png

  1. 点击左侧“网关软件版”进入网关软件版控制台界面。

image.png

  1. 点击右上角“创建”按钮进行网关软件版创建。

image.png

  1. 选择ECS所在的VPC,并点击“下一步”。

image.png

  1. 选择需要部署网关软件版的ECS,并点击“完成”。此处可根据需要选择1台或多台ECS,这里选择了4台ECS一起进行批量部署。

image.png

  1. 网关软件版刚创建完是“Initialized”状态,表示正在激活过程中。等到激活完成后,变成"Activated”状态,则网关软件版创建成功。

image.png

image.png


配置网关软件版


这里对4台ECS上的网关软件版进行批量配置。

  1. 选中要配置的ECS,并点击下方的“挂载配置”

image.png


  1. 进行挂载配置

在进行挂载配置之前先要创建好需要使用的OSS Bucket, 创建方法可以参考:对象存储OSS

“挂载路径”选择有足够空间的一个目录,这里使用之前准备好的数据盘挂载目录/mnt/。

“挂载目录大小”最小为20GB。“挂载目录大小”不能超过“挂载路径”所在盘的空间大小,这里不能超过100GB。设置的“挂载目录大小”中20%会用于保存元数据,所以实际可用于数据缓存的空间是“挂载目录大小”的80%,比如这里配置50GB的“挂载目录大小”,其中10GB会用于保存元数据,用于数据缓存的空间是40GB。

“跨域绑定”用于选择是否要挂载和ECS处在不同可用区的OSS Bucket。建议选择“否”,使用和ECS同一个可用区的OSS Bucket,这样网关软件版访问OSS Bucket走的是VPC内网,成本低,速度快。

“Bucket区域”和“Bucket名称”选择想要使用的OSS Bucket即可。

“子目录”是OSS的Prefix,可以根据需要看是否需要创建,这里设置为“prefix1”。

“OSSAccessKey”和“OSSAccessSecret”可以通过云存储网关控制台右上角的“AccessKey管理”查询得到。

image.png

配置完成后,点击“确认”按钮,开始进行批量配置。网关软件版状态从“Activated”变为“Running”则挂载配置完成。

image.png

“挂载路径”是已经挂载好的访问路径,这里是/mnt/csgfs,可以通过对该路径的访问来访问OSS Bucket。

登录ECS可以看到/mnt/csgfs的挂载点,文件系统类型为“hybridfs”。

image.png


  1. 反向同步配置

反向同步可以根据需要来进行配置,默认是开启的,同步时间间隔默认为300秒,设置的范围是10秒~36000秒。反向同步采用定期扫描和访问触发的方式发现OSS Bucket数据变化,并同步到前端元数据缓存中,这样在前端访问时可以看到后端OSS Bucket的数据变化,给予前后端一致的数据访问。反向同步功能介绍可以参考:官方文档中数据下载部分对反向同步的描述

选择需要配置反向同步的网关软件版ECS,点击下方的“反向同步”进行批量配置。

image.png

如果前端不需要感知后端OSS Bucket数据的变化,则可以把反向同步关闭,对前端访问性能会有一定的提升。

反向同步时间间隔越小,发现后端OSS Bucket数据变化的数据越快,同时对性能消耗也会增大,所以这里具体的时间间隔设置要根据应用场景来确定。

image.png

使用网关软件版

可以和使用类似本地文件系统的方式来使用网关软件版的挂载目录/mnt/csgfs。

在登录ECS后,可以看到有一个名为“hybridfs”的文件系统挂载在/mnt/csgfs目录。

image.png

  1. 创建文件

这里在/mnt/csgfs/下创建了1个文件 a1,内容为abc。

image.png

查看OSS控制台,可以看到在prefix1目录下a1文件已经同步到了OSS Bucket了

image.png

  1. 删除文件

将a1文件删除。

image.png

再查看OSS控制台,可以看到在prefix1目录上a1文件也被删除。

image.png

  1. 反向同步文件

按照上述“配置网关软件版”->3. 反向同步配置,将反向同步时间间隔设置为最短10秒。

通过OSS控制台,在prefix1目录下上传1个文件, 点击“上传文件”。

image.png

点击“扫描文件”,选择文件。

image.png

点击“上传文件”完成文件上传。

image.png

在ECS中查看文件,可以看到OSS Bucket里面的数据已经通过反向同步同步到了前端。

image.png


总结

网关软件版可以在用户ECS中单台部署,也可以方便地在同一个VPC内多台ECS上批量部署。本文介绍了批量部署网关软件版的详细使用步骤,包括ECS的准备, 网关软件版的创建、配置和使用,希望能帮助快速上手和熟悉网关软件版的使用方法。

相关文章
|
存储 缓存 Linux
阿里云云存储网关(CSG)软件版顺序写模式使用教程
阿里云云存储网关(CSG)软件版是一款安装在阿里云用户机器上的云存储网关产品。本文介绍了如何使用CSG软件版的特殊工作模式——顺序写模式,以及相关注意事项。
|
存储 缓存 弹性计算
阿里云存储网关(CSG)软件版与ossfs对比(数据缓存篇)
本文从文件数据的管理、使用角度,详细对比阿里云存储网关(CSG)软件版与ossfs之间的区别。
449 0
|
存储 缓存 弹性计算
阿里云云存储网关(CSG)软件版使用详细教程(Linux版)
本文将详细介绍如何在Linux操作系统中安装并使用阿里云云存储网关(CSG)软件版。
阿里云云存储网关(CSG)软件版使用详细教程(Linux版)
|
存储 缓存 弹性计算
阿里云云存储网关(CSG)软件版使用详细教程(Windows版)
本文将详细介绍如何在Windows操作系统中安装并使用阿里云云存储网关(CSG)软件版。
882 0
阿里云云存储网关(CSG)软件版使用详细教程(Windows版)
|
存储 缓存 弹性计算
阿里云存储网关(CSG)软件版与ossfs对比(元数据篇)
本文从元数据的使用及管理角度,详细对比阿里云存储网关(CSG)软件版与ossfs之间的区别。
427 0
|
存储 缓存 对象存储
利用云存储网关在Windows上挂载OSS
概述 阿里云OSS提供了海量低成本高可靠的对象存储,非常适合于存储文件,图像,视频等非结构化数据,同时也提供了丰富的SDK生态给开发者集成使用。但是对于开发资源有限的小企业或者个人用户而言,直接使用OSS存储还是存在诸多不便。
9379 0
|
存储 Linux API
如何经济高效使用云存储网关对接OSS存储
存储网关是一款可以为OSS存储提供文件访问接口的产品,从而用户可以像使用NAS一样在Windows/Linux操作系统里面直接挂载OSS进行使用。众所周知,OSS存储具有多种存储类型。那么对于所有的存储类型,云存储网关是否都适用呢?本文将围绕这一话题,展开一些探讨。
224 0
|
存储 Kubernetes 文件存储
使用阿里云容器ACK通过云存储网关(CSG)挂载OSS
本文将详细介绍如何使用阿里云容器服务ACK通过云存储网关挂载OSS。
1364 1
使用阿里云容器ACK通过云存储网关(CSG)挂载OSS
|
消息中间件 存储 Linux
如何同步OSS Bucket数据到云存储网关SMB/NFS共享
云存储网关主要提供了反向同步和极速同步两种方法来同步OSS Bucket里面的数据到网关侧的共享里。本文将对这两种数据同步的方法均做下介绍,给出它们的实现原理以及分别适用的场景。反向同步是基于对文件夹进行全量扫描比对的方式来发现OSS Bucket里面的数据变化,极速同步则是基于OSS Bucket数据变化增量的方式来实现的。
3477 0
如何同步OSS Bucket数据到云存储网关SMB/NFS共享
|
存储 缓存 API
云存储网关共享透明读写OSS归档文件
本文通过具体的例子展示了云存储网关NFS共享所支持的对OSS Bucket里面归档文件的透明读写功能。对于SMB共享虽然不能完全支持透明读写功能,但是也能够帮助用户自动执行解冻过程。
3237 0
云存储网关共享透明读写OSS归档文件
下一篇
无影云桌面