通过公网上传下载数据到SMB文件系统

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文介绍如何通过公网将本地数据上传至SMB文件系统,或者将SMB文件系统内的数据下载到本地。

本文介绍如何通过公网将本地数据上传至SMB文件系统,或者将SMB文件系统内的数据下载到本地。

前提条件

  1. 已创建SMB文件系统
  2. 已创建挂载点

方案一:IIS FTP

配置ECS

从公网访问阿里云文件存储NAS,需要配置ECS作为中转节点。
上传下载数据需要占用ECS公网带宽,建议购买一台新的ECS实例专门负责这一功能,避免占用业务带宽。请参考新购ECS挂载NAS配置对SMB文件系统的挂载,推荐选择Windows 2019镜像,并在配置ECS的公网IP时勾选“分配公网 IPv4 地址”,选择“按使用流量”带宽计费模式,将带宽峰值设为最大的100Mbps。

分配公网IPv4地址.png

说明:弹性公网IP对入方向流量不收费,仅对出方向流量收费,也就是说,从公网上传数据到NAS不会收取流量费用,而从NAS下载数据则会收取流量费用。流量计费详情请参考文档

如果您要使用已有ECS挂载NAS作为中转节点,请参考Windows系统挂载SMB文件系统

在ECS上配置IIS FTP服务以及在本地系统配置FTP客户端

注:需在VPC安全组打开对应的FTP TCP端口
对于少量文件的上传和下载操作,可以通过IIS FTP服务来完成,这种方案的优点如下:

  1. 支持众多操作系统平台
  2. 提供图形化操作界面

具体配置方式请参考文档
您也可以配置其他FTP服务端和客户端进行公网上传下载数据。

方案二:rsync

配置ECS

类似方案一中的ECS配置方式,选择Linux镜像,推荐选择CentOS 8.0镜像。参考通过云服务器ECS(Linux)访问SMB文件系统进行挂载。

在ECS上配置rsync服务

对于大量文件或频繁需要的上传和下载,推荐在本地系统安装使用rsync命令行工具,这种方案的优点如下:

  1. 上传下载后的文件元数据不变(包括属主及权限信息)
  2. 支持数据增量同步
  3. 本地Linux或macOS系统可配置crontab向云上NAS自动备份数据

在本地系统配置rsync客户端

注:需在VPC安全组打开SSH(TCP 22)端口。

安装工具

1. Windows

Windows用户请下载安装Cygwin模拟环境,您可以在安装过程中搜索安装rsync工具,也可以手动下载编译安装rsync

2. Linux

如果您的本地系统是CentOS或Redhat,请执行以下命令,使用yum包管理器安装rsync。

sudo yum install rsync

如果您的本地系统是Ubuntu或Debian,请执行以下命令,使用apt包管理器安装rsync。

sudo apt-get install rsync

如果您使用了其他版本的Linux,请使用对应的包管理器安装rsync。

3. MacOS

macOS用户请下载安装homebrew包管理器,然后执行以下命令安装rsync。

brew install rsync

数据上传

执行以下命令,将本地目录以增量同步的方式,上传到阿里云NAS。

rsync -avP DirToSync/ root@1.2.3.4:/mnt/DirToSync/

说明:rsync命令中的源路径结尾必须带有/,否则同步后数据路径不能匹配。
命令中的参数请根据实际值修改:

  • DirToSync - 需要上传的本地目录名
  • root - 上传目标的NAS目录属主
  • 1.2.3.4 - 已挂载NFS文件系统的Linux ECS公网IP(上文配置得到)
  • /mnt - ECS中用来挂载NAS的路径

数据下载

从阿里云NAS下载数据到本地的方式与上传类似,执行以下命令即可。

rsync -avP root@1.2.3.4:/mnt/DirToSync/ DirToSync/

命令中的参数请根据实际值修改。

自动上传

本地Linux或macOS系统,可以基于rsync命令,通过crontab配置定时上传备份任务。

打通SSH

参考使用SSH密钥对连接Linux实例,打通从本地系统到ECS的无密码通道。执行以下命令确认打通成功。

ssh -i ~/.ssh/ecs.pem root@1.2.3.4

命令中的参数请根据实际值修改:

  • ~/.ssh/ecs.pem - 私钥文件在本地机上的存储路径
配置crontab

执行命令“crontab -e”打开编辑器,配置定时上传任务,输入以下内容:

0 23 * * * rsync -av -e "ssh -i ~/.ssh/ecs.pem" ~/Documents/ root@1.2.3.4:/mnt/Documents/

这条crontab配置将会在每天23时0分把本机登录用户的Documents目录自动上传备份到阿里云NAS。请根据实际需求替换配置中的参数。

说明:macOS用户需要给/usr/sbin/cron配置硬盘访问授权。请进入系统设置,点击Security & Privacy > Privacy > Full Disk Access,点击解锁图标,点击“+”,选择Macintosh HD目录,按“cmd + shift + .”显示隐藏目录,最后选择/usr/sbin/cron。

方案三:将数据上传至OSS再迁移到NAS

如果您需要上传大量数据到NAS,而公网访问ECS的带宽无法满足您的需求,可以考虑先上传数据到OSS,然后将OSS数据迁移到NAS
说明:目前迁移服务仍在公测阶段,需要申请白名单。
说明:迁移服务无法保证文件元数据不变,迁移完成后可以再执行rsync修复元数据信息。

方案四:本地数据中心挂载NAS

注:需在VPC安全组打开SMB(TCP 445)端口。

以上三种方案相对简便,但如果需要从本地数据中心频繁读写NAS上的大量数据,则需要打通网络专线,从数据中心直接挂载NAS进行访问。

VPN网关方案

请参考通过VPN网关实现本地数据中心访问阿里云NAS以及MacOS客户端连接阿里云NAS SMB文件系统
打通之后,对于Windows客户端可以采用robocopy进行多线程数据传输,比如

robocopy c:\dirA z:\dirB /e /z /b /mt:32

NAT网关方案

请参考通过NAT网关实现本地客户端访问NAS SMB文件系统。可能需要转换SMB的TCP 445端口到其他端口,注意需要在安全组打开对应的端口。

访问上传数据

数据上传完成后,您就可以在负责业务的ECS或容器上挂载NAS,共享访问NAS上的数据了。
以ECS为例,您可以用Windows系统挂载SMB文件系统,然后就像访问本地数据一样访问NAS上的数据。
您也可以在云上搭建业务应用,在多台计算节点上通过程序大量读写NAS上的数据,例如通过Windows IIS服务访问阿里云NAS

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
网络协议 安全 Linux
通过NAT网关实现本地客户端访问NAS SMB文件系统
通过NAT网关实现本地客户端访问NAS SMB文件系统。帮助用户使用本地的MacOS、iPad、Linux、Windows等客户端连接阿里云上的NAS SMB文件系统,实现文件跨机器共享和永久存储。 虽然NAT网关可以将NAS SMB挂载点开放到公网方便用户本地客户端进行访问,但是直接暴露NAS SMB文件系统到公网有安全风险,任何人拿到公网地址和端口都可以进行访问。 推荐使用VPN或者专线方案将连接保护起来。VPN + SSL的方案可以参考MacOS客户端连接阿里云NAS SMB文件系统,以及通过VPN网关实现本地数据中心访问阿里云NAS。
3485 0
通过NAT网关实现本地客户端访问NAS SMB文件系统
|
网络协议 Linux 网络安全
文件共享同步5种方式:NFS、NAS、rsync、scp、ftp
谈到文件同步,我们最直接的同步方式是采用rsync的同步软件,rsync同步可以保持server和client的强一致(server中的增删改都会同步client),但在实际场景中rsync可能并不能被采纳。
16812 0
|
6月前
|
存储 文件存储
无公网IP情况下如何远程查看本地群晖NAS存储的文件资源-2
无公网IP情况下如何远程查看本地群晖NAS存储的文件资源
107 1
|
6月前
|
存储 网络安全 文件存储
无公网IP情况下如何远程查看本地群晖NAS存储的文件资源-1
无公网IP情况下如何远程查看本地群晖NAS存储的文件资源
|
存储 搜索推荐 网络协议
公网远程访问本地硬盘文件
公网远程访问本地硬盘文件
139 0
公网远程访问本地硬盘文件
|
Unix 网络安全
配置NFS文件共享服务
NFS 网络文件系统,是一种使用于分布式文件系统的协议,功能是通过网络让不同的机器,不同的操作系统能够彼此分享各自的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。
345 0
|
存储 缓存 文件存储
IIS应用使用虚拟目录功能,将数据目录存放到阿里云SMB文件系统上实现弹性存储
阿里云SMB文件系统具有超大容量以及弹性扩展的能力,但是兼容性和性能相比虚拟机系统盘有差距。针对这个特性,可以将IIS应用的数据部分存放在云上文件系统中,应用核心还是在系统盘上运行,通过IIS虚拟目录功能将IIS应用与阿里云SMB文件系统的目录相连。 本文详述了如何配置IIS虚拟目录到阿里云SMB文件系统,实现存储海量扩展。
1045 0
IIS应用使用虚拟目录功能,将数据目录存放到阿里云SMB文件系统上实现弹性存储
|
存储 弹性计算 文件存储
阿里云文件系统SMB访问协议服务及使用指南
阿里云于2016年发布了支持NFS网络文件系统访问协议的阿里云文件系统。2017年3月,又增加了SMB文件系统访问协议的支持,正式对外公测。2018年1月,阿里云NAS SMB支持正式提供商业化服务。本文简单描述了SMB文件系统访问协议以及阿里云NAS支持的SMB协议功能,并简单介绍了该服务的使用场景以及使用流程。
6442 0
|
文件存储 Windows
阿里云文件系统NAS SMB如何修改根目录权限
阿里云文件系统服务SMB文件系统(NAS SMB)在没有打开SMB ACL功能时,只支持只读操作,无法修改根目录权限。 在参考《将阿里云SMB协议文件系统挂载点接入AD域》https://help.aliyun.com/document_detail/154930.html,打开SMB ACL功能之后,用户即可修改根目录权限。
801 0
阿里云文件系统NAS SMB如何修改根目录权限
阿里云文件系统SMB ACL超级用户功能使用指南
阿里云文件系统对于SMB文件系统提供了SMB ACL超级用户功能,可以方便客户在无需改变目录权限的情况下查看和修改任何目录或者任何文件。方便文件系统的管理员进行管理。 以下介绍两个适用SMB ACL超级用户功能的案例,方便用户模仿使用。
392 0