如何利用云存储网关搭建SFTP服务器访问OSS存储

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 本文将介绍在linux服务器上如何通过在云存储网关共享上搭建FTP服务器来实现对OSS内数据的分发与共享。

背景

云存储文件网关是阿里云提供的存储网关产品,它可以满足用户通过NFS或Samba等协议访问OSS对象存储数据的需求。而通过简单的配置,我们也可以基于文件网关来配置一台FTP服务器,让用户通过FTP来访问OSS中的数据,实现用FTP客户端上传和下载同步OSS bucket中存储的数据。

本文将介绍在linux服务器上如何通过在云存储网关共享上搭建FTP服务器来实现对OSS内数据的分发与共享。

准备工作

添加NFS共享

(注:关于如何开通及创建云存储网关,大家可以参考 如何在Linux上挂载OSS Bucket 这篇文章)

首先,通过云存储文件网关管理控制台,为想要通过FTP访问的Bucket添加一个新的NFS共享(如果不需要共享整个bucket,请在创建共享时勾选子目录并填入要共享的子目录路径):

image

在配置共享时,如果有很多数据需要从OSS反向同步到文件网关的话,建议打开极速同步功能,这样可以保证我们在OSS中上传的文件及时同步到文件网关中。关于极速同步功能,可以参考 文件网关秒级同步OSS变更对象初体验

image

挂载共享目录

接下来,我们在linux服务器上创建/ftp目录,并将新创建的nfs共享挂载到/ftp目录下:

# 1. 创建ftp服务器使用的目录
[root@csg ~]# mkdir -p /var/ftp/oss-bucket

# 2. 使用showmount 命令查看新创建的网关共享
[root@csg ~]# showmount -e <网关IP地址>

# 3. 挂载共享目录到/var/ftp/oss-bucket目录下
[root@csg ~]# mount -t nfs <网关IP地址>:<共享路径> /var/ftp/oss-bucket

# 4. 查看目录挂载状态
[root@csg ~]# df -h /var/ftp/oss-bucket

搭建ftp服务器

1. 安装ftp服务

我们以centos 为例,安装ftp服务vsftpd:

[root@csg ~]# yum -y install vsftpd

2. 添加ftp用户

[root@csg ~]# useradd ftpuser1
[root@csg ~]# passwd ftpuser1

3. 配置vsftpd

[root@csg ~]# vi /etc/vsftpd/vsftpd.conf
## 常规配置
# line 12: 关闭匿名用户登陆
anonymous_enable=NO
# line 82,83: 允许ascii模式访问
ascii_upload_enable=YES
ascii_download_enable=YES
# line 100, 101: 使能chroot
chroot_local_user=YES
chroot_list_enable=YES
# line 103: 指定chroot用户列表配置文件路径
chroot_list_file=/etc/vsftpd/chroot_list
# line 109: 使能ls recurse
ls_recurse_enable=YES
# line 114: 如果使用ECS IPV4地址,修改下面一行并按需关闭IPV6
listen=YES
# line 123: 
listen_ipv6=NO

# 添加下面几行配置到配置文件中
# 修改使用的chroot目录,我们配置为挂载了文件网关NFS共享的路径 (如果不指定的话,会默认使用ftp用户的home目录而不是NFS挂载目录)
local_root=/var/ftp/oss-bucket

# 使用本地时间
use_localtime=YES
# 关闭seccomp filter
seccomp_sandbox=NO

# 指定客户端passive模式访问端口,可自由指定
pasv_min_port=12001
pasv_max_port=12005
# 添加chroot允许用户
[root@csg ~]# vi /etc/vsftpd/chroot_list
# 添加允许chroot的ftp用户
ftpuser1

启动vsftpd服务

[root@csg ~]# systemctl start vsftpd
[root@csg ~]# systemctl enable vsftpd

如果开启了防火墙,需要添加规则允许ftp端口的访问:

[root@csg ~]# firewall-cmd --add-service=ftp --permanent
success
[root@csg ~]# firewall-cmd --reload
success

如果开启了selinux,需要允许ftp访问

[root@csg ~]# setsebool -P ftpd_full_access on

访问ftp/sftp服务器

配置完成后,我们就可以使用ftp客户端来访问部署好的ftp服务器了,我们以fileZilla客户端为例,使用ftpuser1这个用户登陆ftp服务器,并尝试上传一个f文件到ftp服务器:

image

图: 登陆并上传文件到ftp server

上传成功后,登陆到OSS控制台,到云存储网关配置共享的bucket对应的目录下查看,可以查看到刚刚上传的文件,实现了通过FTP客户端向OSS上传的功能:

2C8457A0_20EF_4A77_8597_B02108CA6E12

图:在OSS控制台访问ftp client新上传的文件

同样,在文件网关打开极速同步或反向同步功能后,文件网关也可以反向同步OSS上的数据更新,让FTP的客户端获取到OSS上新上传的文件列表,下载OSS中新上传的文件。

注意事项

有些用户会使用Linux中默认的SFTP服务作为SFTP服务端,当使用WinSCP或其它支持断点续传的SFTP客户端上传到服务器上的云存储网关NFS共享目录时,上传大于100K会遇到文件失败的错误:
image

这是由于WinSCP 在断点续传模式下,会首先生成上传文件.filepart的文件,上传完成后再重命名回真正的目的文件导致上传失败。这种情况下,用户可以通过关闭WinSCP的断点续传选项(选项-传输-Endurance-开启断点续传/传输到临时文件名-禁用)来规避该问题:

image

总结

通过基于云存储网关的NFS共享搭建FTP服务器,可以让用户使用ftp访问OSS中的数据,实现用FTP客户端上传数据到OSS和下载OSS中的数据的功能,让文件共享与分发更加的方便。

目录
相关文章
|
7天前
|
存储 数据挖掘 数据库
服务器数据恢复—OceanStor存储数据恢复案例
华为OceanStor T系列某型号存储中有一组由24块机械硬盘组建的一组RAID5阵列。 运行过程中该存储设备RAID5阵列上多块硬盘出现故障离线,阵列失效,存储中数据无法访问。
|
18天前
|
存储 数据挖掘
服务器数据恢复—V7000存储上多块Mdisk成员盘出现故障的数据恢复案例
服务器存储数据恢复环境: 一台V7000存储上共12块SAS机械硬盘(其中1块是热备盘),组建了2组Mdisk,创建了一个pool。挂载在小型机上作为逻辑盘使用,小型机上安装的AIX+Sybase。 服务器存储故障: V7000存储中磁盘出现故障,管理员发现问题后立即更换磁盘。新更换的硬盘在上线同步数据的时候,存储上另一块磁盘也出现问题,导致逻辑盘无法挂接在小型机上,业务暂时中断。V7000存储的管理界面上显示两块硬盘故障脱机。 pool无法加载,其中三个通用卷均无法挂载。
|
2月前
|
存储 Oracle 关系型数据库
服务器数据恢复—EVA存储硬盘读写性能不稳定掉线的数据恢复案例
服务器存储数据恢复环境: 一台EVA某型号控制器+EVA扩展柜+FC磁盘。 服务器存储故障&检测: 磁盘故障导致该EVA存储中LUN不可用,导致上层应用无法正常使用。
104 47
|
1月前
|
存储 运维 数据挖掘
服务器数据恢复—EVA存储中多块硬盘离线导致存储崩溃的数据恢复案例
一台HP EVA存储中有23块硬盘,挂接到一台windows server操作系统的服务器。 EVA存储上有三个硬盘指示灯亮黄灯,此刻存储还能正常使用。管理员在更换硬盘的过程中,又出现一块硬盘对应的指示灯亮黄灯,存储崩溃,无法使用了。
|
2月前
|
负载均衡 数据可视化 API
像素流送api ue多人访问需要什么显卡服务器
本文总结了关于像素流送技术的五大常见问题,包括是否支持Unity模型推流、UE多人访问的最大并发数、所需服务器配置、稳定性问题及API支持情况,旨在帮助开发者更好地理解和应用这一技术。
60 1
|
2月前
|
存储 缓存 弹性计算
Codota的服务器存储架构
Codota的服务器存储架构
31 5
|
2月前
|
存储 Oracle 关系型数据库
服务器数据恢复—DS5300存储raid5阵列数据恢复案例
服务器存储数据恢复环境: 某单位一台某品牌型号为DS5300的服务器存储,1个机头+4个扩展柜,底层是2组分别由数十块硬盘组建的RAID5阵列。存储系统上层一共分了11个卷。 服务器存储故障&分析: 存储设备上一组raid5阵列上的2块磁盘出现故障,对应的硬盘指示灯亮黄灯,阵列崩溃,存储不可用。该组故障阵列上层存放的是Oracle数据库文件。
|
2月前
|
存储 运维 数据挖掘
服务器数据恢复—华为OceanStor存储数据恢复案例
服务器存储数据恢复环境: 华为品牌型号为OceanStor S2600T的存储设备,存储上有一组由24块4T容量的机械硬盘组建的RAID5阵列,作为存储池使用。 图1 服务器存储故障&检测: 存储设备中raid5阵列上多块硬盘出现故障离线,raid5阵列失效,数据无法正常访问。 关机后将存储中所有硬盘标记&取出,硬件工程师对所有硬盘进行硬件故障检测。经过检测,没有发现存在物理故障的磁盘,都可以正常读取。
|
1月前
|
存储 Oracle 关系型数据库
服务器数据恢复—华为S5300存储Oracle数据库恢复案例
服务器存储数据恢复环境: 华为S5300存储中有12块FC硬盘,其中11块硬盘作为数据盘组建了一组RAID5阵列,剩下的1块硬盘作为热备盘使用。基于RAID的LUN分配给linux操作系统使用,存放的数据主要是Oracle数据库。 服务器存储故障: RAID5阵列中1块硬盘出现故障离线,热备盘自动激活开始同步数据,在同步数据的过程中又一块硬盘离线,RAID5阵列瘫痪,上层LUN无法使用。
|
2月前
|
存储 数据挖掘
服务器数据恢复—EqualLogic存储raid5阵列多块硬盘掉线的数据恢复案例
服务器存储数据恢复环境: 一台EqualLogic存储中有一组由16块SAS硬盘组建的RAID5阵列。上层划分了4个卷,采用VMFS文件系统,存放虚拟机文件。 服务器存储故障: 存储RAID5阵列中磁盘出现故障,有2块硬盘对应的指示灯亮黄灯,存储不可用,且存储设备已经过保。

相关产品

  • 云存储网关
  • 对象存储