如何利用云存储网关搭建SFTP服务器访问OSS存储

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 本文将介绍在linux服务器上如何通过在云存储网关共享上搭建FTP服务器来实现对OSS内数据的分发与共享。

背景

云存储文件网关是阿里云提供的存储网关产品,它可以满足用户通过NFS或Samba等协议访问OSS对象存储数据的需求。而通过简单的配置,我们也可以基于文件网关来配置一台FTP服务器,让用户通过FTP来访问OSS中的数据,实现用FTP客户端上传和下载同步OSS bucket中存储的数据。

本文将介绍在linux服务器上如何通过在云存储网关共享上搭建FTP服务器来实现对OSS内数据的分发与共享。

准备工作

添加NFS共享

(注:关于如何开通及创建云存储网关,大家可以参考 如何在Linux上挂载OSS Bucket 这篇文章)

首先,通过云存储文件网关管理控制台,为想要通过FTP访问的Bucket添加一个新的NFS共享(如果不需要共享整个bucket,请在创建共享时勾选子目录并填入要共享的子目录路径):

image

在配置共享时,如果有很多数据需要从OSS反向同步到文件网关的话,建议打开极速同步功能,这样可以保证我们在OSS中上传的文件及时同步到文件网关中。关于极速同步功能,可以参考 文件网关秒级同步OSS变更对象初体验

image

挂载共享目录

接下来,我们在linux服务器上创建/ftp目录,并将新创建的nfs共享挂载到/ftp目录下:

# 1. 创建ftp服务器使用的目录
[root@csg ~]# mkdir -p /var/ftp/oss-bucket

# 2. 使用showmount 命令查看新创建的网关共享
[root@csg ~]# showmount -e <网关IP地址>

# 3. 挂载共享目录到/var/ftp/oss-bucket目录下
[root@csg ~]# mount -t nfs <网关IP地址>:<共享路径> /var/ftp/oss-bucket

# 4. 查看目录挂载状态
[root@csg ~]# df -h /var/ftp/oss-bucket

搭建ftp服务器

1. 安装ftp服务

我们以centos 为例,安装ftp服务vsftpd:

[root@csg ~]# yum -y install vsftpd

2. 添加ftp用户

[root@csg ~]# useradd ftpuser1
[root@csg ~]# passwd ftpuser1

3. 配置vsftpd

[root@csg ~]# vi /etc/vsftpd/vsftpd.conf
## 常规配置
# line 12: 关闭匿名用户登陆
anonymous_enable=NO
# line 82,83: 允许ascii模式访问
ascii_upload_enable=YES
ascii_download_enable=YES
# line 100, 101: 使能chroot
chroot_local_user=YES
chroot_list_enable=YES
# line 103: 指定chroot用户列表配置文件路径
chroot_list_file=/etc/vsftpd/chroot_list
# line 109: 使能ls recurse
ls_recurse_enable=YES
# line 114: 如果使用ECS IPV4地址,修改下面一行并按需关闭IPV6
listen=YES
# line 123: 
listen_ipv6=NO

# 添加下面几行配置到配置文件中
# 修改使用的chroot目录,我们配置为挂载了文件网关NFS共享的路径 (如果不指定的话,会默认使用ftp用户的home目录而不是NFS挂载目录)
local_root=/var/ftp/oss-bucket

# 使用本地时间
use_localtime=YES
# 关闭seccomp filter
seccomp_sandbox=NO

# 指定客户端passive模式访问端口,可自由指定
pasv_min_port=12001
pasv_max_port=12005
# 添加chroot允许用户
[root@csg ~]# vi /etc/vsftpd/chroot_list
# 添加允许chroot的ftp用户
ftpuser1

启动vsftpd服务

[root@csg ~]# systemctl start vsftpd
[root@csg ~]# systemctl enable vsftpd

如果开启了防火墙,需要添加规则允许ftp端口的访问:

[root@csg ~]# firewall-cmd --add-service=ftp --permanent
success
[root@csg ~]# firewall-cmd --reload
success

如果开启了selinux,需要允许ftp访问

[root@csg ~]# setsebool -P ftpd_full_access on

访问ftp/sftp服务器

配置完成后,我们就可以使用ftp客户端来访问部署好的ftp服务器了,我们以fileZilla客户端为例,使用ftpuser1这个用户登陆ftp服务器,并尝试上传一个f文件到ftp服务器:

image

图: 登陆并上传文件到ftp server

上传成功后,登陆到OSS控制台,到云存储网关配置共享的bucket对应的目录下查看,可以查看到刚刚上传的文件,实现了通过FTP客户端向OSS上传的功能:

2C8457A0_20EF_4A77_8597_B02108CA6E12

图:在OSS控制台访问ftp client新上传的文件

同样,在文件网关打开极速同步或反向同步功能后,文件网关也可以反向同步OSS上的数据更新,让FTP的客户端获取到OSS上新上传的文件列表,下载OSS中新上传的文件。

注意事项

有些用户会使用Linux中默认的SFTP服务作为SFTP服务端,当使用WinSCP或其它支持断点续传的SFTP客户端上传到服务器上的云存储网关NFS共享目录时,上传大于100K会遇到文件失败的错误:
image

这是由于WinSCP 在断点续传模式下,会首先生成上传文件.filepart的文件,上传完成后再重命名回真正的目的文件导致上传失败。这种情况下,用户可以通过关闭WinSCP的断点续传选项(选项-传输-Endurance-开启断点续传/传输到临时文件名-禁用)来规避该问题:

image

总结

通过基于云存储网关的NFS共享搭建FTP服务器,可以让用户使用ftp访问OSS中的数据,实现用FTP客户端上传数据到OSS和下载OSS中的数据的功能,让文件共享与分发更加的方便。

目录
相关文章
|
5月前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
|
7月前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
10月前
|
存储 人工智能 Kubernetes
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
阿里云对象存储OSS是一款海量、安全、低成本、高可靠的云存储服务,是用户在云上存储的高性价比选择…
|
11月前
|
存储 Kubernetes 对象存储
StrmVol存储卷:如何解锁K8s对象存储海量小文件访问性能新高度?
如何提升海量文件的数据读取速率,对于AI训练集管理、量化回测、时序日志分析等场景尤为重要。阿里云容器服务(ACK))支持StrmVol类型存储卷,基于底层虚拟块设备及内核态文件系统,显著降低海量小文件访问延迟。
|
11月前
|
存储 Kubernetes 对象存储
StrmVol 存储卷:解锁 K8s 对象存储海量小文件访问性能新高度
本文介绍了阿里云容器服务(ACK)支持的StrmVol存储卷方案,旨在解决Kubernetes环境中海量小文件访问性能瓶颈问题。通过虚拟块设备与内核态文件系统(如EROFS)结合,StrmVol显著降低了小文件访问延迟,适用于AI训练集加载、时序日志分析等场景。其核心优化包括内存预取加速、减少I/O等待、内核态直接读取避免用户态切换开销,以及轻量索引快速初始化。示例中展示了基于Argo Workflows的工作流任务,模拟分布式图像数据集加载,测试结果显示平均处理时间为21秒。StrmVol适合只读场景且OSS端数据无需频繁更新的情况,详细使用方法可参考官方文档。
1537 145
|
11月前
|
存储 弹性计算 数据管理
阿里云对象存储oss怎么收费?存储费用+流量收费标准
阿里云对象存储OSS收费标准包含存储费、流量费及请求费等,支持按量付费与包年包月两种模式。标准型本地冗余存储按量付费价格为0.09元/GB/月,包年包月500GB预留空间优惠价118元/年。流量费仅收取公网出方向费用,忙时0.50元/GB,闲时0.25元/GB。更多详情可参考官方页面。
2202 91
|
存储 前端开发 Java
Harry技术添加存储(minio、aliyun oss)、短信sms(aliyun、模拟)、邮件发送等功能
### SpringBoot3 + Vue3 前后端分离的Java快速开发框架更新 本次更新主要包含以下内容: 1. **端口修改**:为避免与Minio存储服务冲突,后端启动端口从9000改为9999。 2. **添加存储支持**:集成Minio和阿里云OSS对象存储服务,详细配置请参考相关文档。 3. **短信服务**:接入阿里云短信服务,并增加模拟发送功能,方便本地测试。 4. **邮件发送**:引入邮件发送功能,支持简单文本邮件和带附件邮件。 5. **完善个人中心**:优化个人中心页面,提升用户体验。
444 85
Harry技术添加存储(minio、aliyun oss)、短信sms(aliyun、模拟)、邮件发送等功能
|
10月前
|
存储 人工智能 测试技术
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
OSSFS 2.0通过轻量化协议设计、协程化技术及FUSE3低级API重构,实现大文件顺序读写与小文件高并发加载的显著提升,在实际测试中表现出高达数十倍的吞吐量增长。适用于机器学习训练、推理等对高带宽低延迟要求严苛的场景,同时支持静态和动态挂载方式,方便用户在ACK集群中部署使用。
1256 34
|
9月前
|
应用服务中间件 网络安全 数据安全/隐私保护
网关服务器配置指南:实现自动DHCP地址分配、HTTP服务和SSH无密码登录。
哇哈哈,道具都准备好了,咱们的魔术秀就要开始了。现在,你的网关服务器已经魔法满满,自动分配IP,提供网页服务,SSH登录如入无人之境。而整个世界,只会知道效果,不会知道是你在幕后操控一切。这就是真正的数字世界魔法师,随手拈来,手到擒来。
474 14

热门文章

最新文章

相关产品

  • 云存储网关
  • 对象存储