OSS bucket远程挂载成ECS本地盘之cloudfs4oss

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

1.cloudfs 1.1.1功能改进点

增加上传线程数可配置,默认线程数为1

修改文件上传后,文件大小为0的错误

对系统内部内存进行了优化,极大减少cloudfs运行内存消耗

解决多并发时程序异常退出的问题

解决文件上传时,文件只有BLOCK_SIZE大小的问题

解决当多个ECS共享一个BUCKET时,某个ECS对文件进行修改,其它文件不同步的问题

1.1cloudfs上传线程数配置功能

配置文件位置:cloudfs安装目录/conf/cloudfs.conf

修改MAX_UPLOAD_THREADS属性,如4


2.centos7安装cloudfs4oss

2.1安装环境

Ubuntu 14.04 32/64位:

apt-get install libcurl4-openssl-dev libssl-dev pkg-config libxml2 libxml2-dev libfuse-dev libunwind8-dev

CentOS 6.5 32/64位:

yum install libcurl libcurl-devel openssl-devel fuse fuse-libs fuse-devel libxml2-devel libunwind-devel(最后这一个出现libfuse.so.2版本冲突未安装一样实现功能)

find / -name libfuse.so.2

rpm -qa|grep libunwind

2.2配置cloudfs4oss

阿里云用户在阿里云“工具市场”中搜索cloudfs4oss

其他用户下载 http://blog.cloudtalkers.com/category/cloudfs/cloudfs4oss-download

tar -zxvf CloudFS_Centos64_0274.tar.gz

cd CloudFS_Centos64/

2.2.1默认安装

./CloudFS_Install.sh

cloudfs的安装目录是 /usr/local/cloudfs ,oss的挂载目录是 /mnt/oss

# vi /usr/local/cloudfs/conf/cloudfs.conf(简单修改下面四选项,其它参数见云文档)

HOST=oss-cn-qingdao-internal.aliyuncs.com

ID=eRops7R1O39lodWN

KEY=MJKeghOshVod0H6Bd5lsUv7REp8Sbe

BUCKET=wctest

# systemctl start cloudfs.service

# systemctl status cloudfs.service

2.2.2自定义安装

./CloudFS_Install.sh INSTALL_DIR=/usr/local/cloudfs_test MOUNT_POINT=/mnt/test

cloudfs的安装目录是 /usr/local/cloudfs_test ,oss的挂载目录是 /mnt/test

2.3验证

报错时候可以试一试

./cloudfs /mnt/oss/ -f(远程挂载目录)

umount -l /mnt/oss/(恢复挂载点)

cd /mnt/oss/

mkdir test

touch 110.txt

rm -rf test/

rm 110.txt


二、我自己测试一台ECS运行多个cloudfs的方法

tar -zxvf CloudFS_Centos64_0274.tar.gz

mv CloudFS_Centos64/ cloudfs1

cp cloudfs1 cloudfs2 -R

cd cloudfs1

chmod 777 CloudFS_Install.sh

vi CloudFS_Install.sh

DEFAULT_INSTALL_DIR="/opt/king/cloudfs1"

DEFAULT_MOUNT_POINT="/opt/oss/king"

新建king目录并赋值777

mkdir -R /opt/oss/king

chmod 777 king/

修改连接值并启动链接

./CloudFS_Install.sh

vi /opt/king/cloudfs1/conf/cloudfs.conf

HOST=oss-cn-qingdao-internal.aliyuncs.com

ID=eRops7R1O39lodWN

KEY=MJKeghOshVod0H6Bd5lsUv7REp8Sbe

BUCKET=king

cd /opt/king/cloudfs1

./cloudfs /opt/oss/king -o allow_other

设置cloudfs2的方法与cloudfs1的方法一致

设置启动./cloudfs /opt/oss/queen -o allow_other


二、一台ECS运行多个cloudfs

参考:

http://www.xker.com/page/e2015/06/199015.html

1. 介绍:

最近,许多用户在使用cloudfs时,需要用到同一台ECS上挂载多个BUCKET的功能。在我们的官方安装文档上没有指明。这个功能目前cloudfs是支持的,解决方法是在同一台ECS运行多个cloudfs。

下面以一个用例来演示如何使用。

注意:

要在同一台ECS上运行多个cloudfs,cloudfs的启动方式必须要是手动启动。

2. 演示:

本安装演示环境是Ubuntu14.04 64位,本文的安装是在用户有一定的cloudfs安装经验上的,如果您对cloudfs的安装还不太清楚,请移步http://blog.cloudtalkers.com/122.html下载安装文档。

2.1 下载解压缩多个cloudfs

访问http://blog.cloudtalkers.com/category/cloudfs/cloudfs4oss-download下载cloudfs并解压缩

本文一共下载了3个,结构图如下

一台ECS运行多个cloudfs_新客网

2.2 分别编辑多个cloudfs的配置文件

编辑每一个cloudfs的配置文件,配置文件所在目录为:cloudfs解压缩目录/conf/cloudfs.conf

本文一共3个配置文件,配置如下:

/root/test/cloudfs1/CloudFS_Ubuntu64/conf/cloudfs.conf --- 杭州BUCKET

/root/test/cloudfs2/CloudFS_Ubuntu64/conf/cloudfs.conf --- 深圳BUCKET

/root/test/cloudfs3/CloudFS_Ubuntu64/conf/cloudfs.conf --- 青岛BUCKET

2.3 启动多个cloudfs

执行启动cloudfs命令,本文一共三个cloudfs,启动命令如下:

进入cloudfs的安装目录,执行命令

./cloudfs /mnt/oss/bucket1 -o allow_other

./cloudfs /mnt/oss/bucket2 -o allow_other

./cloudfs /mnt/oss/bucket3 -o allow_other

上述命令中

/mnt/oss/bucket1为oss的挂载目录,请确保/mnt/oss/bucket1的权限为777。

查看cloudfs启动情况,

执行命令: ps -ef|grep cloudfs ,如下图即成功

一台ECS运行多个cloudfs_新客网

(点击图片放大)

3. 测试:

一、拷贝一个文件到cloudfs

cp /bin/ls /mnt/oss/

二、从cloudfs中删除一个文件

rm /mnt/oss/ls

三、在cloudfs中创建一个目录

mkdir /mnt/oss/test/

四、在cloudfs中删除一个目录

rm -r /mnt/oss/test/

在操作过程中,请登录到阿里云(www.aliyun.com)的控制台,对比对应的bucket的文件/文件夹增加删除变化


本文转自 guowang327 51CTO博客,原文链接:http://blog.51cto.com/guowang327/1730401,如需转载请自行联系原作者

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
存储 JavaScript 前端开发
Vue中实现图片上传,上传后的图片回显,存储图片到服务器 【使用对象存储OSS】
这篇文章介绍了在Vue中实现图片上传到阿里云OSS对象存储服务的完整流程,包括服务端签名直传的前提知识、后端设置、前端组件封装以及图片上传和回显的效果展示。
|
3月前
|
弹性计算 JavaScript Ubuntu
ECS 挂载 OSS 多Bucket
ECS 挂载 OSS 多Bucket
79 0
|
5月前
|
存储 域名解析 前端开发
云上攻防-云服务篇&对象存储&Bucket桶&任意上传&域名接管&AccessKey泄漏
云上攻防-云服务篇&对象存储&Bucket桶&任意上传&域名接管&AccessKey泄漏
180 8
|
6月前
|
存储 弹性计算 数据管理
【阿里云弹性计算】ECS实例的冷热数据管理:利用阿里云 OSS 与 ECS 的高效协同
【5月更文挑战第28天】阿里云ECS与OSS协同,实现弹性计算服务的高效数据管理。ECS处理热数据,OSS存储冷数据,降低存储成本,提升性能。通过自动化策略实现数据自动迁移,优化实例性能,适用于电商图片、日志存储等场景。注意迁移策略设置和数据安全,为企业带来更大价值和竞争力。
170 1
|
25天前
|
弹性计算 网络安全
阿里云国际OpenAPI多接口快速管理ECS服务器教程
阿里云国际OpenAPI多接口快速管理ECS服务器教程
|
2天前
|
存储 分布式计算 固态存储
阿里云2核16G、4核32G、8核64G配置云服务器租用收费标准与活动价格参考
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,Hadoop、Spark集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择。目前2核16G配置按量收费最低收费标准为0.54元/小时,按月租用标准收费标准为260.44元/1个月。4核32G配置的阿里云服务器按量收费标准最低为1.08元/小时,按月租用标准收费标准为520.88元/1个月。8核64G配置的阿里云服务器按量收费标准最低为2.17元/小时,按月租用标准收费标准为1041.77元/1个月。本文介绍这些配置的最新租用收费标准与活动价格情况,以供参考。
|
8天前
|
弹性计算
阿里云2核16G服务器多少钱一年?亲测价格查询1个月和1小时收费标准
阿里云2核16G服务器提供多种ECS实例规格,内存型r8i实例1年6折优惠价为1901元,按月收费334.19元,按小时收费0.696221元。更多规格及详细报价请访问阿里云ECS页面。
40 9
|
4天前
|
监控 Ubuntu Linux
使用VSCode通过SSH远程登录阿里云Linux服务器异常崩溃
通过 VSCode 的 Remote - SSH 插件远程连接阿里云 Ubuntu 22 服务器时,会因高 CPU 使用率导致连接断开。经排查发现,VSCode 连接根目录 ".." 时会频繁调用"rg"(ripgrep)进行文件搜索,导致 CPU 负载过高。解决方法是将连接目录改为"root"(或其他具体的路径),避免不必要的文件检索,从而恢复正常连接。
|
8天前
|
弹性计算 异构计算
2024年阿里云GPU服务器多少钱1小时?亲测价格查询方法
2024年阿里云GPU服务器每小时收费因实例规格不同而异。可通过阿里云GPU服务器页面选择“按量付费”查看具体价格。例如,NVIDIA A100的gn7e实例为34.742元/小时,NVIDIA A10的gn7i实例为12.710156元/小时。更多详情请访问阿里云官网。
43 2
|
14天前
|
存储 弹性计算 NoSQL
"从入门到实践,全方位解析云服务器ECS的秘密——手把手教你轻松驾驭阿里云的强大计算力!"
【10月更文挑战第23天】云服务器ECS(Elastic Compute Service)是阿里云提供的基础云计算服务,允许用户在云端租用和管理虚拟服务器。ECS具有弹性伸缩、按需付费、简单易用等特点,适用于网站托管、数据库部署、大数据分析等多种场景。本文介绍ECS的基本概念、使用场景及快速上手指南。
52 3
下一篇
无影云桌面