OSS bucket远程挂载成ECS本地盘之cloudfs4oss

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

1.cloudfs 1.1.1功能改进点

增加上传线程数可配置,默认线程数为1

修改文件上传后,文件大小为0的错误

对系统内部内存进行了优化,极大减少cloudfs运行内存消耗

解决多并发时程序异常退出的问题

解决文件上传时,文件只有BLOCK_SIZE大小的问题

解决当多个ECS共享一个BUCKET时,某个ECS对文件进行修改,其它文件不同步的问题

1.1cloudfs上传线程数配置功能

配置文件位置:cloudfs安装目录/conf/cloudfs.conf

修改MAX_UPLOAD_THREADS属性,如4


2.centos7安装cloudfs4oss

2.1安装环境

Ubuntu 14.04 32/64位:

apt-get install libcurl4-openssl-dev libssl-dev pkg-config libxml2 libxml2-dev libfuse-dev libunwind8-dev

CentOS 6.5 32/64位:

yum install libcurl libcurl-devel openssl-devel fuse fuse-libs fuse-devel libxml2-devel libunwind-devel(最后这一个出现libfuse.so.2版本冲突未安装一样实现功能)

find / -name libfuse.so.2

rpm -qa|grep libunwind

2.2配置cloudfs4oss

阿里云用户在阿里云“工具市场”中搜索cloudfs4oss

其他用户下载 http://blog.cloudtalkers.com/category/cloudfs/cloudfs4oss-download

tar -zxvf CloudFS_Centos64_0274.tar.gz

cd CloudFS_Centos64/

2.2.1默认安装

./CloudFS_Install.sh

cloudfs的安装目录是 /usr/local/cloudfs ,oss的挂载目录是 /mnt/oss

# vi /usr/local/cloudfs/conf/cloudfs.conf(简单修改下面四选项,其它参数见云文档)

HOST=oss-cn-qingdao-internal.aliyuncs.com

ID=eRops7R1O39lodWN

KEY=MJKeghOshVod0H6Bd5lsUv7REp8Sbe

BUCKET=wctest

# systemctl start cloudfs.service

# systemctl status cloudfs.service

2.2.2自定义安装

./CloudFS_Install.sh INSTALL_DIR=/usr/local/cloudfs_test MOUNT_POINT=/mnt/test

cloudfs的安装目录是 /usr/local/cloudfs_test ,oss的挂载目录是 /mnt/test

2.3验证

报错时候可以试一试

./cloudfs /mnt/oss/ -f(远程挂载目录)

umount -l /mnt/oss/(恢复挂载点)

cd /mnt/oss/

mkdir test

touch 110.txt

rm -rf test/

rm 110.txt


二、我自己测试一台ECS运行多个cloudfs的方法

tar -zxvf CloudFS_Centos64_0274.tar.gz

mv CloudFS_Centos64/ cloudfs1

cp cloudfs1 cloudfs2 -R

cd cloudfs1

chmod 777 CloudFS_Install.sh

vi CloudFS_Install.sh

DEFAULT_INSTALL_DIR="/opt/king/cloudfs1"

DEFAULT_MOUNT_POINT="/opt/oss/king"

新建king目录并赋值777

mkdir -R /opt/oss/king

chmod 777 king/

修改连接值并启动链接

./CloudFS_Install.sh

vi /opt/king/cloudfs1/conf/cloudfs.conf

HOST=oss-cn-qingdao-internal.aliyuncs.com

ID=eRops7R1O39lodWN

KEY=MJKeghOshVod0H6Bd5lsUv7REp8Sbe

BUCKET=king

cd /opt/king/cloudfs1

./cloudfs /opt/oss/king -o allow_other

设置cloudfs2的方法与cloudfs1的方法一致

设置启动./cloudfs /opt/oss/queen -o allow_other


二、一台ECS运行多个cloudfs

参考:

http://www.xker.com/page/e2015/06/199015.html

1. 介绍:

最近,许多用户在使用cloudfs时,需要用到同一台ECS上挂载多个BUCKET的功能。在我们的官方安装文档上没有指明。这个功能目前cloudfs是支持的,解决方法是在同一台ECS运行多个cloudfs。

下面以一个用例来演示如何使用。

注意:

要在同一台ECS上运行多个cloudfs,cloudfs的启动方式必须要是手动启动。

2. 演示:

本安装演示环境是Ubuntu14.04 64位,本文的安装是在用户有一定的cloudfs安装经验上的,如果您对cloudfs的安装还不太清楚,请移步http://blog.cloudtalkers.com/122.html下载安装文档。

2.1 下载解压缩多个cloudfs

访问http://blog.cloudtalkers.com/category/cloudfs/cloudfs4oss-download下载cloudfs并解压缩

本文一共下载了3个,结构图如下

一台ECS运行多个cloudfs_新客网

2.2 分别编辑多个cloudfs的配置文件

编辑每一个cloudfs的配置文件,配置文件所在目录为:cloudfs解压缩目录/conf/cloudfs.conf

本文一共3个配置文件,配置如下:

/root/test/cloudfs1/CloudFS_Ubuntu64/conf/cloudfs.conf --- 杭州BUCKET

/root/test/cloudfs2/CloudFS_Ubuntu64/conf/cloudfs.conf --- 深圳BUCKET

/root/test/cloudfs3/CloudFS_Ubuntu64/conf/cloudfs.conf --- 青岛BUCKET

2.3 启动多个cloudfs

执行启动cloudfs命令,本文一共三个cloudfs,启动命令如下:

进入cloudfs的安装目录,执行命令

./cloudfs /mnt/oss/bucket1 -o allow_other

./cloudfs /mnt/oss/bucket2 -o allow_other

./cloudfs /mnt/oss/bucket3 -o allow_other

上述命令中

/mnt/oss/bucket1为oss的挂载目录,请确保/mnt/oss/bucket1的权限为777。

查看cloudfs启动情况,

执行命令: ps -ef|grep cloudfs ,如下图即成功

一台ECS运行多个cloudfs_新客网

(点击图片放大)

3. 测试:

一、拷贝一个文件到cloudfs

cp /bin/ls /mnt/oss/

二、从cloudfs中删除一个文件

rm /mnt/oss/ls

三、在cloudfs中创建一个目录

mkdir /mnt/oss/test/

四、在cloudfs中删除一个目录

rm -r /mnt/oss/test/

在操作过程中,请登录到阿里云(www.aliyun.com)的控制台,对比对应的bucket的文件/文件夹增加删除变化


本文转自 guowang327 51CTO博客,原文链接:http://blog.51cto.com/guowang327/1730401,如需转载请自行联系原作者

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
存储 Linux
服务器数据恢复——使用fsck后Ext4文件系统挂载不上的数据恢复案例
关于Ext4文件系统的几个概念: 块组:Ext4文件系统的全部空间被划分为若干个块组,每个块组结构基本上相同。 块组描述符表:每个块组都对应一个块组描述符,这些块组描述符统一放在文件系统的前部,称为块组描述符表。每个块组描述符大小为32字节,主要描述块位图、i-节点位图及i-节点表的地址等信息。 超级块(Superblock):用于存储文件系统的配置参数(块大小、总块数、i-节点数等)和动态信息(当前空闲块数和i-节点数)。Ext4文件系统的超级块始于1024字节处,即2号扇区。 i节点:描述文件的时间、大小、块指针等信息。
|
20天前
|
存储 Oracle 关系型数据库
服务器数据恢复—光纤存储映射的卷挂载不上的数据恢复案例
服务器存储数据恢复环境: 某品牌光纤存储上共有16块FC硬盘。存储上的卷映射到Linux操作系统上。Linux操作系统上运行Oracle数据库。 服务器存储故障&检测: 存储上2块硬盘故障灯亮起,存储映射到linux操作系统上的卷挂载不上,业务中断。
|
4月前
|
应用服务中间件 Docker 容器
在服务器中使用Docker安装Tomcat、同时实现目录挂载、并且部署War包到服务器
这篇文章介绍了在Docker中安装Tomcat的过程,包括搜索Tomcat镜像、拉取镜像、目录挂载的准备、创建并挂载容器,以及如何进入容器和进行测试。文中还说明了如何将WAR包部署到Tomcat服务器并访问部署的应用。
在服务器中使用Docker安装Tomcat、同时实现目录挂载、并且部署War包到服务器
|
3月前
|
存储 Oracle 关系型数据库
服务器数据恢复—存储硬盘故障导致映射到服务器上的卷挂载不上的数据恢复案例
一台存储上有一组由16块FC硬盘组建了一组raid。存储前面板上的对应10号和13号硬盘的故障灯亮起,存储映射到redhat linux操作系统服务器上的卷挂载不上,业务中断。
|
4月前
|
存储 JavaScript 前端开发
Vue中实现图片上传,上传后的图片回显,存储图片到服务器 【使用对象存储OSS】
这篇文章介绍了在Vue中实现图片上传到阿里云OSS对象存储服务的完整流程,包括服务端签名直传的前提知识、后端设置、前端组件封装以及图片上传和回显的效果展示。
|
4月前
|
弹性计算 JavaScript Ubuntu
ECS 挂载 OSS 多Bucket
ECS 挂载 OSS 多Bucket
92 0
|
5月前
|
SQL 弹性计算 安全
通过阿里云的活动购买的云服务器,后续购买并挂载云盘、设置密码及安全组教程
现在大多数用户购买阿里云的云服务器通常都是通过阿里云的活动来购买,这种购买方式主要是价格更实惠,且购买流程简单,但是选购活动中的云服务器,一般只有系统盘,没有数据盘,这需要我们在购买之后单独购买并挂载云盘作为数据盘,而且云服务器的密码和安全组等基础设置也是需要在购买之后再设置的。本文为大家介绍后续购买并挂载云盘、设置密码及安全组的相关教程,以供参考。
通过阿里云的活动购买的云服务器,后续购买并挂载云盘、设置密码及安全组教程
|
6月前
|
存储 域名解析 前端开发
云上攻防-云服务篇&对象存储&Bucket桶&任意上传&域名接管&AccessKey泄漏
云上攻防-云服务篇&对象存储&Bucket桶&任意上传&域名接管&AccessKey泄漏
217 8
|
弹性计算 Linux 对象存储
阿里云oss如何被挂载到阿里云ecs上,实现内网高速数据备份与共享
ossfs能让您在Linux系统中,将对象存储OSS的存储空间(Bucket)挂载到本地文件系统中,您能够像操作本地文件一样操作OSS的对象(Object),实现数据的共享。
1682 0
阿里云oss如何被挂载到阿里云ecs上,实现内网高速数据备份与共享