利用s3fs 将 s3 bucket 挂载到Linux目录

简介:

S3fs是基于FUSE的文件系统,允许Linux和Mac Os X挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的格式。关于s3fs-fuse的功能、使用方法、下载可参考:https://github.com/s3fs-fuse/s3fs-fuse

1、本文主要介绍将s3的bucket挂载到Linux的目录上,当做本地磁盘使用。所以首先要创建s3的bucket,例:
wKioL1h-_oCDJXN3AAA2GYI3WgA338.png


2、将s3 bucket挂载到 本地目录时需要有访问 s3 bucket的权限,所以接下来需要准备IAM用户的访问密钥ID和访问密钥。注意:在点击“创建访问密钥”按钮后系统会创建“密钥ID”及“密钥”(私钥),但该“密钥”只会在创建时显示一次,以后再也无法复现,所以这也是下载或保存密钥唯一的一次机会。如下图所示:
wKiom1h-_qThV4GSAAF-RQB3BGA932.png


3、将密钥ID及密钥保存成一个密钥文件,文件格式必须是 :  

IAM用户访问密钥ID: IAM用户访问密钥

而且该文件权限必须为600

如下图所示:
wKioL1h-_jniOgM-AABqGrlcAQo653.png


4、按下来安装 s3fs-fuse:

1) 下载 、编译、安装

yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel

git clone https://github.com/s3fs-fuse/s3fs-fuse.git

cd s3fs-fuse

./autogen.sh

./configure

make

make install

如下图所示:

wKioL1h-__PyHZKUAAT3QUhfKAI871.png

2)验证是否安装成功

wKioL1h_AG2xAL0XAADznsaKBIw796.png


5、最后实现手工挂载s3 bucket

S3fs BUCKET MOUNTPOINT [OPTION]

s3fs yeecall-s3fs-mount-bucket /new/ -o passwd_file=./test -o endpoint=ap-northeast-1

如下图所示:

wKioL1h_ARLAzeGgAAI7T9gdY4Q387.png


6、最后可将相关参数放入fstab中,实现自动挂载

1
2
3
s3fs #mybucket /path/to/mountpoint fuse _netdev,allow_other 0 0
or
mybucket  /path/to/mountpoint  fuse.s3fs _netdev,allow_other 0 0

也可以将密钥ID和密钥存放入全局默认的密钥文件中:

1
2
echo  MYIDENTITY:MYCREDENTIAL >  /etc/passwd-s3fs
chmod  600  /etc/passwd-s3fs


7、可将s3fs 的相关进程kill掉,以达到卸载目的










本文转自 meteor_hy 51CTO博客,原文链接:http://blog.51cto.com/caiyuanji/1892856,如需转载请自行联系原作者
目录
相关文章
|
11月前
|
Linux
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
695 3
|
6月前
|
Linux 定位技术
Linux系统中的cd命令:目录切换技巧
踏过千山,越过万水,人生就是一场不断前行的旅程,总充满了未知与挑战。然而,“cd”命令如同你的旅伴,会带你穿梭在如棋盘一般的文件系统中,探索每一处未知。希望你能从“cd”命令中找到乐趣,像是掌控了一种络新妙的魔法,去向未知进发,开始你的探索之旅。
243 24
|
7月前
|
监控 Linux
Linux基础:文件和目录类命令分析。
总的来说,这些基础命令,像是Linux中藏匿的小矮人,每一次我们使用他们,他们就把我们的指令准确的传递给Linux,让我们的指令变为现实。所以,现在就开始你的Linux之旅,挥动你的命令之剑,探索这个充满神秘而又奇妙的世界吧!
145 19
|
8月前
|
存储 Linux
linux中的目录操作函数
本文详细介绍了Linux系统编程中常用的目录操作函数,包括创建目录、删除目录、读取目录内容、遍历目录树以及获取和修改目录属性。这些函数是进行文件系统操作的基础,通过示例代码展示了其具体用法。希望本文能帮助您更好地理解和应用这些目录操作函数,提高系统编程的效率和能力。
311 26
|
7月前
|
Linux
Linux目录删除指南:彻底解决“Is a directory”错误
在 Linux 系统中遇到 `cannot remove 'xxx': Is a directory` 错误,是因为删除目录时未使用正确参数。解决方法包括:1) 使用 `rmdir` 删除空目录或 `rm -r` 删除非空目录;2) 检查并调整目录权限(如通过 `sudo` 提权);3) 处理特殊场景,例如文件属性异常、特殊字符或进程占用;4) 替代方法如 `find -delete` 或文件系统修复。操作前建议备份数据,并启用防误删功能(如 `alias rm='rm -i'`)。掌握 `rm` 和 `rmdir` 的区别是关键。
510 1
|
8月前
|
Linux
Linux文件与目录的日常
目录的切换 一般使用(”pwd“)显示当前所在的目录 比如:当前目录是在home下面的,与用户名相同的文件夹,可以使用(”cd“)命令来切换目录; 进入下载目录(”cd home/a/下载“)这种从给目录开头的一长串路经”叫做绝对路径“; 进入图片目录(”cd .. /图片/“)".."代表当前路径的上级路径,相对于当前的目录而言的”叫做相对路径“,(”.“)代表当前路径; 如果,想快速切换,上一个所在目录可以(”cd - / cd..“); 如果,想快速切换,追原始的目录可以(”cd --“); 查看目录及文件
86 14
|
10月前
|
Linux
linux查看目录下的文件夹命令,find查找某个目录,但是不包括这个目录本身?
通过本文的介绍,您应该对如何在 Linux 系统中查看目录下的文件夹以及使用 `find` 命令查找特定目录内容并排除该目录本身有了清晰的理解。掌握这些命令和技巧,可以大大提高日常文件管理和查找操作的效率。 在实际应用中,灵活使用这些命令和参数,可以帮助您快速定位和管理文件和目录,满足各种复杂的文件系统操作需求。
974 8
|
11月前
|
运维 监控 网络协议
运维工程师日常工作中最常用的20个Linux命令,涵盖文件操作、目录管理、权限设置、系统监控等方面
本文介绍了运维工程师日常工作中最常用的20个Linux命令,涵盖文件操作、目录管理、权限设置、系统监控等方面,旨在帮助读者提高工作效率。从基本的文件查看与编辑,到高级的网络配置与安全管理,这些命令是运维工作中的必备工具。
805 3
|
11月前
|
Linux Python
Linux 中某个目录中的文件数如何查看?这篇教程分分钟教会你!
在 Linux 系统中,了解目录下文件数量是常见的需求。本文介绍了四种方法:使用 `ls` 和 `wc` 组合、`find` 命令、`tree` 命令以及编程实现(如 Python)。每种方法都附有详细说明和示例,适合不同水平的用户学习和使用。掌握这些技巧,可以有效提升系统管理和日常使用的效率。
3645 6
|
11月前
|
分布式计算 Java Hadoop
linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
通过以上步骤,可以有效地解决 `HADOOP_HOME`和 `JAVA_HOME`删除后依然指向旧目录的问题。确保在所有相关的配置文件中正确设置和删除环境变量,并刷新当前会话,使更改生效。通过这些措施,能够确保系统环境变量的正确性和一致性。
176 1