s3fs挂载S3对象桶

简介: s3fs(Simple Storage Service File System)是一个基于FUSE(Filesystem in Userspace)的文件系统,它允许将S3(Simple Storage Service)或其他兼容S3 API的对象存储服务挂载到本地文件系统中,从而能够像访问本地磁盘一样访问远程对象存储。以下是通过s3fs挂载OBS(Object Storage Service,对象存储服务,这里以华为云OBS为例)对象桶的基本步骤:### 一、环境准备1. **安装s3fs**: - 对于CentOS系统,可以使用yum安装s3fs-fuse: ```

s3fs(Simple Storage Service File System)是一个基于FUSE(Filesystem in Userspace)的文件系统,它允许将S3(Simple Storage Service)或其他兼容S3 API的对象存储服务挂载到本地文件系统中,从而能够像访问本地磁盘一样访问远程对象存储。以下是通过s3fs挂载OBS(Object Storage Service,对象存储服务,这里以华为云OBS为例)对象桶的基本步骤:

一、环境准备

  1. 安装s3fs

    • 对于CentOS系统,可以使用yum安装s3fs-fuse:
      sudo yum install epel-release
      sudo yum install s3fs-fuse
      
    • 对于Ubuntu系统,可以使用apt安装s3fs:
      sudo apt install s3fs
      
    • 注意:如果系统中没有s3fs-fuse包,可能需要从源代码编译安装,或者检查是否有更新的包名。
  2. 准备OBS凭证

    • 获取OBS的访问密钥ID(Access Key ID)和访问密钥密钥(Secret Access Key)。这些凭证通常可以在云服务的IAM(Identity and Access Management)或相关服务的管理界面中找到。
  3. 创建密码文件

    • 创建一个密码文件,用于存储OBS的访问凭证。文件内容格式为accessKeyId:secretAccessKey
    • 例如,创建文件/etc/passwd-s3fs,并添加凭证:
      echo "your_access_key_id:your_secret_access_key" > /etc/passwd-s3fs
      
    • 设置密码文件的权限,确保只有当前用户可以访问:
      sudo chmod 600 /etc/passwd-s3fs
      

二、挂载OBS对象桶

  1. 确定OBS的Endpoint

    • Endpoint是访问OBS对象桶的URL地址,可以在OBS服务的文档或管理界面中找到。
  2. 创建挂载点

    • 在本地文件系统中创建一个目录,作为OBS对象桶的挂载点。
    • 例如,创建目录/mnt/obs-bucket
      sudo mkdir -p /mnt/obs-bucket
      
  3. 挂载OBS对象桶

    • 使用s3fs命令挂载OBS对象桶到本地目录。
    • 命令格式如下(以华为云OBS为例):
      s3fs <OBS-bucket-name> /mnt/obs-bucket -o passwd_file=/etc/passwd-s3fs -o url=<OBS-endpoint> -o allow_other
      
    • 请将<OBS-bucket-name>替换为你的OBS对象桶名称,<OBS-endpoint>替换为OBS服务的Endpoint地址。
    • -o allow_other参数允许所有用户访问挂载点目录,但请注意,这可能会带来安全风险,请根据实际情况决定是否使用。

三、验证挂载

  • 使用df -h命令查看挂载情况,确认OBS对象桶已成功挂载到本地目录。
  • 使用lscd等命令在挂载点目录中操作文件,就像在本地文件系统中一样。

四、自动挂载

  • 为了在系统启动时自动挂载OBS对象桶,可以将挂载命令添加到/etc/fstab文件中。
  • 但请注意,由于s3fs是基于FUSE的文件系统,它可能不适合直接添加到/etc/fstab进行自动挂载,因为FUSE文件系统在启动过程中可能无法正确初始化。
  • 一种替代方案是使用系统启动脚本(如systemd服务或crontab的@reboot条目)来执行挂载命令。

注意事项

  • 确保OBS服务的网络访问权限设置正确,以便s3fs能够成功连接并访问对象桶。
  • 如果遇到挂载问题,请检查s3fs的日志文件(通常在/var/log/目录下),以获取更多错误信息。
  • 根据实际情况调整s3fs的挂载参数,以获得最佳的性能和安全性。
相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
域名解析 Kubernetes 网络协议
k8s教程(service篇)-pod的dns域名
k8s教程(service篇)-pod的dns域名
3479 0
|
存储 文件存储 对象存储
S3存储服务间数据同步工具Rclone迁移教程
目前大多项目我们都会使用各种存储服务,例如oss、cos、minio等。当然,因各种原因,可能需要在不同存储服务间进行数据迁移工作,所以今天就给大家介绍一个比较通用的数据迁移工具Rclone。
S3存储服务间数据同步工具Rclone迁移教程
|
存储 缓存 对象存储
利用云存储网关在Windows上挂载OSS
概述 阿里云OSS提供了海量低成本高可靠的对象存储,非常适合于存储文件,图像,视频等非结构化数据,同时也提供了丰富的SDK生态给开发者集成使用。但是对于开发资源有限的小企业或者个人用户而言,直接使用OSS存储还是存在诸多不便。
11472 1
利用云存储网关在Windows上挂载OSS
|
11月前
|
监控 Linux 应用服务中间件
Linux多节点多硬盘部署MinIO:分布式MinIO集群部署指南搭建高可用架构实践
通过以上步骤,已成功基于已有的 MinIO 服务,扩展为一个 MinIO 集群。该集群具有高可用性和容错性,适合生产环境使用。如果有任何问题,请检查日志或参考MinIO 官方文档。作者联系方式vx:2743642415。
3681 57
|
11月前
|
存储 人工智能 测试技术
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
OSSFS 2.0通过轻量化协议设计、协程化技术及FUSE3低级API重构,实现大文件顺序读写与小文件高并发加载的显著提升,在实际测试中表现出高达数十倍的吞吐量增长。适用于机器学习训练、推理等对高带宽低延迟要求严苛的场景,同时支持静态和动态挂载方式,方便用户在ACK集群中部署使用。
1378 34
|
网络安全
构建 NTP 时间服务器
构建 NTP 时间服务器
994 2
|
存储 分布式计算 Kubernetes
JuiceFS-开源分布式文件系统入门(一篇就够了)
讲解JuiceFS的一些概念、架构以及实操的案例
8899 0
JuiceFS-开源分布式文件系统入门(一篇就够了)
|
Linux
[minio]挂载minio到本地
[minio]挂载minio到本地
1025 2
|
存储 缓存 安全

热门文章

最新文章