腾讯云主机安装COSFS工具并使用COS对象存储

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 腾讯云主机安装COSFS工具并使用COS对象存储

对象存储 COS 简介


对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。


腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。


COS 提供网页端管理界面、多种主流开发语言的 SDK、API 以及命令行和图形化工具,并且兼容 S3 的 API 接口,方便用户直接使用社区工具和插件


640.png

COSFS工具介绍


功能说明 COSFS 工具支持将 COS 存储桶挂载到本地,像使用本地文件系统一样直接操作腾讯云对象存储中的对象,COSFS 提供的主要功能包括:

  • 1)支持 POSIX 文件系统的大部分功能,如:文件读写、目录操作、链接操作、权限管理、uid/gid 管理等功能。
  • 2)大文件分块传输功能。
  • 3)MD5 数据校验功能。

将本机数据上传至 COS,建议使用 COS Migration 工具 或 COSCMD 工具可以参考如下文档链接 https://cloud.tencent.com/document/product/436/6883


在腾讯云主机安装COSFS工具并使用COS对象存储


1、购买COS对象存储


https://cloud.tencent.com/act/pro/cos 目前有对象存储 COS 专场特惠 1元COS礼包【1元购 COS 50GB 1年存储包,赠10元代金券】 下单购买

640.jpg

640.jpg

购买时注意地域选择,我这里选择中国大陆通用


2、在腾讯云控制台按提示创建存储桶


创建时注意所属地域,我这里选择上海地域,与云主机同地域

640.jpg

640.jpg


创建后,记住存储桶名称,以及请求域名


3、控制台中查看存储桶


例如存储桶创建一个文件夹

640.jpg



4、腾讯云控制台API密钥管理中新建密钥


记录SecretId和SecretKey信息,后面会用到

640.jpg

640.jpg

5、下载cosfs CentOS7版本的rpm包


cosfs CentOS7版本的rpm包可以在github上下载


https://github.com/tencentyun/cosfs/releases
https://github.com/tencentyun/cosfs/releases/download/v1.0.19/cosfs-1.0.19-centos7.0.x86_64.rpm

640.jpg


6、云主机yum本地安装cosfs1.0.19的rpm包

640.jpg

通过脚本获取云主机信息可以看到该云主机也属于上海区域

640.jpg

yum localinstall cosfs-1.0.19-centos7.0.x86_64.rpm

会自动安装相关依赖包, 然后yum install fuse


640.jpg


7. 配置密钥文件


在文件/etc/passwd-cosfs中,写入存储桶名称(格式为 BucketName-APPID),以及该存储桶对应的 SecretId 和 SecretKey,三项之间使用半角冒号隔开。并且为了防止密钥泄露,COSFS 要求将密钥文件的权限设置成640配置/etc/passwd-cosfs密钥文件的命令格式如下:修改 /etc/passwd-cosfs 文件

echo <BucketName-APPID>:<SecretId>:<SecretKey> > /etc/passwd-cosfs
chmod 640 /etc/passwd-cosfs
需要将 <BucketName-APPID>、<SecretId> 和 <SecretKey> 替换为实际的信息。
<SecretId> 和 <SecretKey> 请前往访问管理控制台的 "API密钥管理" 中获取

640.jpg


8、确认是否是通过内网访问COS

1)、腾讯云对象存储 COS 的访问域名使用了智能 DNS 解析,通过互联网在不同的运营商环境下,会检测并指向最优链路供您访问 COS。如果在腾讯云内部署了服务用于访问 COS,则同地域范围内访问将会自动被指向到内网地址。跨地域暂不支持内网访问,默认将会解析到外网地址可以在后台nslookup/dig测试,确认是通过内网访问COS

nslookup cos.ap-shanghai.myqcloud.com

2)内网访问判断方法 相同地域内腾讯云产品访问,将会自动使用内网连接,产生的内网流量不计费。因此选购腾讯云不同产品时,建议尽量选择相同地域,减少费用。确认是否内网访问请参考如下方法:以腾讯 CVM 访问 COS 为例,判断是否使用内网访问 COS ,可以在 CVM 上 使用nslookup命令解析 COS 域名,若返回内网 IP,则表明 CVM 和 COS 之间是内网访问,否则为外网访问。说明:内网 IP 地址一般形如10...、100... ,VPC 网络一般为169.254.. 等,这两种形式的 IP 都属于内网如下图所示169.254.0.47为内网IP

640.jpg

9、使用cosfs命令手动挂载


上面将已经在密钥文件中配置好信息的存储桶挂载到指定目录,可以使用如下命令行进行手动挂载:

cosfs <BucketName-APPID> <MountPoint> -ourl=<CosDomainName> -odbglevel=info -oallow_other
其中:
<MountPoint> 为本地挂载目录(例如/mnt)
<CosDomainName> 为存储桶对应的访问域名,形式为http://cos.<region>.myqcloud.com (适用于 XML API,请勿在该参数中携带存储桶名称),其中 <Region> 为地域简称, 例如 ap-guangzhou 、 ap-shanghai 等
-odbglevel 指定日志级别
-oallow_other 允许非挂载用户访问挂载文件夹


手动挂载

mkdir /COSFS_Storage
cosfs yuanfan2021-12XXXX8 /COSFS_Storage -ourl=http://cos.ap-shanghai.myqcloud.com -odbglevel=


640.jpg


df -PTh验证挂载是否成功 拷贝一个文件到COS存储目录中 可以用iftop观察实时流量

iftop -i eth0  -N -n -m 10M -P

640.jpg640.jpg



查看流量可以看到走的是内网流量


10、卸载存储桶


  • 方式1:fusermount -u /mnt, fusermount 命令专用于卸载 FUSE 文件系统
  • 方式2:umount -l /mnt, 当有程序引用文件系统中文件时,进行卸载不会报错,并在没程序引用时完成卸载
  • 方式3:umount /mnt, 当有程序引用文件系统中的文件时,进行卸载会报错

如下图所示

fusermount -u /COSFS_Storage
df -PTh

640.jpg


11、开机启动挂载COS存储


在 /etc/fstab 文件中添加如下的内容,其中,_netdev 选项使得网络准备好后再执行当前命令:

cosfs#yuanfan2021-1253683998 /COSFS_Storage fuse _netdev,allow_other,url=http://cos.ap-shanghai.myqcloud.com,dbglevel=info


mount -a进行验证


640.jpg


Tips


COSFS 工具常见问题可以参考腾讯云文档 文档中心 > 对象存储 > 常见问题 > 工具问题 > COSFS 工具

https://cloud.tencent.com/document/product/436/30743

另外COS存储提供有不同操作系统的客户端工具

640.jpg

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
4月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
82 0
|
7月前
|
存储 搜索推荐 程序员
配置Picgo图床之COS、OSS、Github图床
配置Picgo图床之COS、OSS、Github图床
|
7月前
|
存储 对象存储 数据安全/隐私保护
typora+腾讯云cos+Picgo图床搭建
typora+腾讯云cos+Picgo图床搭建
57 0
|
10月前
|
Java Linux
腾讯云centos7安装jdk1.8
腾讯云centos7安装jdk1.8
152 0
|
11月前
|
存储 API 对象存储
手把手教你Typora图床配置(PicGo+阿里云OSS/腾讯云COS)
手把手教你Typora图床配置(PicGo+阿里云OSS/腾讯云COS)
1805 0
|
11月前
|
小程序 关系型数据库 MySQL
腾讯云Linux服务器安装Mysql8并实现远程访问
腾讯云Linux服务器安装Mysql8并实现远程访问
321 0
|
开发框架 Ubuntu .NET
AntDeploy 工具一键发布镜像到腾讯云 Docker 私有镜仓库
AntDeploy 工具一键发布镜像到腾讯云 Docker 私有镜仓库。
248 1
AntDeploy 工具一键发布镜像到腾讯云 Docker 私有镜仓库
|
前端开发
文件上传到腾讯云cos的简单步骤
文件上传到腾讯云cos的简单步骤
1347 0
|
消息中间件 存储 Linux
在腾讯云CentOS上安装rabbitMQ
在腾讯云CentOS上安装rabbitMQ
130 0
|
存储 安全 Linux
腾讯云主机安全【等保三级】CentOS7安全基线检查策略
腾讯云主机安全【等保三级】CentOS7安全基线检查策略
599 1
腾讯云主机安全【等保三级】CentOS7安全基线检查策略

热门文章

最新文章