通过rclone结合阿里云OSS或者AWS S3发布和上线代码

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介:

在进行项目的开发时,在多数测试和上线操作的场景中,我们总是需要把代码或者打包好的代码部署到一个中间的服务器或者存储上。在不同给的情况下,尤其是在很多人合作的情形下,我们就会或多或少的遇到下面的问题:

  • 如果大家都在同一个办公场地,代码部署到一个内部的服务器中会很方便(或者以专用网络的形式的访问公司的数据中心),但是在远程办公的条件下(比如在疫情期间),就会存在很多安全性的问题。而且,在家办公的场景中,因为每个人的网络条件不一样,网络访问的便捷性也很成问题。
  • 不同的开发和运维人员需要设置不同的权限,需要有一个统一的授权系统来管理权限和授权,而且授权机制的管理最好可以和持续集成的服务可以很好地结合。
  • 为了方便版本回滚和问题排查,需要解决历史版本的代码或者软件包的保存问题。而且历史版本都保存的话,也会需要可以扩展,廉价且有冗余保障的存储空间。
  • 使用git等代码库存放需要打包的代码,会造成代码库的体积过大的,每一次fetch或者pull都非常的慢,消耗大量的时间。
  • 直接使用服务器作为这个代码中转很容易受到服务器故障的影响,如果是公司内网的服务器甚至还会受到停电等问题的影响。

我们再这篇文章里介绍一下rclone结合阿里云OSSAWS S3来说明一个方法,对于上述问题都可以提供更好的帮助。首先我们来看一下配置和使用方法。

rclone的安装与实用

rclone是一个类似于rsync的文件系统的命令行同步工具,区别在于,rclone是针对各种的云存储开发的,而且可以完成本地与云存储,以及不同的云存储之间的文件操作。

安装rclone最简单的方法就是直接执行远程的安装脚本(当然也可以根据具体发行版参考文档进行安装):

curl https://rclone.org/install.sh | sudo bash

在Linux上完成安装之后,rclone会默认从配置文件~/.config/rclone/rclone.conf中获取rclone的配置。我们既可以通过rclone的config命令来交互式修改这个配置,也可以直接编辑这个配置文件。

首先,我们来看一个阿里云OSS的配置(可以粘贴在rclone.conf中):

[oss-beijing]
type = s3
provider = Alibaba
env_auth = false
access_key_id = <YOUR_ACCESS_KEY_ID>
secret_access_key = <YOUR_SECRET_ACCESS_KEY>
endpoint = <YOUR_REGION>.aliyuncs.com
acl = private
storage_class = Standard

这里需要需要解释一下,其中[oss-beijing]是一个本地给阿里云OSS某一个区域的别名,在命令行中用来当做前缀使用,比如oss-beijing:my-bucket-name就是这个区域下面叫做my-bucket-name的桶(Bucket),而endpoint也要指定为对应的区域EndPoint(这个值可以在阿里云控制台查看到)。access_key_id和secret_access_key需要替换成权限适合的密钥对。

AWS S3的rclone的配置则更为简单:

[s3-beijing]
type = s3
provider = AWS
env_auth = true
region = cn-north-1
endpoint = https://s3.cn-north-1.amazonaws.com.cn

在这里指定endpointhttps://s3.cn-north-1.amazonaws.com.cn是为了rclone能够在AWS中国区的cn-north-1工作(宁夏区则需要另外一个地址)。而env_auth被指定为true,则是可以避免在rclone.conf中写上AWS的key和secret,而是直接使用~/.aws/中的配置。当然后,如果在环境中配置AWS使用了named profile时,也可以在运行rclone时,通过指定环境变量AWS_PROFILE=<your_profile_name>来使用某一个profile。

这个时候就可以使用一些命令来访问某些桶了:

# 列出my-bucket-name下的目录
rclone lsd oss-beijing:my-bucket-name
rclone lsd s3-beijing:my-bucket-name

# 以json形式列出my-bucket-name下的目录和文件
rclone lsjson oss-beijing:my-bucket-name
rclone lsjson s3-beijing:my-bucket-name

# 以json形式递归的列出my-bucket-name下目录和文件
# 这里的所谓递归其实并不是准确的描述,主要还是指列出Bucket下面全部的item
rclone lsjson oss-beijing:my-bucket-name -R
rclone lsjson s3-beijing:my-bucket-name -R

那么,在打包完成时,需要做的事情就是把本地的对应的目录同步到阿里云OSS或者S3中即可:

rclone sync <LOCAL_PATH> oss-beijing:my-bucket-name/target-path/
rclone sync <LOCAL_PATH> s3-beijing:my-bucket-name/target-path/

而在其他的主机上,也很方便将阿里云OSS或者S3中的对应目录同步回来:

rclone sync oss-beijing:my-bucket-name/target-path/ <LOCAL_PATH>
rclone sync s3-beijing:my-bucket-name/target-path/ <LOCAL_PATH>

注意sync命令会将目标路径完全同步为和本地一致的结构。

有关rclone具体使用方法,大家可以继续参考其官方文档。

一些需要注意的地方

回到一开始考虑的各种问题,在这里我们来补充一些需要注意的地方

  • 对于版本问题,建议在打包和同步的时候,把代码的版本号作为目录名同步到远端的存储中,这样在阿里云OSS或者S3就可以保存全部的代码包的历史。需要进行历史的冗余备份时,可以直接通过每个云服务商自己提供的机制来进行桶的复制,甚至还可以通过rclone来进行跨云服务商备份。如果不需要保存历史比较久的版本,也可以设置自动过期的机制。
  • 在权限管理方便,可以通过[阿里云的RAM]()和AWS的IAM为每一个参与建立单独的账号,并且可以在可以访问的Bucket的层面赋予权限。这样,每个账户可以通过自己的key/secret来进行访问。
  • 在rclone的lsjson命令中访问的数据中,有文件或者目录的创建时间等元信息,在同一个桶的路径下,可以通过这些来区分出最新同步的版本。
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
1月前
|
存储 人工智能 开发工具
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
只需要通过向AI助理提问的方式输入您的需求,即可瞬间获得核心流程代码及参数,缩短学习路径、提升开发效率。
1420 4
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
|
4月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
3月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
4月前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
存储 运维 安全
阿里云OSS的优势
【7月更文挑战第19天】阿里云OSS的优势
179 2
|
4月前
|
存储 API 开发工具
阿里云OSS
【7月更文挑战第19天】阿里云OSS
167 1
|
4月前
|
存储 弹性计算 对象存储
预留空间是什么?阿里云OSS对象存储预留空间说明
阿里云OSS预留空间是预付费存储产品,提供折扣价以锁定特定容量,适用于抵扣有地域属性的Bucket标准存储费用及ECS快照费。通过购买预留空间,如500GB通用预留+100GB标准-本地冗余存储包,用户可优化成本。
184 4
|
4月前
|
人工智能 对象存储
【阿里云AI助理】自家产品提供错误答案。阿里云OSS 资源包类型: 下行流量 地域: 中国内地通用 下行流量包规格: 300 GB 套餐: 下行流量包(中国内地) ,包1年。那么这个是每月300GB,1年是3600GB的流量;还是1年只有300GB的流量?
自家产品提供错误答案。阿里云OSS 资源包类型: 下行流量 地域: 中国内地通用 下行流量包规格: 300 GB 套餐: 下行流量包(中国内地) ,包1年。那么这个是每月300GB,1年是3600GB的流量;还是1年只有300GB的流量?
124 1
|
5月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区