通过rclone结合阿里云OSS或者AWS S3发布和上线代码

简介:

在进行项目的开发时,在多数测试和上线操作的场景中,我们总是需要把代码或者打包好的代码部署到一个中间的服务器或者存储上。在不同给的情况下,尤其是在很多人合作的情形下,我们就会或多或少的遇到下面的问题:

  • 如果大家都在同一个办公场地,代码部署到一个内部的服务器中会很方便(或者以专用网络的形式的访问公司的数据中心),但是在远程办公的条件下(比如在疫情期间),就会存在很多安全性的问题。而且,在家办公的场景中,因为每个人的网络条件不一样,网络访问的便捷性也很成问题。
  • 不同的开发和运维人员需要设置不同的权限,需要有一个统一的授权系统来管理权限和授权,而且授权机制的管理最好可以和持续集成的服务可以很好地结合。
  • 为了方便版本回滚和问题排查,需要解决历史版本的代码或者软件包的保存问题。而且历史版本都保存的话,也会需要可以扩展,廉价且有冗余保障的存储空间。
  • 使用git等代码库存放需要打包的代码,会造成代码库的体积过大的,每一次fetch或者pull都非常的慢,消耗大量的时间。
  • 直接使用服务器作为这个代码中转很容易受到服务器故障的影响,如果是公司内网的服务器甚至还会受到停电等问题的影响。

我们再这篇文章里介绍一下rclone结合阿里云OSSAWS S3来说明一个方法,对于上述问题都可以提供更好的帮助。首先我们来看一下配置和使用方法。

rclone的安装与实用

rclone是一个类似于rsync的文件系统的命令行同步工具,区别在于,rclone是针对各种的云存储开发的,而且可以完成本地与云存储,以及不同的云存储之间的文件操作。

安装rclone最简单的方法就是直接执行远程的安装脚本(当然也可以根据具体发行版参考文档进行安装):

curl https://rclone.org/install.sh | sudo bash

在Linux上完成安装之后,rclone会默认从配置文件~/.config/rclone/rclone.conf中获取rclone的配置。我们既可以通过rclone的config命令来交互式修改这个配置,也可以直接编辑这个配置文件。

首先,我们来看一个阿里云OSS的配置(可以粘贴在rclone.conf中):

[oss-beijing]
type = s3
provider = Alibaba
env_auth = false
access_key_id = <YOUR_ACCESS_KEY_ID>
secret_access_key = <YOUR_SECRET_ACCESS_KEY>
endpoint = <YOUR_REGION>.aliyuncs.com
acl = private
storage_class = Standard

这里需要需要解释一下,其中[oss-beijing]是一个本地给阿里云OSS某一个区域的别名,在命令行中用来当做前缀使用,比如oss-beijing:my-bucket-name就是这个区域下面叫做my-bucket-name的桶(Bucket),而endpoint也要指定为对应的区域EndPoint(这个值可以在阿里云控制台查看到)。access_key_id和secret_access_key需要替换成权限适合的密钥对。

AWS S3的rclone的配置则更为简单:

[s3-beijing]
type = s3
provider = AWS
env_auth = true
region = cn-north-1
endpoint = https://s3.cn-north-1.amazonaws.com.cn

在这里指定endpointhttps://s3.cn-north-1.amazonaws.com.cn是为了rclone能够在AWS中国区的cn-north-1工作(宁夏区则需要另外一个地址)。而env_auth被指定为true,则是可以避免在rclone.conf中写上AWS的key和secret,而是直接使用~/.aws/中的配置。当然后,如果在环境中配置AWS使用了named profile时,也可以在运行rclone时,通过指定环境变量AWS_PROFILE=<your_profile_name>来使用某一个profile。

这个时候就可以使用一些命令来访问某些桶了:

# 列出my-bucket-name下的目录
rclone lsd oss-beijing:my-bucket-name
rclone lsd s3-beijing:my-bucket-name

# 以json形式列出my-bucket-name下的目录和文件
rclone lsjson oss-beijing:my-bucket-name
rclone lsjson s3-beijing:my-bucket-name

# 以json形式递归的列出my-bucket-name下目录和文件
# 这里的所谓递归其实并不是准确的描述,主要还是指列出Bucket下面全部的item
rclone lsjson oss-beijing:my-bucket-name -R
rclone lsjson s3-beijing:my-bucket-name -R

那么,在打包完成时,需要做的事情就是把本地的对应的目录同步到阿里云OSS或者S3中即可:

rclone sync <LOCAL_PATH> oss-beijing:my-bucket-name/target-path/
rclone sync <LOCAL_PATH> s3-beijing:my-bucket-name/target-path/

而在其他的主机上,也很方便将阿里云OSS或者S3中的对应目录同步回来:

rclone sync oss-beijing:my-bucket-name/target-path/ <LOCAL_PATH>
rclone sync s3-beijing:my-bucket-name/target-path/ <LOCAL_PATH>

注意sync命令会将目标路径完全同步为和本地一致的结构。

有关rclone具体使用方法,大家可以继续参考其官方文档。

一些需要注意的地方

回到一开始考虑的各种问题,在这里我们来补充一些需要注意的地方

  • 对于版本问题,建议在打包和同步的时候,把代码的版本号作为目录名同步到远端的存储中,这样在阿里云OSS或者S3就可以保存全部的代码包的历史。需要进行历史的冗余备份时,可以直接通过每个云服务商自己提供的机制来进行桶的复制,甚至还可以通过rclone来进行跨云服务商备份。如果不需要保存历史比较久的版本,也可以设置自动过期的机制。
  • 在权限管理方便,可以通过[阿里云的RAM]()和AWS的IAM为每一个参与建立单独的账号,并且可以在可以访问的Bucket的层面赋予权限。这样,每个账户可以通过自己的key/secret来进行访问。
  • 在rclone的lsjson命令中访问的数据中,有文件或者目录的创建时间等元信息,在同一个桶的路径下,可以通过这些来区分出最新同步的版本。
相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
目录
相关文章
|
9月前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
|
11月前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
11月前
|
存储 域名解析 前端开发
震惊!不买服务器,还可以用阿里云国际站 OSS 轻松搭建静态网站
在数字化时代,利用阿里云国际站OSS可低成本搭建静态网站。本文详解OSS优势及步骤:创建Bucket、上传文件、配置首页与404页面、绑定域名等,助你快速上线个人或小型业务网站,操作简单,成本低廉,适合初学者与中小企业。
|
10月前
|
人工智能 运维 API
10分钟零代码,0元立即部署OpenAI开源模型 GPT-OSS
8月,OpenAI推出开源模型gpt-oss-120b和gpt-oss-20b,在多项测试中表现优异,甚至超越GPT-4o等模型。为方便用户部署,阿里云人工智能平台PAI提供一键部署方案,无需编码,可免费体验。用户可通过Model Gallery快速部署模型并使用Cherry Studio客户端进行对话体验。
|
存储 人工智能 开发工具
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
只需要通过向AI助理提问的方式输入您的需求,即可瞬间获得核心流程代码及参数,缩短学习路径、提升开发效率。
1920 5
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
400 0
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
346 1