阿里云oss同步文件到本地,添加宝塔定时任务自动同步

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云oss同步文件到本地,添加宝塔定时任务自动同步

博客储存桶换到了又拍云,由于部署原因,云储存只是方便利用插件快速上传,只做储存用。访问的源站是到本地的,故需要将云储存上的文件镜像到本地,但找了半圈又拍不支持将云储存增量同步到本地(但可以本地->到云储存),但是阿里云oss可以,所以借助又拍云的融合云储存将文件同步到阿里云oss,在借助阿里云oss的ossutil命令行工具将文件储存到本地。完成需求。

1.安装阿里云ossutil命令行工具

  1. wget https://gosspublic.alicdn.com/ossutil/1.7.9/ossutil64

2运行以下命令修改文件执行权限。

  1. chmod 755 ossutil64

3.生成配置文件

  1. ./ossutil64 config

4.根据提示设置工具的语言和配置

请输入语言CH或EN。工具使用的语言默认与操作系统保持一致。该配置项将在此次config命令设置成功后生效。

根据提示分别设置EndpointAccessKey IDAccessKey SecretSTSToken参数。

参数说明如下:

  • endpoint:填写Bucket所在地域的Endpoint。各地域Endpoint详情,请参见访问域名和数据中心。
  • accessKeyID、accessKeySecret:填写账号的AccessKey。
  • stsToken:使用STS临时授权账号访问OSS时需要配置该项,否则置空即可。

5.安装完成,同步阿里云oss文件到本地

命令

注意: 同步到本地的文件夹,路径请严格按格式配置,否则可能会同步到ossutil安装目录去

  1. ./ossutil64 sync oss://你的oss储存桶名称/localdir/ destdir/
  2. #翻译⬇️
  3. ./ossutil64 sync oss://你的oss储存桶名称/oss目录文件夹/ 同步到本地的目录/
  4. ./ossutil64 sync oss://你的oss储存桶名称/localdir/ -u --update /destdir/
  5. #翻译⬇️
  6. -u --update 表示:只有当目标文件不存在,或源文件的最后修改时间晚于目标文件时,ossutil才会执行同步操作。

命令格式

  1. ./ossutil64 sync cloud_url file_url
  2. [-f --force]
  3. [-u --update]
  4. [--maxdownspeed <value>]
  5. [--delete]
  6. [--backup-dir <value>]
  7. [--enable-symlink-dir]
  8. [--disable-all-symlink]
  9. [--disable-ignore-error]
  10. [--only-current-dir]
  11. [--output-dir <value>]
  12. [--bigfile-threshold <value>]
  13. [--part-size <value>]
  14. [--checkpoint-dir <value>]
  15. [--range <value>]
  16. [--encoding-type <value>]
  17. [--snapshot-path <value>]
  18. [--include <value>]
  19. [--exclude <value>]
  20. [--disable-crc64]
  21. [--payer <value>]
  22. [-j, --job <value>]
  23. [--parallel <value>]
  24. [--retry-times <value>]

参数及选项说明如下:

配置项 说明
cloud_url OSS文件夹(目录)路径。格式为oss://bucketname/path/。例如oss://examplebucket/exampledir/。如果输入的cloud_url没有以正斜线(/)结尾,ossutil会自动在结尾处添加一个正斜线(/)。
file_url 待同步的本地文件夹路径。例如Linux系统文件夹路径/localfolder/Windows系统文件夹路径D:\localfolder\
-f --force 强制操作,不进行询问提示。
-u,--update 只有当目标文件不存在,或源文件的最后修改时间晚于目标文件时,ossutil才会执行同步操作。
--maxdownspeed 最大下载速度,单位为KB/s,默认值为0,表示不限制下载速度。
--delete 将目的端指定路径下的其他文件都删除,仅保留本次同步的文件。

警告 建议您使用--delete选项前开启版本控制,防止数据被误删。

--backup-dir 指定目标文件夹,用于保存目的端存在而源端不存在的文件。
--enable-symlink-dir 同步链接子目录。
--disable-all-symlink 同步目录时,忽略所有的链接子文件以及链接子目录。
--disable-ignore-error 批量操作时不忽略错误。
--only-current-dir 仅同步当前目录下的文件,忽略子目录及子目录下的文件。
--output-dir 指定输出文件所在的目录。输出文件是指批量同步文件出错时产生的report文件,默认保存在当前目录下的ossutil_output目录。
-bigfile-threshold 设置断点续传文件的大小阈值,单位为字节。

默认值:100 MB

取值范围:0~9223372036854775807

--part-size 设置分片大小,单位为字节。默认情况下ossutil会根据文件大小自行计算合适的分片大小值。

取值范围:1~9223372036854775807

--checkpoint-dir 指定断点续传记录信息所在的目录。断点续传操作失败时,ossutil会自动创建名为.ossutil_checkpoint的目录,并在该目录下记录checkpoint信息,断点续传成功后会删除该目录。如果指定了该选项,请确保指定的目录可以被删除。
--range 下载目标文件的指定字段,并保存为一个新的文件,字段从0开始编号。
  • 指定区间例如指定为3-9,表示下载文件的第3个字节到第9个字节(包含第3和第9字节)。
  • 指定开始位置例如指定为3-,表示从第3个字节开始到文件结尾(包含第3个字节)。
  • 指定结束位置例如指定为-9,表示从0字节到第9个字节(包含第9个字节)。
--encoding-type 文件名称的编码方式。取值为url。如果不指定该选项,则表示文件名称未经过编码。
--snapshot-path 指定保存同步文件时的快照信息所在的目录。在下一次同步文件时,ossutil会读取指定目录下的快照信息进行增量同步。
--include 包含符合指定条件的所有文件。
--exclude 不包含任何符合指定条件的文件。
--disable-crc64 关闭CRC64数据校验。
--payer 请求的支付方式。如果希望访问指定路径下的资源产生的流量、请求次数等费用由请求者支付,请将此选项的值设置为requester
-j,--job 多文件操作时的并发任务数,默认值为3,取值范围为1~10000。
--parallel 单文件操作时的并发任务数,取值范围为1-10000。 如果不设置此选项,默认由ossutil根据操作类型和文件大小自行决定。
--retry-times 发生错误后的重试次数。默认值为10,取值范围为1~500。

网络异常,图片无法展示
|

6.设置宝塔定时任务 自动同步

参考命令:

  1. cd /www2/upx##先进入到ossutil工具目录
  2. ./ossutil64 sync oss://a-oss-zmki-cn/ -u --update /www2/wwwroot/a-oss.zmki.cn/

网络异常,图片无法展示
|

 

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
1月前
|
存储 弹性计算 数据可视化
要将ECS中的文件直接传输到阿里云网盘与相册(
【2月更文挑战第31天】要将ECS中的文件直接传输到阿里云网盘与相册(
416 4
|
1月前
|
存储 安全 对象存储
手把手教你搭建阿里云图床(PicGo+Typora+阿里云OSS),新手小白一看就会
本文详细介绍了怎样帮助新手小白从注册,购买阿里云OSS,到一步一步配置OSS做为图床,和PicGo、Typora软件连接,配置好关联之后,在使用Typora写文章时,如果需要插入图片,只需要将图片复制粘贴到Typora的编辑区域,就会自动通过PicGo上传到指定图床,自动复制外网能访问的URL并展示,简直不要太方便,极大的解决了编辑文章时复制处理图片链接的痛点。
167 2
手把手教你搭建阿里云图床(PicGo+Typora+阿里云OSS),新手小白一看就会
|
1天前
|
存储 开发工具 对象存储
Javaweb之SpringBootWeb案例之阿里云OSS服务入门的详细解析
Javaweb之SpringBootWeb案例之阿里云OSS服务入门的详细解析
7 0
|
7天前
|
存储 数据可视化 安全
对象存储OSS产品常见问题之有几十亿个txt文件,单个4kb,使用oss如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
39 11
|
7天前
|
存储 监控 开发工具
对象存储OSS产品常见问题之python sdk中的append_object方法支持追加上传xls文件如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
38 9
|
8天前
|
存储 Java API
阿里云oss简介和使用流程
本文档介绍了如何准备阿里云OSS(对象存储服务)并开始使用它。首先,需要注册阿里云账号并进行实名认证,然后购买OSS资源包。在阿里云控制台中,可以创建和管理OSS存储空间(称为“Bucket”)。接着,文章简要介绍了阿里云OSS,它是一个基于云端的对象存储服务,提供高可靠性、高性能、低成本和易于使用的特性。 在阿里云OSS控制台,用户可以进行文件的上传和下载操作。通过API,开发者可以使用各种编程语言(如Java)来创建、删除Bucket以及上传、下载和删除文件。例如,Java代码示例展示了如何创建Bucket、上传文件、删除文件以及下载文件到本地的操作。
|
15天前
|
开发工具 对象存储
阿里云OSS文件上传
阿里云OSS文件上传
57 0
|
15天前
|
存储 缓存 Java
阿里云OSS实战从入门到大神
说起阿里云OSS,那作用和功能都是非常强大的,它可以存放图片,音频,视频等资源文件,这些资源文件,你不必存放到服务器的硬盘里,这样既可以节省服务器硬盘空间,又可以降低服务器的读写压力,非常适合大并发的架构。
54 0
|
22天前
|
存储 Cloud Native Serverless
云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理
阿里云OSS对象存储方案利用函数计算FC,在不同终端请求时实时处理OSS中的原图,减少衍生图存储,降低成本。
|
27天前
|
存储 对象存储 容器
阿里云OSS对象存储基础入门
阿里云OSS对象存储基础入门
89 0

热门文章

最新文章