ossutil迁移日志文件至阿里云OSS

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,标准 - 同城冗余存储 20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: ossutil支持在Windows、Linux、macOS等系统中运行,您可以根据实际环境下载和安装合适的版本。

一、下载和安装
ossutil支持在Windows、Linux、macOS等系统中运行,您可以根据实际环境下载和安装合适的版本。

1.1 版本和运行环境
当前版本:1.7.10
软件源码:ossutil
运行环境
Windows/Linux/macOS
支持架构:x86(32bit、64bit)、ARM(32bit、64bit)
1.2 下载地址
ossutil1.7.8版本基于Golang 1.16版本编译,不支持通过macOS x86 32bit操作系统使用ossutil。因此,ossutil1.7.8及以上版本均不再提供ossutilmac32安装包。

Linux x86 32bit
Linux x86 64bit
Windows x86 32bit
Windows x86 64bit
macOS x86 64bit
ARM 32bit
ARM 64bit
根据您的操作系统下载对应版本,然后按如下步骤安装并配置ossutil,以下均以64位系统为例。

1.3 Linux系统安装
运行以下命令下载ossutil。

cd /usr/local/src
wget https://gosspublic.alicdn.com/ossutil/1.7.10/ossutil64

注意 复制下载地址时会自动加上spm编码内容,使用wget命令下载时注意删除链接中?spm=xxxx的内容。

运行以下命令修改文件执行权限。

chmod 755 /usr/local/src/ossutil64

使用交互式配置生成配置文件。

输入配置命令。

/usr/local/src/ossutil64 config

或者直接写入配置文件:

cat  >  /usr/local/src/youConfig <<EOF
[Credentials]
language=CH
endpoint=http://oss-cn-beijing-internal.aliyuncs.com
accessKeyID=xxxxx
accessKeySecret=xxxxx
EOF

使用的时候进行指定配置

/usr/local/src/ossutil64 ls oss://yourbucket -c /usr/local/src/youConfig

**
根据提示设置配置文件路径。**

建议直接按回车使用默认配置文件的路径。

ossutil默认使用/home/user/.ossutilconfig作为配置文件,若您设置了配置文件的路径,则每次使用命令时需增加-c选项指定配置文件。例如配置文件保存为/usr/local/src,使用ls时,命令格式如下:

/usr/local/src/ossutil64 ls oss://yourbucket -c /usr/local/src/youConfig

根据提示设置工具的语言。

请输入语言CH或EN。工具使用的语言默认与操作系统保持一致。该配置项将在此次config命令设置成功后生效。

根据提示分别设置Endpoint、AccessKey ID、AccessKey Secret和STSToken参数。

参数说明如下:

endpoint:填写Bucket所在地域的Endpoint。各地域Endpoint详情,请参见
**
访问域名和数据中心。**

您也可以增加http ://或https ://指定ossutil访问OSS使用的协议,默认使用HTTP协议。例如使用HTTPS协议访问深圳的Bucket。

accessKeyID、accessKeySecret:填写账号的AccessKey。

使用阿里云账号或RAM用户访问时,AccessKey的获取方式,请参见获取AccessKey。
使用STS临时授权账号访问时,AccessKey的获取方式,请参见使用STS临时访问凭证访问OSS。

stsToken:使用STS临时授权账号访问OSS时需要配置该项,否则置空即可。关于stsToken的生成方式,请参见临时访问凭证。

说明 关于配置文件的更多信息,请参见config。

1.4 Windows系统安装
单击下载链接下载工具。

将工具解压,并双击运行ossutil.bat文件。

运行以下命令,生成配置文件。

D:\ossutil>ossutil64.exe config

根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

1.5 macOS系统安装
运行以下命令下载ossutil。

curl -o ossutilmac64 https://gosspublic.alicdn.com/ossutil/1.7.10/ossutilmac64

运行以下命令修改文件执行权限。

chmod 755 ossutilmac64

运行以下命令,生成配置文件。

./ossutilmac64 config

根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

ARM系统安装
运行以下命令下载ossutil。

wget https://gosspublic.alicdn.com/ossutil/1.7.10/ossutilarm64

运行以下命令修改文件执行权限。

chmod 755 ossutilarm64

运行以下命令,生成配置文件。

./ossutilarm64 config

根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

二、实际应用,系统Centos
注意:下面的例子对应的

bucket的名为:oss-application-log;

ossutil64的配置文件为:/usr/local/src/oss-application-log

2.1 上传文件

/usr/local/src/ossutil64 cp youFile oss://yourBucket/youFile

举例:

/usr/local/src/ossutil64 cp /data/logs/php/php_errors.log oss://oss-application-log/logs/php/php_errors.log

2.2 上传文件夹

/usr/local/src/ossutil64 cp youDir oss://yourBucket/youDir

举例:

/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/

2.3 增量上传文件夹

./ossutil64 cp -r -u yourDir oss://oss-application-log/path
/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/ -c /usr/local/src/oss-application-log -u

2.4 备份日志可以把增量上传命令写入脚本/usr/local/src/ossutil64.sh

#!/usr/bin/bash
/usr/local/src/ossutil64 cp -r  yourDir oss://yourBucket/path -u

举例:

#!/usr/bin/bash
/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/ -c /usr/local/src/oss-application-log -u

开启定时任务

crontab -e
每天2点执行

0 2 * * * sh /usr/local/src/ossutil64.sh
相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
相关文章
|
1月前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
|
1月前
|
存储 监控 算法
防止员工泄密软件中文件访问日志管理的 Go 语言 B + 树算法
B+树凭借高效范围查询与稳定插入删除性能,为防止员工泄密软件提供高响应、可追溯的日志管理方案,显著提升海量文件操作日志的存储与检索效率。
85 2
|
3月前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
3月前
|
存储 域名解析 前端开发
震惊!不买服务器,还可以用阿里云国际站 OSS 轻松搭建静态网站
在数字化时代,利用阿里云国际站OSS可低成本搭建静态网站。本文详解OSS优势及步骤:创建Bucket、上传文件、配置首页与404页面、绑定域名等,助你快速上线个人或小型业务网站,操作简单,成本低廉,适合初学者与中小企业。
|
5月前
|
Web App开发 监控 安全
OSS客户端签名直传实践:Web端安全上传TB级文件方案(含STS临时授权)
本文深入解析了客户端直传技术,涵盖架构设计、安全机制、性能优化等方面。通过STS临时凭证与分片上传实现高效安全的文件传输,显著降低服务端负载与上传耗时,提升系统稳定性与用户体验。
576 2
|
5月前
|
存储 人工智能 运维
防御OSS Bucket泄露:RAM权限策略+日志审计+敏感数据扫描三重防护
云存储安全三重防护体系,聚焦RAM权限控制、日志审计与敏感数据扫描,通过策略精控、异常检测与主动扫描构建闭环防御,有效应对配置错误导致的数据泄露风险,提升企业云上数据安全性。
407 0
|
10月前
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
864 92
|
9月前
|
消息中间件 监控 数据挖掘
【有奖实践】轻量消息队列(原 MNS)订阅 OSS 事件实时处理文件变动
当你需要对对象存储 OSS(Object Storage Service)中的文件变动进行实时处理、同步、监听、业务触发、日志记录等操作时,你可以通过设置 OSS 的事件通知规则,自定义关注的文件,并将 OSS 事件推送到轻量消息队列(原 MNS)的队列或主题中,开发者的服务即可及时收到相关通知,并通过消费消息进行后续的业务处理。
209 93
|
6月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
836 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志

热门文章

最新文章