ossutil迁移日志文件至阿里云OSS

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: ossutil支持在Windows、Linux、macOS等系统中运行,您可以根据实际环境下载和安装合适的版本。

一、下载和安装
ossutil支持在Windows、Linux、macOS等系统中运行,您可以根据实际环境下载和安装合适的版本。

1.1 版本和运行环境
当前版本:1.7.10
软件源码:ossutil
运行环境
Windows/Linux/macOS
支持架构:x86(32bit、64bit)、ARM(32bit、64bit)
1.2 下载地址
ossutil1.7.8版本基于Golang 1.16版本编译,不支持通过macOS x86 32bit操作系统使用ossutil。因此,ossutil1.7.8及以上版本均不再提供ossutilmac32安装包。

Linux x86 32bit
Linux x86 64bit
Windows x86 32bit
Windows x86 64bit
macOS x86 64bit
ARM 32bit
ARM 64bit
根据您的操作系统下载对应版本,然后按如下步骤安装并配置ossutil,以下均以64位系统为例。

1.3 Linux系统安装
运行以下命令下载ossutil。

cd /usr/local/src
wget https://gosspublic.alicdn.com/ossutil/1.7.10/ossutil64

注意 复制下载地址时会自动加上spm编码内容,使用wget命令下载时注意删除链接中?spm=xxxx的内容。

运行以下命令修改文件执行权限。

chmod 755 /usr/local/src/ossutil64

使用交互式配置生成配置文件。

输入配置命令。

/usr/local/src/ossutil64 config

或者直接写入配置文件:

cat  >  /usr/local/src/youConfig <<EOF
[Credentials]
language=CH
endpoint=http://oss-cn-beijing-internal.aliyuncs.com
accessKeyID=xxxxx
accessKeySecret=xxxxx
EOF

使用的时候进行指定配置

/usr/local/src/ossutil64 ls oss://yourbucket -c /usr/local/src/youConfig

**
根据提示设置配置文件路径。**

建议直接按回车使用默认配置文件的路径。

ossutil默认使用/home/user/.ossutilconfig作为配置文件,若您设置了配置文件的路径,则每次使用命令时需增加-c选项指定配置文件。例如配置文件保存为/usr/local/src,使用ls时,命令格式如下:

/usr/local/src/ossutil64 ls oss://yourbucket -c /usr/local/src/youConfig

根据提示设置工具的语言。

请输入语言CH或EN。工具使用的语言默认与操作系统保持一致。该配置项将在此次config命令设置成功后生效。

根据提示分别设置Endpoint、AccessKey ID、AccessKey Secret和STSToken参数。

参数说明如下:

endpoint:填写Bucket所在地域的Endpoint。各地域Endpoint详情,请参见
**
访问域名和数据中心。**

您也可以增加http ://或https ://指定ossutil访问OSS使用的协议,默认使用HTTP协议。例如使用HTTPS协议访问深圳的Bucket。

accessKeyID、accessKeySecret:填写账号的AccessKey。

使用阿里云账号或RAM用户访问时,AccessKey的获取方式,请参见获取AccessKey。
使用STS临时授权账号访问时,AccessKey的获取方式,请参见使用STS临时访问凭证访问OSS。

stsToken:使用STS临时授权账号访问OSS时需要配置该项,否则置空即可。关于stsToken的生成方式,请参见临时访问凭证。

说明 关于配置文件的更多信息,请参见config。

1.4 Windows系统安装
单击下载链接下载工具。

将工具解压,并双击运行ossutil.bat文件。

运行以下命令,生成配置文件。

D:\ossutil>ossutil64.exe config

根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

1.5 macOS系统安装
运行以下命令下载ossutil。

curl -o ossutilmac64 https://gosspublic.alicdn.com/ossutil/1.7.10/ossutilmac64

运行以下命令修改文件执行权限。

chmod 755 ossutilmac64

运行以下命令,生成配置文件。

./ossutilmac64 config

根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

ARM系统安装
运行以下命令下载ossutil。

wget https://gosspublic.alicdn.com/ossutil/1.7.10/ossutilarm64

运行以下命令修改文件执行权限。

chmod 755 ossutilarm64

运行以下命令,生成配置文件。

./ossutilarm64 config

根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

二、实际应用,系统Centos
注意:下面的例子对应的

bucket的名为:oss-application-log;

ossutil64的配置文件为:/usr/local/src/oss-application-log

2.1 上传文件

/usr/local/src/ossutil64 cp youFile oss://yourBucket/youFile

举例:

/usr/local/src/ossutil64 cp /data/logs/php/php_errors.log oss://oss-application-log/logs/php/php_errors.log

2.2 上传文件夹

/usr/local/src/ossutil64 cp youDir oss://yourBucket/youDir

举例:

/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/

2.3 增量上传文件夹

./ossutil64 cp -r -u yourDir oss://oss-application-log/path
/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/ -c /usr/local/src/oss-application-log -u

2.4 备份日志可以把增量上传命令写入脚本/usr/local/src/ossutil64.sh

#!/usr/bin/bash
/usr/local/src/ossutil64 cp -r  yourDir oss://yourBucket/path -u

举例:

#!/usr/bin/bash
/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/ -c /usr/local/src/oss-application-log -u

开启定时任务

crontab -e
每天2点执行

0 2 * * * sh /usr/local/src/ossutil64.sh
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
134 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
12天前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
100 9
|
1月前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的控制文件与归档日志文件
本文介绍了Oracle数据库中的控制文件和归档日志文件。控制文件记录了数据库的物理结构信息,如数据库名、数据文件和联机日志文件的位置等。为了保护数据库,通常会进行控制文件的多路复用。归档日志文件是联机重做日志文件的副本,用于记录数据库的变更历史。文章还提供了相关SQL语句,帮助查看和设置数据库的日志模式。
【赵渝强老师】Oracle的控制文件与归档日志文件
|
26天前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的全量日志文件
MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
|
1月前
|
Oracle 关系型数据库 数据库
【赵渝强老师】Oracle的参数文件与告警日志文件
本文介绍了Oracle数据库的参数文件和告警日志文件。参数文件分为初始化参数文件(PFile)和服务器端参数文件(SPFile),在数据库启动时读取并分配资源。告警日志文件记录了数据库的重要活动、错误和警告信息,帮助诊断问题。文中还提供了相关视频讲解和示例代码。
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
2月前
|
监控 Linux 应用服务中间件
系统监控:使用日志文件 journalctl的使用
本文介绍了如何使用`journalctl`命令来监控和查看Linux系统的日志文件,包括查看特定行数、过滤日志级别、实时跟踪日志、按时间段查询日志以及日志轮换和压缩的配置。
87 2
系统监控:使用日志文件 journalctl的使用
|
2月前
|
SQL 数据库
为什么 SQL 日志文件很大,我应该如何处理?
为什么 SQL 日志文件很大,我应该如何处理?
|
2月前
|
SQL 存储 人工智能
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
82 3
|
2月前
|
开发工具 git
git显示开发日志+WinSW——将.exe文件注册为服务的一个工具+图床PicGo+kubeconfig 多个集群配置 如何切换
git显示开发日志+WinSW——将.exe文件注册为服务的一个工具+图床PicGo+kubeconfig 多个集群配置 如何切换
39 1