linux的日志文件自动上传到oss

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: linux的日志文件自动上传到oss
#!/bin/bash
# 模块名字
servernames=("zxwy-api" "zxwy-task")
# 日志上传bucket名称
bucketname=zxwy-dev-backup-bucket
# 日志所在机器IP
ip=172.17.161.164
# 开始上传
for servername in ${servernames[@]}
do
  location=/home/logs/dev/${servername}
  # 上传当前日志
  # 前一小时日期,格式yyyy-MM-dd
  time=`date -d "1 hour ago" +"%Y-%m-%d-%H"`
  # 文件名字
  filename=${location}/${servername}.log.${time}
  echo '上传开始: '${filename}
  # 判断文件是否存在
  if [ ! -f "${filename}" ]; then
    echo '本地文件未找到: '${filename}
    exit 0
  fi
  # 检查oss是否已存在
  exists=`/home/apps/ossutil/ossutil -c /home/apps/ossutil/config ls oss://${bucketname}/log/${servername}/${ip}/${servername}.log.${time}.tar.gz`
  if [[ ${exists} =~ 'Object Number is: 1' ]]; then
    echo '云端文件已存在: '${filename}
    continue
  fi
  # 压缩
  cd ${location}
  tar -czvf ${servername}.log.${time}.tar.gz ${servername}.log.${time}
  # 上传到oss
  /home/apps/ossutil/ossutil -c /home/apps/ossutil/config cp ${filename}.tar.gz oss://${bucketname}/log/${servername}/${ip}/${servername}.log.${time}.tar.gz
  # 删除
  rm -f ${filename}.tar.gz
  echo '上传完成: '${filename}
done
exit 0
相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
10月前
|
Web App开发 监控 安全
OSS客户端签名直传实践:Web端安全上传TB级文件方案(含STS临时授权)
本文深入解析了客户端直传技术,涵盖架构设计、安全机制、性能优化等方面。通过STS临时凭证与分片上传实现高效安全的文件传输,显著降低服务端负载与上传耗时,提升系统稳定性与用户体验。
874 2
|
10月前
|
存储 人工智能 运维
防御OSS Bucket泄露:RAM权限策略+日志审计+敏感数据扫描三重防护
云存储安全三重防护体系,聚焦RAM权限控制、日志审计与敏感数据扫描,通过策略精控、异常检测与主动扫描构建闭环防御,有效应对配置错误导致的数据泄露风险,提升企业云上数据安全性。
655 0
|
11月前
|
Linux 开发工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
|
9月前
|
存储 数据管理 Linux
区分Linux中.tar文件与.tar.gz文件的不同。
总之,".tar"文件提供了一种方便的文件整理方式,其归档但不压缩的特点适用于快速打包和解压,而".tar.gz"文件通过额外的压缩步骤,尽管处理时间更长,但可以减小文件尺寸,更适合于需要节约存储空间或进行文件传输的场景。用户在选择时应根据具体需求,考虑两种格式各自的优劣。
1442 13
|
10月前
|
安全 Linux
Linux赋予文件000权限的恢复技巧
以上这些步骤就像是打开一扇锁住的门,步骤看似简单,但是背后却有着严格的逻辑和规则。切记,在任何时候,变更文件权限都要考虑安全性,不要无谓地放宽权限,那样可能
287 16
|
11月前
|
Linux
【Linux】 Linux文件I/O常见操作技巧
以上就是Linux文件I/O操作的一些技巧,接纳它们,让它们成为你在Linux世界中的得力伙伴,工作会变得轻松许多。不过记住,技巧的运用也需要根据实际情况灵活掌握,毕竟,最适合的才是最好的。
296 28
|
9月前
|
监控 Linux 应用服务中间件
linux查看日志文件tail -f用法
在 Linux 中,查看和监控日志文件是系统管理员和开发者常用的操作之一。tail 命令就是用来查看文件内容的,它默认显示文件的最后部分。tail -f 是 tail 命令的一个非常有用的选项,用于实时查看和跟踪日志文件的更新,尤其是在监控运行中的服务时非常有用。
1066 0
|
10月前
|
存储 Linux 数据处理
深入剖析Linux中一切即文件的哲学和重定向的机制
在计算机的奇妙世界中,Linux的这套哲学和机制减少了不同类型资源的处理方式,简化了抽象的概念,并蕴藏着强大的灵活性。就像变戏法一样,轻轻松松地在文件、程序与设备之间转换数据流,标准输入、输出、错误流就在指尖舞动,程序的交互和数据处理因此变得既高效又富有乐趣。
170 4
|
11月前
|
Ubuntu Linux
"unzip"命令解析:Linux下如何处理压缩文件。
总的来说,`unzip`命令是Linux系统下一款实用而方便的ZIP格式文件处理工具。本文通过简明扼要的方式,详细介绍了在各类Linux发行版上安装 `unzip`的方法,以及如何使用 `unzip`命令进行解压、查看和测试ZIP文件。希望本文章能为用户带来实际帮助,提高日常操作的效率。
2435 12
|
12月前
|
Linux Shell
Linux系统下快速批量创建和删除文件的方法
总的来说,使用shell脚本来批量处理文件是一种非常强大的工具,只要你愿意花时间学习和实践,你会发现它能大大提高你的工作效率。
616 19