备份日志和索引到阿里云OSS

本文涉及的产品
对象存储 OSS,20GB 3个月
云备份 Cloud Backup,100GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 备份日志和索引到阿里云OSS

1.备份原日志

阿里云官方文档
https://help.aliyun.com/document_detail/50451.html

1.下载ossutil工具

wget https://gosspublic.alicdn.com/ossutil/1.7.14/ossutil64

备注:示例下载到/opt/目录下

2.修改文件执行权限

chmod 755 ossutil64

3.使用交互式配置生成配置文件

./ossutil64 config

备注:只需要填写endpoint、accessKeyID、accessKeySecret
完成配置后,默认会在用户目录生成配置文件,可分发到其他机器复用

4.配置脚本上传
/opt/
├── log_upload
│ ├── ossutil64
│ └── ossutil_output
备注:
ossutil64 是OSS工具
ossutil_output 是OSS工具日志输出目录

上传opslog文件到oss

/opt/log_upload/ossutil64 cp -r xxx oss:xxx

2.备份es索引

kafka和es都是用的阿里云产品
后续会出这两个产品的使用文档和故障排查思路

首先到es的控制台

1.创建备份仓库

PUT _snapshot/xxx_backup/
{
   
    "type": "oss",
    "settings": {
   
        "endpoint": "http://oss-cn.com",
        "access_key_id": "xx",
        "secret_access_key": "xx",
        "bucket": "xx",
        "compress": true,
        "chunk_size": "500mb",
        "base_path": "snapshot/xxx/bk"
    }
}

2.查看

GET _snapshot/xxx_backup/

3.备份索引到oss
复制日志格式查看备份的时间段是否存在

GET _cat/indices?v&index=xxx*

备份

PUT _snapshot/xxx/xxx
{
   
"indices": "xxx*"
}

查看当前仓库所有快照

GET _snapshot/xxx_backup/_all

查看指定快照的索引

GET _snapshot/xxx_backup/xxx
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
5天前
|
存储 关系型数据库 MySQL
MySQL——数据库备份上传到阿里云OSS存储
MySQL——数据库备份上传到阿里云OSS存储
18 0
|
21天前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
2月前
|
存储 SQL 关系型数据库
|
4天前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
21天前
|
监控 数据管理 关系型数据库
数据管理DMS使用问题之是否支持将操作日志导出至阿里云日志服务(SLS)
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
30天前
|
存储 SQL Oracle
关系型数据库Oracle归档日志备份
【7月更文挑战第19天】
41 5
|
1月前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
存储 运维 安全
阿里云OSS的优势
【7月更文挑战第19天】阿里云OSS的优势
65 2
|
1月前
|
存储 API 开发工具
阿里云OSS
【7月更文挑战第19天】阿里云OSS
52 1
|
1月前
|
人工智能 对象存储
【阿里云AI助理】自家产品提供错误答案。阿里云OSS 资源包类型: 下行流量 地域: 中国内地通用 下行流量包规格: 300 GB 套餐: 下行流量包(中国内地) ,包1年。那么这个是每月300GB,1年是3600GB的流量;还是1年只有300GB的流量?
自家产品提供错误答案。阿里云OSS 资源包类型: 下行流量 地域: 中国内地通用 下行流量包规格: 300 GB 套餐: 下行流量包(中国内地) ,包1年。那么这个是每月300GB,1年是3600GB的流量;还是1年只有300GB的流量?
100 1

相关产品