态势感知日志分析 - 一行命令导出日志

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本篇介绍如何,使用命令行工具一行命令导出态势感知日志

背景

目前,阿里云态势感知与日志服务打通,对外开放平台依赖或者产生的日志,包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
image

本文介绍如何导出日志以便在某些场景下使用。

导出日志到本地

这里介绍如何使用阿里云日志服务的命令行工具(CLI)导出态势感知的相关日志到本地。

命令行准备工作

  1. 安装命令行工具(CLI)
    准备一台可以连上阿里云的机器,通过命令行安装CLI:

pip install -U aliyun-log-cli
如果遇到网络或者其他按照问题,可以参考文档

  1. 获取当前账户的秘钥
    点击阿里云控制台右上角的登录图标,选择accesskeys

image

点击警告的确认后,在秘钥列表中,选择一个没有过期的秘钥,点击显示查看并复制秘钥的ID和Key
image

注意:记录的秘钥请特别注意安全,推荐使用子账号秘钥的方式进行管理。

  1. 配置命令行的账户秘钥
aliyunlog configure 秘钥ID  秘钥Key 区域路径

注意: 其中区域路径取决于您的态势感知的区域,并且根据您运行命令所在的环境,有一些变化:

态势感知区域 运行命令行所处环境 区域路径
国内 任意机器 cn-hangzhou.log.aliyuncs.com
国内 杭州区域的ECS上 推荐 cn-hangzhou-intranet.log.aliyuncs.com 性能更佳
马来西亚 任意机器 ap-southeast-3.log.aliyuncs.com
马来西亚 吉隆坡区域的ECS上 推荐 ap-southeast-3-intranet.log.aliyuncs.com 性能更佳
  1. 获取日志服务的项目名和日志库名
    进入态势感知的控制台,进入日志分析后,可以看到日志服务的项目名称和日志库名:

image

可以看到,这里项目名称(Project)是:sas-log-阿里云账户ID-cn-hangzhou,日志库名(Logstore)是:sas-log

操作步骤

  1. 使用命令行,进入想要下载日志的存储的目录,例如dump_data
cd dump_data
  1. 执行CLI命令:
aliyun log pull_log_dump --project_name="项目名" --logstore_name="sas-log" --from_time="2018-01-24 16:00:00+8:00" --to_time="2018-01-24 17:00:00+8:00" --file_path="./dump_{}.data"

这里拉取从时间2018-01-24 16:00:00+8:002018-01-24 17:00:00+8:00并把数据下载本地。

  1. 下载完成
    下载完后会显示下载的文件列表以及日志数,例如:
{"files": {"./dump_1.data": 75, "./dump_2.data": 14}, "total_count": 89}

因为是并发下载,所以会存储在多个文件中,文件名根据/data/dump_{}.data中的{}替换成多个并发的数字(一般是分区号)。文件的内容格式为一行一个日志,例如:

{"k1":"a1", "k2":"a2"}
{"k1":"b1", "k2":"b2"}
...

进一步参考

进一步参考相关最佳实践:

目录
相关文章
|
7天前
|
监控 安全 BI
防火墙事件日志及日志分析
在网络安全防护体系中,防火墙作为抵御外部威胁的第一道防线,其重要性不言而喻。而对防火墙日志进行分析,更是深入了解网络流量、发现潜在安全风险的关键手段。
|
4月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
131 9
|
2月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
207 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
1月前
|
监控 Shell Linux
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
|
1月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
124 13
|
1月前
|
缓存 Java 编译器
|
1月前
|
存储 SQL Oracle
|
2月前
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
92 5
图解MySQL【日志】——Redo Log
|
1月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
147 0
|
3月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
163 7
MySQL事务日志-Undo Log工作原理分析

相关产品

  • 日志服务
  • 下一篇
    oss创建bucket