态势感知日志分析 - 一行命令导出日志-阿里云开发者社区

开发者社区> 阿里云存储服务> 正文

态势感知日志分析 - 一行命令导出日志

简介: 本篇介绍如何,使用命令行工具一行命令导出态势感知日志

背景

目前,阿里云态势感知与日志服务打通,对外开放平台依赖或者产生的日志,包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
image

本文介绍如何导出日志以便在某些场景下使用。

导出日志到本地

这里介绍如何使用阿里云日志服务的命令行工具(CLI)导出态势感知的相关日志到本地。

命令行准备工作

  1. 安装命令行工具(CLI)
    准备一台可以连上阿里云的机器,通过命令行安装CLI:

pip install -U aliyun-log-cli
如果遇到网络或者其他按照问题,可以参考文档

  1. 获取当前账户的秘钥
    点击阿里云控制台右上角的登录图标,选择accesskeys

image

点击警告的确认后,在秘钥列表中,选择一个没有过期的秘钥,点击显示查看并复制秘钥的ID和Key
image

注意:记录的秘钥请特别注意安全,推荐使用子账号秘钥的方式进行管理。

  1. 配置命令行的账户秘钥
aliyunlog configure 秘钥ID  秘钥Key 区域路径

注意: 其中区域路径取决于您的态势感知的区域,并且根据您运行命令所在的环境,有一些变化:

态势感知区域 运行命令行所处环境 区域路径
国内 任意机器 cn-hangzhou.log.aliyuncs.com
国内 杭州区域的ECS上 推荐 cn-hangzhou-intranet.log.aliyuncs.com 性能更佳
马来西亚 任意机器 ap-southeast-3.log.aliyuncs.com
马来西亚 吉隆坡区域的ECS上 推荐 ap-southeast-3-intranet.log.aliyuncs.com 性能更佳
  1. 获取日志服务的项目名和日志库名
    进入态势感知的控制台,进入日志分析后,可以看到日志服务的项目名称和日志库名:

image

可以看到,这里项目名称(Project)是:sas-log-阿里云账户ID-cn-hangzhou,日志库名(Logstore)是:sas-log

操作步骤

  1. 使用命令行,进入想要下载日志的存储的目录,例如dump_data
cd dump_data
  1. 执行CLI命令:
aliyun log pull_log_dump --project_name="项目名" --logstore_name="sas-log" --from_time="2018-01-24 16:00:00+8:00" --to_time="2018-01-24 17:00:00+8:00" --file_path="./dump_{}.data"

这里拉取从时间2018-01-24 16:00:00+8:002018-01-24 17:00:00+8:00并把数据下载本地。

  1. 下载完成
    下载完后会显示下载的文件列表以及日志数,例如:
{"files": {"./dump_1.data": 75, "./dump_2.data": 14}, "total_count": 89}

因为是并发下载,所以会存储在多个文件中,文件名根据/data/dump_{}.data中的{}替换成多个并发的数字(一般是分区号)。文件的内容格式为一行一个日志,例如:

{"k1":"a1", "k2":"a2"}
{"k1":"b1", "k2":"b2"}
...

进一步参考

进一步参考相关最佳实践:

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

官方博客
链接