态势感知日志分析 - 一行命令导出日志-阿里云开发者社区

开发者社区> 成喆> 正文

态势感知日志分析 - 一行命令导出日志

简介: 本篇介绍如何,使用命令行工具一行命令导出态势感知日志
+关注继续查看

背景

目前,阿里云态势感知与日志服务打通,对外开放平台依赖或者产生的日志,包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
image

本文介绍如何导出日志以便在某些场景下使用。

导出日志到本地

这里介绍如何使用阿里云日志服务的命令行工具(CLI)导出态势感知的相关日志到本地。

命令行准备工作

  1. 安装命令行工具(CLI)
    准备一台可以连上阿里云的机器,通过命令行安装CLI:

pip install -U aliyun-log-cli
如果遇到网络或者其他按照问题,可以参考文档

  1. 获取当前账户的秘钥
    点击阿里云控制台右上角的登录图标,选择accesskeys

image

点击警告的确认后,在秘钥列表中,选择一个没有过期的秘钥,点击显示查看并复制秘钥的ID和Key
image

注意:记录的秘钥请特别注意安全,推荐使用子账号秘钥的方式进行管理。

  1. 配置命令行的账户秘钥
aliyunlog configure 秘钥ID  秘钥Key 区域路径

注意: 其中区域路径取决于您的态势感知的区域,并且根据您运行命令所在的环境,有一些变化:

态势感知区域 运行命令行所处环境 区域路径
国内 任意机器 cn-hangzhou.log.aliyuncs.com
国内 杭州区域的ECS上 推荐 cn-hangzhou-intranet.log.aliyuncs.com 性能更佳
马来西亚 任意机器 ap-southeast-3.log.aliyuncs.com
马来西亚 吉隆坡区域的ECS上 推荐 ap-southeast-3-intranet.log.aliyuncs.com 性能更佳
  1. 获取日志服务的项目名和日志库名
    进入态势感知的控制台,进入日志分析后,可以看到日志服务的项目名称和日志库名:

image

可以看到,这里项目名称(Project)是:sas-log-阿里云账户ID-cn-hangzhou,日志库名(Logstore)是:sas-log

操作步骤

  1. 使用命令行,进入想要下载日志的存储的目录,例如dump_data
cd dump_data
  1. 执行CLI命令:
aliyun log pull_log_dump --project_name="项目名" --logstore_name="sas-log" --from_time="2018-01-24 16:00:00+8:00" --to_time="2018-01-24 17:00:00+8:00" --file_path="./dump_{}.data"

这里拉取从时间2018-01-24 16:00:00+8:002018-01-24 17:00:00+8:00并把数据下载本地。

  1. 下载完成
    下载完后会显示下载的文件列表以及日志数,例如:
{"files": {"./dump_1.data": 75, "./dump_2.data": 14}, "total_count": 89}

因为是并发下载,所以会存储在多个文件中,文件名根据/data/dump_{}.data中的{}替换成多个并发的数字(一般是分区号)。文件的内容格式为一行一个日志,例如:

{"k1":"a1", "k2":"a2"}
{"k1":"b1", "k2":"b2"}
...

进一步参考

进一步参考相关最佳实践:

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《工业控制网络安全技术与实践》一3.3.2 过程控制与监控网络脆弱性分析
本文讲的是工业控制网络安全技术与实践一3.3.2 过程控制与监控网络脆弱性分析,本节书摘来华章计算机《工业控制网络安全技术与实践》一书中的第3章,第3.3.2节,姚 羽 祝烈煌 武传坤 编著 译更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1326 0
javascript:使用document.getElementById读取数据为空分析
  今天写个网页,想在页面加载onLoad时,动态显示由后台其他程序传来的数据时,用document.getElementById获取控件对象总是为空。但是检查了这个id确实是存在的。在网上查阅一番后才知道了其中的原因。
892 0
51.com开放平台日志
【51开放平台日志 2008年12月05日】第三方小应用可以直接使用Flash访问51用户照片文件 出自51.com developers wiki 跳转到: 导航, 搜索 因为Flash的跨域读取文件限制策略,导致之前第三方小应用无法实现Flash跨域读取51用户照片。
481 0
日志服务数据加工培训直播资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践
日志服务数据加工系列培训资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践
1321 0
AIX定时删除归档日志时系统HANG住
【环境说明】 Oracle Dataguard在的运用已经算是比较成熟了,个人也用了挺多的场景和各种平台了。之前在windows2003平台上面的搭建oracle 11.2数据库的datagaurad遇到了bug。
1322 0
ELK日志分析系统迁移记录
写在开始 阿里云ECS即将到期,由于之前ELK日志分析是在自己的服务器上进行试水,断断续续运行了一年多时间。 今天抽空赶紧把ELK迁移一下,由于Logstash本身就配置于各个系统之中,所以这里只是对Redis、Elasticsearch和Kibana进行了配置,当然还有一些邮件发送的配置。
3442 0
【51开放平台日志 2009年03月03日】51开放平台第三方小应用停机维护时间建议
【51开放平台日志 2009年03月03日】51开放平台第三方小应用停机维护时间建议 出自51.com developers wiki 跳转到: 导航, 搜索 通过我们的数据分析,51用户最少的时间段集中在:每天的凌晨4点~7点。
527 0
+关注
成喆
不忘初心 方得始终
101
文章
2
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载