当你需要查询数据或者下载到本地时, 是否遇到一些困难:
- Web查询不支持跨多个logstore查询?
- 现在的Web控制台只能一页一页的下载?
- SDK提供的接口需要用起来有些复杂, 例如大数据量分页如何控制, 调整数据的输出格式化? 需要重试不精确查询.
如果是的, 你可以使用日志服务的CLI轻松解决这些问题.
查询日志
介绍
查询数据(GetLog)指的是针对索引数据, 在特定时间范围内搜索特定的日志.
查询日志的特点是:
- 针对获取索引的数据
- 按照索引获取, 跨分区, 支持跨多个logstore查询
- 可以按照主题, 全文分词, 特定索引域等查询条件获取.
- 按照日志资深时间查询, 而不是服务器接收.
参考查询语法以了解如何打开索引以及查询的相关语法.
查询日志
根据设定好的查询语句查询数据, 即可通过CLI轻松查询数据. 下面例子查询某个时间范围, 某台服务器响应速度大于5秒的访问日志.
aliyunlog log get_log_all --project_name="p1" --logstore_name="l1" --query="host:test.com and response_time>5000" --from_time="2018-01-24 16:00:00+8:00" --to_time="2018-01-24 17:00:00 +8:00"这里拉取从时间2018-01-24 16:00:00+8:00到2018-01-24 17:00:00+8:00在内满足条件host:test.com and response_time>5000的日志, 例如:
{"count": 101, "logs": [{"k1":"a1", "k2":"a2"}, {"k1":"b1", "k2":"b2"}, ... ]}注意:
- 这里也可以使用子命令
get_log(s)并传入size=-1, 但如果数据量特别多时, 例如总行数100万行的时候, 推荐使用get_log_all.
转换格式并存储到文件
如果期望将数据按照一行一条的形式存储下来, 一般需要加入jmes-filter进行处理. 如果期望存储到文件, 这直接使用>>重定向到文件即可.
例如:
aliyunlog log get_log_all --project_name="p1" --logstore_name="l1" --query="host:test.com and response_time>5000" --from_time="2018-01-24 16:00:00+8:00" --to_time="2018-01-24 17:00:00 +8:00" --jmes-filter="join('\n', map(&to_string(@), @))" >> ~/Desktop/test.data输出将被存储在文件test.data中, 格式为:
{"k1":"a1", "k2":"a2"}
{"k1":"b1", "k2":"b2"}
...时间格式
时间格式推荐是%Y-%m-%d %H:%M:%S %Z, 如2018-01-24 17:00:00+8:00, 但也支持其他合法的时间格式, 例如:Jan 01 2018 10:10:10+8:00
时间范围
命令get_log(s)或get_log_all传入的时间范围, 需要注意几点:
- 这里的时间指的是解析出的日志时间(日志配置没有指定的情况下, 服务器接收日志的时间会设为这个时间).
- 时间的范围是左闭右闭
[], 上面例子中16:00:00和17:00:00时间的日志都会获得.
跨库查询
使用接口get_project_logs可以跨库查询日志. 例如:
aliyunlog log get_project_logs --request="{\"project\":\"p1\", \"query\":\"select count(1) from logstore1, logstore2, logstore3 where __date__ >'2017-11-10 00:00:00' and __date__ < '2017-11-13 00:00:00'\"}"具体细节可以参考跨库查询.
进一步参考
- 阿里云日志服务
- 阿里云日志服务CLI
(Github开源) - 扫码加入官方钉钉群 (11775223):
