一篇文章玩转阿里云日志服务查询分析控制台

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,内容安全 1000次 1年
简介: 服务器,操作系统,应用程序会产生日志,每个独立的系统内部都会有一套日志系统,依靠这些日志才能在系统出现问题的时候进行排查修复,如何去利用好日志就成为了业务飞速发展道路上的一道难题。阿里云日志服务在提供一站式接入服务的同时,还具备强大的日志查询功能,下面就用几分钟来快速玩转日志数据挖掘。

前言

服务器,操作系统,应用程序会产生日志,每个独立的系统内部都会有一套日志系统,依靠这些日志才能在系统出现问题的时候进行排查修复,如何去利用好日志就成为了业务飞速发展道路上的一道难题。阿里云日志服务在提供一站式接入服务的同时,还具备强大的日志查询功能,下面就用几分钟来快速玩转日志数据挖掘。

初步预览

在日志服务控制台上完成数据接入后,海量的数据就可以在云上查询,打开查询分析页面后会看到页面上大部分的区域会显示最新原始日志的内容。

直方图(histogram)概览

首先在有产生日志的情况下,页面里会有一个绿色柱状图的图表,这个是概览日志情况的histogram,x轴显示了具体的时间,y轴显示了日志的数量。根据绿色柱形的波动就能看到这一段时间内日志产生的变化情况,如果当前的日志是服务器的访问日志,那就可以快速地发现这段时间内整个服务的负载情况以及用户访问pv情况。

image

当发现有一段时间内的数据增加的比较明显,我们提供了丰富的交互时间帮助您快速地定位问题。要想访问到更加细粒度的时间区间,除了右上角按钮调整时间区间外,还可以在histogram上进行鼠标操作,点击histogram上的每个柱状图就可以定位到更细粒度的时间区间,还可以如下图所示,拖动选择想要的时间区间,页面就会查询这段时间的原始日志。

123123123

同时在histogram下方会有当前时间区间内的日志总条数统计,还有查询状态的显示,默认的时间区间是15分钟前到现在。如果出现提示查询状态不准确的话,建议修改更细粒度的时间进行查询,比如5分钟等。同时,也可以对查询分析语句进行调整,增加limit的限制,只展示前100条数据,limit的语法请参考帮助文档

分词钻取(drilldown)

第一次打开查询分析页面时,默认的功能tab是原始日志,页面中会有一列叫“内容”的数据列,里面就是从数据源采集上来的原始日志信息,根据logtail配置设置key-value的键值对。为了方便之后的查询,建议对这些值进行设置索引,设置索引的入口在右上角查询分析配置内。

image

设置如果索引的字段类型是text(文本)的话,分词符就会生效,原始日志的内容就会被这些分词符分割。

image

分割完的日志信息最大的好处就是能够对切分好的日志片段进行钻取并快速过滤,如果在日志信息中想针对性地排查包含某个字段的日志信息,就可以点击对应字符,然后查询语句框就会自动填充过滤语句进行查询。

image

自动生成索引

根据提取的key依次对应设置索引未免有些繁琐,在查询分析配置里还提供自动生成索引的功能。点击“自动生成索引”按钮后,会出现一个提示框,根据现有的第一条日志key-value情况进行配置索引,点击确定后就可以覆盖当前的索引属性。

image

精准分析

简单的日志显示加过滤好比是在服务器上tail/grep的原始操作,想要针对性地进行日志分析就可以采用日志服务的查询。

时间灵活选择

默认15分钟的查询肯定无法满足大部分的需求,点开右上角时间的按钮就可以进行灵活的时间配置。

image

image

  • 相对时间
    相对时间表示从当前时间往前推一定的区间,比如当前的时间是15:32:10,选择1小时,那么查询的时间区间就是14:32:10 ~ 15:32:10。
  • 整点时间
    整点时间会对当前选择的区间的单位进行取整,假设当前时间是15:32:10,选择15分钟的话,就会对分钟进行取整,得到的区间是15:17:00 ~ 15:32:00,选择1小时,则会对小时取整,区间为14:00:00 ~ 15:00:00
  • 自定义时间
    相对时间和整点时间都有自定义填写的选项,同时还可以自定义填写想要的时间范围,填写具体的开始时间和结束时间。

列设置,内容列显示

在快速查询出日志信息的同时,想要隐藏掉一些不必要的列信息,可以点击“列设置”按钮,然后在穿梭框内选择想要显示的key名称并确定保存。

image

保存完配置的原始日志就会单独显示message这一列的信息了。

image

有时候在单条日志长度比较长的时候,为了数据显示和页面的性能,key-value对会截断显示,在“内容列显示”内可以调整内容的截断信息,同时原始日志内截断的日志可以具有展开操作。

image

目前默认的折叠长度是1000个字符,点击展开后会自动展开当前value值所有的字符串。

上下文查询

在查询结果页中任一条日志的左侧有上下文浏览按钮,表明该日志支持上下文查看功能。

image

日志上下文查询是指定日志来源(机器 + 文件)和其中一条日志,将该日志在原始文件中的前若干条(上文)或后若干条日志(下文)也查找出来,尤其是在 DevOps 场景下对于理清问题来龙去脉来说可谓是一把利器。

image

在右侧弹出的页面里就会展示想要查看的目标日志的上下文信息,还可以在过滤框中输入关键字进行高亮显示和过滤。

快速分析

快速分析是日志服务给用户提供的一键式交互查询功能,能帮助用户快速分析某一字段在指定时间内的分布情况,降低用户索引关键数据的成本。功能的入口在原始日志内容的左侧,点击每个索引名称右边的小图标就能对该字段进行快速分析。

image

当前的levelname字段是text类型,快速查询会展示字段前100000条数据的前十项分组统计,更多的功能指南可以参考帮助文档

分析结果持久化

在查询日志挖掘出价值的同时,如何保存分析结果,使结果持久化也是非常重要的,日志服务提供三种不同维度的方式:

  • 记录查询语句(快速查询)
  • 下载原始日志
  • 可视化(统计图表)

快速查询

快速查询是日志服务提供的一键查询分析功能,用户在页面上输入查询语句后并且有查询结果,就可以另存为快速查询,点击右上角“另存为快速查询”按钮,并在弹出层中填写相关的配置并进行保存。

image

image

在左侧管理栏内打开该快速查询的时候,页面就会打开新的tab,然后自动填充之前保存的查询分析语句。

image

下载原始日志

对原始日志进行下载导出也是对挖掘数据持久化的一部分,日志服务提供的下载方式有:

  • 一键导出当页日志
  • cloud shell下载日志
  • 命令行工具下载所有日志。

image

image

image

如果使用命令行工具的机器环境所在的region为<项目所在域>,建议切换endpoint为<内网endpoint>,这样下载的速度更快,而且不会产生额外的外网带宽费用。

统计图表

日志服务在提供快速分析能力的同时,也具备强大的可视化功能。统计图表页签中展示了查询分析语句的图形化分析,还可以针对数据源进行不同图表,不同维度的分析。

image

对图表进行组合,保存仪表盘,生成定制化大盘也是可视化分析的一大杀手锏。如何玩转日志服务可视化仪表盘请参考一下文章:

日志服务可视化重磅升级!专属你的炫酷仪表盘

后记

查询分析是日志服务控制台针对日志挖掘提供的最基本的功能,但也是最简单直观的。如果能利好这个云上利器,会在日常的运维场景下更加省时省心。同时,日志服务在日志场景下还提供各种解决方案,比如数据加工,机器学习,可视化等。如果您有更多的需求也欢迎联系我们,期待您的意见和建议。

image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
1月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
140 3
|
2月前
|
Java 应用服务中间件 HSF
Java应用结构规范问题之配置Logback以在控制台输出日志的问题如何解决
Java应用结构规范问题之配置Logback以在控制台输出日志的问题如何解决
|
3月前
|
监控 数据管理 关系型数据库
数据管理DMS使用问题之是否支持将操作日志导出至阿里云日志服务(SLS)
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
2月前
|
敏捷开发 前端开发 测试技术
阿里云云效产品使用合集之如何将云效构建执行过程中产生的日志通过邮件发送
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
2月前
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用合集之appStack部署时没有日志是什么原因
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
3月前
|
JavaScript 前端开发 开发者
控制台居然可以这么玩?五分钟带你上手ANSI指令,实现一个log工具包
控制台居然可以这么玩?五分钟带你上手ANSI指令,实现一个log工具包
46 1
|
5月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56582 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
5月前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
4月前
|
消息中间件 网络性能优化
消息队列 MQ产品使用合集之通过MQTT控制台查询不到设备轨迹或消息轨迹是什么原因
阿里云消息队列MQ(Message Queue)是一种高可用、高性能的消息中间件服务,它允许您在分布式应用的不同组件之间异步传递消息,从而实现系统解耦、流量削峰填谷以及提高系统的可扩展性和灵活性。以下是使用阿里云消息队列MQ产品的关键点和最佳实践合集。

相关产品

  • 日志服务