日志分析图表:同比环比场景和TreeMap

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,内容安全 1000 次 1年
简介: 一. 同比环比场景应用 同比环比是日志分析中十分常见的场景,日志服务于7月推出同比环比函数,我们可以利用其强大的分析能力,配合日志分析图表中的同比环比图以及折线图和柱状图进行非常直观清晰的展示。 同比环比函数 同比函数用于把当前区间的计算结果和之前一个指定区间的结果进行比较。

一. 同比环比场景应用

同比环比是日志分析中十分常见的场景,日志服务于7月推出同比环比函数,我们可以利用其强大的分析能力,配合日志分析图表中的同比环比图以及折线图和柱状图进行非常直观清晰的展示。

同比环比函数

同比函数用于把当前区间的计算结果和之前一个指定区间的结果进行比较。

  • 函数语法:
compare(value, time_window)
  • value:double或long类型数据
  • time_window:数值类型,单位为秒

比较当前窗口计算出来的value值和time_window计算出来的结果进行比较,返回值为数组类型,分别是[当前值,time_window之前的值,当前相对于之前的增长比例。]

  • 使用样例:
* | select compare( pv , 86400) from (select count(1) as pv from log)

更多可以参考同比和环比函数

场景1:最近1小时PV日同比分析

Step1:

我们知道,日志服务提供的分析语法可以通过SQL的方式对某一时间段内的数据进行统计,如最近1小时的PV,我们把这个定义为一个**窗口1**:
* | select count(1) as pv from log

Step2:

为窗口添加同比信息,这里以日同比为例,获取昨日(以秒为单位即86400)同一个小时窗口的数据信息,即**窗口2**,优化查询语句为:
* | select compare(pv , 86400) from
    (
        select count(1) as pv from log
    )

这里会得到一个数组[894, 897, 0.99665551839],即为[窗口1数据, 窗口2数据,窗口1/窗口2]

Step3:

将获取到的数组进行整合,分别提出为3列进行查看,优化查询语句为:
* | select
    diff[1] as "今天",
    diff[2] as "昨天",
    diff[1]-diff[2] as "比例" from
    (
        select compare(pv , 86400) as diff
        from (
            select count(1)  as pv from log
        )
    )

undefined

从结果中可以看到今天、昨天和比例三组值,从而可以得到结论为同比少了3次PV,对进行属性配置然后画图可得:

  • 图表类型:同比环比图
  • 显示值:今天
  • 对比值:比例
  • 趋势比较阈值:0(diff[1]-diff[2]获取差值和0进行对比,增加和减少不同情况展示)

undefined

场景2:最近1天PV日每小时日环比增长分析

Step1:

构建最近1天PV变化根据小时变化趋势查询语句,时间范围选取**今天**:
* | select
    date_format(date_trunc('hour', __time__), '%H:%i') as time,
    COUNT(1) as pv
    group by time
    order by time

Step2:

为窗口添加同比信息,优化查询语句为:
* | select
    time,
    compare(pv , 86400) as diff
    from (
        select
            date_format(date_trunc('hour', __time__), '%H:%i') as time,
            COUNT(1) as pv from log
            group by time
            order by time
    )
    group by time

Step3:

将diff数组提取两个窗口的计算差值:
* | select
    time,
    diff[1] as "今天",
    diff[2] as "昨天"
    from (
        select
        time,
        compare(pv , 86400) as diff
        from (
            select
            date_format(date_trunc('hour', __time__), '%H:%i') as time,
            COUNT(1) as pv from log
            group by time
        )
        group by time
    )
    order by time

从结果中可以看到时间、今天和昨天三组值,对进行属性配置然后画图可得:

  • 图表类型:线图
  • X轴:time
  • 左Y轴:今天、昨天

undefined

二. TreeMap(矩形树图)

矩形树图,即矩形式树状结构图(Treemap),用矩形面积表示数据的大小。各个小矩形的面积越大,表示占比越大。

和柱状图不一样的是,矩形树图更适合展示更多分类的信息(柱状图不建议超过10种分类信息)

场景:查看访问分布前30的来源ip地址

* | select remote_addr, count(1) as c group by remote_addr order by c limit 30
  • 图表类型:矩形树图
  • 分类:remote_addr
  • 数值列:c

undefined

结语

如果您有需要支持的图表类型也欢迎联系我们,期待您的意见和建议


image
相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
关系型数据库 物联网 PostgreSQL
沉浸式学习PostgreSQL|PolarDB 11: 物联网(IoT)、监控系统、应用日志、用户行为记录等场景 - 时序数据高吞吐存取分析
物联网场景, 通常有大量的传感器(例如水质监控、气象监测、新能源汽车上的大量传感器)不断探测最新数据并上报到数据库. 监控系统, 通常也会有采集程序不断的读取被监控指标(例如CPU、网络数据包转发、磁盘的IOPS和BW占用情况、内存的使用率等等), 同时将监控数据上报到数据库. 应用日志、用户行为日志, 也就有同样的特征, 不断产生并上报到数据库. 以上数据具有时序特征, 对数据库的关键能力要求如下: 数据高速写入 高速按时间区间读取和分析, 目的是发现异常, 分析规律. 尽量节省存储空间
1010 1
|
21天前
|
缓存 Java 应用服务中间件
Spring Boot配置优化:Tomcat+数据库+缓存+日志,全场景教程
本文详解Spring Boot十大核心配置优化技巧,涵盖Tomcat连接池、数据库连接池、Jackson时区、日志管理、缓存策略、异步线程池等关键配置,结合代码示例与通俗解释,助你轻松掌握高并发场景下的性能调优方法,适用于实际项目落地。
223 4
|
3月前
|
JSON 安全 网络安全
LoongCollector 安全日志接入实践:企业级防火墙场景的日志标准化采集
LoonCollector 是一款轻量级日志采集工具,支持多源安全日志的标准化接入,兼容 Syslog、JSON、CSV 等格式,适用于长亭 WAF、FortiGate、Palo Alto 等主流安全设备。通过灵活配置解析规则,LoonCollector 可将原始日志转换为结构化数据,写入阿里云 SLS 日志库,便于后续查询分析、威胁检测与合规审计,有效降低数据孤岛问题,提升企业安全运营效率。
|
6月前
|
监控 算法 测试技术
突破极限: 高负载场景下的单机300M多行正则日志采集不是梦
在当今数字化时代,日志数据已成为企业 IT 运营和业务分析的关键资源。然而,随着业务规模的扩大和系统复杂度的提升,日志数据的体量呈现爆发式增长,给日志采集和处理系统带来了巨大挑战。
502 99
|
9月前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
385 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
SQL 数据采集 JSON
使用对比!SLS 数据加工 SPL 与旧版 DSL 场景对照
本文讨论在不同的数据处理需求中,新版数据加工 SPL 与旧版数据加工 DSL 的使用对照。
7712 104
|
设计模式 SQL 安全
PHP中的设计模式:单例模式的深入探索与实践在PHP的编程实践中,设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种,确保一个类只有一个实例,并提供全局访问点,广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用,帮助开发者更好地理解和运用这一设计模式。
在PHP开发中,单例模式通过确保类仅有一个实例并提供一个全局访问点,有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景,并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
170 2
|
消息中间件 存储 Oracle
共识协议的技术变迁问题之能不能介绍下Share Log应用场景Pub/Sub
共识协议的技术变迁问题之能不能介绍下Share Log应用场景Pub/Sub
157 3
|
消息中间件 容灾
共识协议的技术变迁问题之Share Log在哪些场景中被广泛应用
共识协议的技术变迁问题之Share Log在哪些场景中被广泛应用
223 3
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
53553 2
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践

相关产品

  • 日志服务