阿里云日志服务构建网站实时分析大盘实战

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
对象存储 OSS,恶意文件检测 1000次 1年
简介: 场景分析挖掘数据价值是当前企业级网站共同面临的问题。买买网是一个电商平台网站,每天拥有大量的用户访问和购买记录。为了引导用户直接消费,提升购买率和转化率,不同的用户类别需要推荐不同的商品信息。因此大数据快速分析的能力就必不可少了。

场景分析

挖掘数据价值是当前企业级网站共同面临的问题。买买网是一个电商平台网站,每天拥有大量的用户访问和购买记录。为了引导用户直接消费,提升购买率和转化率,不同的用户类别需要推荐不同的商品信息。因此大数据快速分析的能力就必不可少了。该网站的运营同学为了分析平台的男女消费情况,将用户的购买信息记录了下来。

解决方案

使用阿里云日志服务提供的一站式数据收集、分析、可视化能力。
image

优势:

  1. 阿里巴巴集团内部多业务场景使用,服务万级工程师,稳定可靠。
  2. 一站式解决方案。
  3. 多种访问控制,加密算法,安全性高。
  4. 多产品之间无缝对接,开放灵活。
  5. 全托管,免运维,按量付费,低成本。

前提条件

确保已开通阿里云日志服务,并成功接入数据。

日志字段分析

字段名 含义
category 商品类型
sex 性别
province 用户来源
time 消费时间
total_fee 消费金额

image

快速查询分析

查询分析语法简介

日志服务提供大规模日志实时查询与分析能力,在开始使用之前,首先我们要了解到日志服务的查询分析语法是由两部分组成:查询语句(Search)和分析语句(Analytics),查询和分析语句之间通过 |进行分割
格式如下:

$Search |$Analytics

部分Query示例

1.男性消费种类前5

sex: "男" | SELECT category, COUNT(*) as c GROUP BY category  ORDER BY c DESC  LIMIT 5

2.男性平均消费

sex: "男" | SELECT round(avg(total_fee), 3)

3.男性消费占比

* | select round(sum(case when sex='男' then 1 ELSE 0 end) *1.0 / count(1), 4) * 100 as male_percentage

4.平均消费趋势

* | SELECT time_series(__time__, '15m', '%H:%i:%S', '0') as time_col, avg(total_fee), sex GROUP BY time_col, sex ORDER BY time_col

构建网站实时分析大盘

基于查询的可视化

通过输入Query语句,将会展现出二维的数据表格,但这样并不直观。可视化图表提供了一种非常清晰的沟通方式,让数据更加客观、更具说服力。日志服务目前提供了20多种可视化图表,以及丰富的属性配置,可满足大部分可视化场景。

两步生成可视化图表

1.通过SQL查询统计男性消费种类前5:

image

2.选择饼图:如果生成图表和预期不一致,可在属性配置中进行修改

image

快速构建仪表盘

首次创建,直接将可视化图表直接添加到一个新的仪表盘。

image

保存后就可以在左侧导航中找到了

image

重复以上步骤,依次将各类统计数据可视化成图表存放到仪表盘中。

image

简单的仪表盘就生成好了,但为了更加直观。我们可以利用拖拽、缩放等功能,调整一下布局。日志服务仪表盘提供了更开放的图表编辑能力,图表支持多选操作(按住ctrl+鼠标左键,或拖拽来进行多选)、任意拖拽、层级叠放,操作起来十分简单。

intro

为了让数字指标显示更加突出,点击单值图右上角的编辑,修改一下属性配置。

attr

日志服务仪表盘提供了静态图形、SVG、连线等高级功能。我们可以利用这些高级功能进行可视化的丰富,定制属于我们的专属仪表盘。点击仪表盘右上方编辑,进入编辑模式,通过上方的菜单栏中找到这些功能。

svg

日志服务仪表盘中还支持添加文字内容,我们可以通过它来添加一些文字描述。

text

最终生成的仪表盘如下:

image

写在最后

日志服务目前提供的图表类型有20多种,还在不断更新完善。同时还支持下钻分析,帮助深入挖掘数据价值。配合订阅、告警等高级功能,提供各类可视化场景解决方案。如果您有更好的想法或者建议,欢迎加入钉钉群进行讨论。

image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
存储 运维 监控
超越传统模型:从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及,系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎,以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
161 6
|
16天前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
111 9
|
18天前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
|
1月前
|
Java Maven Spring
超实用的SpringAOP实战之日志记录
【11月更文挑战第11天】本文介绍了如何使用 Spring AOP 实现日志记录功能。首先概述了日志记录的重要性及 Spring AOP 的优势,然后详细讲解了搭建 Spring AOP 环境、定义日志切面、优化日志内容和格式的方法,最后通过测试验证日志记录功能的准确性和完整性。通过这些步骤,可以有效提升系统的可维护性和可追踪性。
|
1月前
|
存储 SQL 监控
|
1月前
|
运维 监控 安全
|
1月前
|
监控 关系型数据库 MySQL
分析慢查询日志
【10月更文挑战第29天】分析慢查询日志
42 3
|
1月前
|
监控 关系型数据库 数据库
怎样分析慢查询日志?
【10月更文挑战第29天】怎样分析慢查询日志?
42 2
|
2月前
|
Java 程序员 应用服务中间件
「测试线排查的一些经验-中篇」&& 调试日志实战
「测试线排查的一些经验-中篇」&& 调试日志实战
26 1
「测试线排查的一些经验-中篇」&& 调试日志实战
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1698 14

相关产品

  • 日志服务
  • 下一篇
    DataWorks