阿里云日志服务构建网站实时分析大盘实战

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
云备份 Cloud Backup,100GB 3个月
简介: 场景分析挖掘数据价值是当前企业级网站共同面临的问题。买买网是一个电商平台网站,每天拥有大量的用户访问和购买记录。为了引导用户直接消费,提升购买率和转化率,不同的用户类别需要推荐不同的商品信息。因此大数据快速分析的能力就必不可少了。

场景分析

挖掘数据价值是当前企业级网站共同面临的问题。买买网是一个电商平台网站,每天拥有大量的用户访问和购买记录。为了引导用户直接消费,提升购买率和转化率,不同的用户类别需要推荐不同的商品信息。因此大数据快速分析的能力就必不可少了。该网站的运营同学为了分析平台的男女消费情况,将用户的购买信息记录了下来。

解决方案

使用阿里云日志服务提供的一站式数据收集、分析、可视化能力。
image

优势:

  1. 阿里巴巴集团内部多业务场景使用,服务万级工程师,稳定可靠。
  2. 一站式解决方案。
  3. 多种访问控制,加密算法,安全性高。
  4. 多产品之间无缝对接,开放灵活。
  5. 全托管,免运维,按量付费,低成本。

前提条件

确保已开通阿里云日志服务,并成功接入数据。

日志字段分析

字段名 含义
category 商品类型
sex 性别
province 用户来源
time 消费时间
total_fee 消费金额

image

快速查询分析

查询分析语法简介

日志服务提供大规模日志实时查询与分析能力,在开始使用之前,首先我们要了解到日志服务的查询分析语法是由两部分组成:查询语句(Search)和分析语句(Analytics),查询和分析语句之间通过 |进行分割
格式如下:

$Search |$Analytics

部分Query示例

1.男性消费种类前5

sex: "男" | SELECT category, COUNT(*) as c GROUP BY category  ORDER BY c DESC  LIMIT 5

2.男性平均消费

sex: "男" | SELECT round(avg(total_fee), 3)

3.男性消费占比

* | select round(sum(case when sex='男' then 1 ELSE 0 end) *1.0 / count(1), 4) * 100 as male_percentage

4.平均消费趋势

* | SELECT time_series(__time__, '15m', '%H:%i:%S', '0') as time_col, avg(total_fee), sex GROUP BY time_col, sex ORDER BY time_col

构建网站实时分析大盘

基于查询的可视化

通过输入Query语句,将会展现出二维的数据表格,但这样并不直观。可视化图表提供了一种非常清晰的沟通方式,让数据更加客观、更具说服力。日志服务目前提供了20多种可视化图表,以及丰富的属性配置,可满足大部分可视化场景。

两步生成可视化图表

1.通过SQL查询统计男性消费种类前5:

image

2.选择饼图:如果生成图表和预期不一致,可在属性配置中进行修改

image

快速构建仪表盘

首次创建,直接将可视化图表直接添加到一个新的仪表盘。

image

保存后就可以在左侧导航中找到了

image

重复以上步骤,依次将各类统计数据可视化成图表存放到仪表盘中。

image

简单的仪表盘就生成好了,但为了更加直观。我们可以利用拖拽、缩放等功能,调整一下布局。日志服务仪表盘提供了更开放的图表编辑能力,图表支持多选操作(按住ctrl+鼠标左键,或拖拽来进行多选)、任意拖拽、层级叠放,操作起来十分简单。

intro

为了让数字指标显示更加突出,点击单值图右上角的编辑,修改一下属性配置。

attr

日志服务仪表盘提供了静态图形、SVG、连线等高级功能。我们可以利用这些高级功能进行可视化的丰富,定制属于我们的专属仪表盘。点击仪表盘右上方编辑,进入编辑模式,通过上方的菜单栏中找到这些功能。

svg

日志服务仪表盘中还支持添加文字内容,我们可以通过它来添加一些文字描述。

text

最终生成的仪表盘如下:

image

写在最后

日志服务目前提供的图表类型有20多种,还在不断更新完善。同时还支持下钻分析,帮助深入挖掘数据价值。配合订阅、告警等高级功能,提供各类可视化场景解决方案。如果您有更好的想法或者建议,欢迎加入钉钉群进行讨论。

image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
3天前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
10天前
|
存储 运维 监控
Linux--深入理与解linux文件系统与日志文件分析
深入理解 Linux 文件系统和日志文件分析,对于系统管理员和运维工程师来说至关重要。文件系统管理涉及到文件的组织、存储和检索,而日志文件则记录了系统和应用的运行状态,是排查故障和维护系统的重要依据。通过掌握文件系统和日志文件的管理和分析技能,可以有效提升系统的稳定性和安全性。
28 7
|
11天前
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
|
13天前
|
监控 安全 Linux
启用Linux防火墙日志记录和分析功能
为iptables启用日志记录对于监控进出流量至关重要
|
1月前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
130 9
|
1月前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
|
2月前
|
Java Maven Spring
超实用的SpringAOP实战之日志记录
【11月更文挑战第11天】本文介绍了如何使用 Spring AOP 实现日志记录功能。首先概述了日志记录的重要性及 Spring AOP 的优势,然后详细讲解了搭建 Spring AOP 环境、定义日志切面、优化日志内容和格式的方法,最后通过测试验证日志记录功能的准确性和完整性。通过这些步骤,可以有效提升系统的可维护性和可追踪性。
|
2月前
|
存储 SQL 监控
|
2月前
|
运维 监控 安全
|
2月前
|
监控 关系型数据库 数据库
怎样分析慢查询日志?
【10月更文挑战第29天】怎样分析慢查询日志?
70 2

相关产品

  • 日志服务