阿里云日志服务构建网站实时分析大盘实战

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
日志服务 SLS,月写入数据量 50GB 1个月
简介: 场景分析挖掘数据价值是当前企业级网站共同面临的问题。买买网是一个电商平台网站,每天拥有大量的用户访问和购买记录。为了引导用户直接消费,提升购买率和转化率,不同的用户类别需要推荐不同的商品信息。因此大数据快速分析的能力就必不可少了。

场景分析

挖掘数据价值是当前企业级网站共同面临的问题。买买网是一个电商平台网站,每天拥有大量的用户访问和购买记录。为了引导用户直接消费,提升购买率和转化率,不同的用户类别需要推荐不同的商品信息。因此大数据快速分析的能力就必不可少了。该网站的运营同学为了分析平台的男女消费情况,将用户的购买信息记录了下来。

解决方案

使用阿里云日志服务提供的一站式数据收集、分析、可视化能力。
image

优势:

  1. 阿里巴巴集团内部多业务场景使用,服务万级工程师,稳定可靠。
  2. 一站式解决方案。
  3. 多种访问控制,加密算法,安全性高。
  4. 多产品之间无缝对接,开放灵活。
  5. 全托管,免运维,按量付费,低成本。

前提条件

确保已开通阿里云日志服务,并成功接入数据。

日志字段分析

字段名 含义
category 商品类型
sex 性别
province 用户来源
time 消费时间
total_fee 消费金额

image

快速查询分析

查询分析语法简介

日志服务提供大规模日志实时查询与分析能力,在开始使用之前,首先我们要了解到日志服务的查询分析语法是由两部分组成:查询语句(Search)和分析语句(Analytics),查询和分析语句之间通过 |进行分割
格式如下:

$Search |$Analytics

部分Query示例

1.男性消费种类前5

sex: "男" | SELECT category, COUNT(*) as c GROUP BY category  ORDER BY c DESC  LIMIT 5

2.男性平均消费

sex: "男" | SELECT round(avg(total_fee), 3)

3.男性消费占比

* | select round(sum(case when sex='男' then 1 ELSE 0 end) *1.0 / count(1), 4) * 100 as male_percentage

4.平均消费趋势

* | SELECT time_series(__time__, '15m', '%H:%i:%S', '0') as time_col, avg(total_fee), sex GROUP BY time_col, sex ORDER BY time_col

构建网站实时分析大盘

基于查询的可视化

通过输入Query语句,将会展现出二维的数据表格,但这样并不直观。可视化图表提供了一种非常清晰的沟通方式,让数据更加客观、更具说服力。日志服务目前提供了20多种可视化图表,以及丰富的属性配置,可满足大部分可视化场景。

两步生成可视化图表

1.通过SQL查询统计男性消费种类前5:

image

2.选择饼图:如果生成图表和预期不一致,可在属性配置中进行修改

image

快速构建仪表盘

首次创建,直接将可视化图表直接添加到一个新的仪表盘。

image

保存后就可以在左侧导航中找到了

image

重复以上步骤,依次将各类统计数据可视化成图表存放到仪表盘中。

image

简单的仪表盘就生成好了,但为了更加直观。我们可以利用拖拽、缩放等功能,调整一下布局。日志服务仪表盘提供了更开放的图表编辑能力,图表支持多选操作(按住ctrl+鼠标左键,或拖拽来进行多选)、任意拖拽、层级叠放,操作起来十分简单。

intro

为了让数字指标显示更加突出,点击单值图右上角的编辑,修改一下属性配置。

attr

日志服务仪表盘提供了静态图形、SVG、连线等高级功能。我们可以利用这些高级功能进行可视化的丰富,定制属于我们的专属仪表盘。点击仪表盘右上方编辑,进入编辑模式,通过上方的菜单栏中找到这些功能。

svg

日志服务仪表盘中还支持添加文字内容,我们可以通过它来添加一些文字描述。

text

最终生成的仪表盘如下:

image

写在最后

日志服务目前提供的图表类型有20多种,还在不断更新完善。同时还支持下钻分析,帮助深入挖掘数据价值。配合订阅、告警等高级功能,提供各类可视化场景解决方案。如果您有更好的想法或者建议,欢迎加入钉钉群进行讨论。

image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
5天前
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
26 3
|
7天前
|
缓存 中间件
Nest.js 实战 (九):使用拦截器记录用户 CURD 操作日志
这篇文章介绍了在Nest.js中如何实现记录用户CURD操作的需求。首先解释了什么是拦截器以及拦截器的作用,然后通过创建Prisma模型,添加Log模型,并通过编写LoggerInterceptor拦截器,实现了记录用户操作的功能。最后通过效果演示和总结,强调了使用拦截器实现此功能的有效性。
|
4天前
|
XML Java Maven
Spring5入门到实战------16、Spring5新功能 --整合日志框架(Log4j2)
这篇文章是Spring5框架的入门到实战教程,介绍了Spring5的新功能——整合日志框架Log4j2,包括Spring5对日志框架的通用封装、如何在项目中引入Log4j2、编写Log4j2的XML配置文件,并通过测试类展示了如何使用Log4j2进行日志记录。
Spring5入门到实战------16、Spring5新功能 --整合日志框架(Log4j2)
|
24天前
|
消息中间件 Kubernetes Kafka
日志采集/分析
日志采集/分析
36 7
|
22天前
|
监控 数据管理 关系型数据库
数据管理DMS使用问题之是否支持将操作日志导出至阿里云日志服务(SLS)
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
1天前
|
敏捷开发 前端开发 测试技术
阿里云云效产品使用合集之如何将云效构建执行过程中产生的日志通过邮件发送
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
1天前
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用合集之appStack部署时没有日志是什么原因
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
12天前
|
应用服务中间件 Shell nginx
shell分析nginx日志的一些指令
shell分析nginx日志的一些指令
|
1月前
|
Python
Python编程实战:利用闭包与装饰器优化日志记录功能
【7月更文挑战第7天】Python的闭包和装饰器简化了日志记录。通过定义如`log_decorator`的装饰器,可以在不修改原函数代码的情况下添加日志功能。当@log_decorator用于`add(x, y)`函数时,调用时自动记录日志。进一步,`timestamp_log_decorator`展示了如何创建特定功能的装饰器,如添加时间戳。这些技术减少了代码冗余,提高了代码的可维护性。
30 1
|
29天前
|
存储 大数据 数据库
MySQL设计规约问题之为什么要利用pt-query-digest定期分析slow query log并进行优化
MySQL设计规约问题之为什么要利用pt-query-digest定期分析slow query log并进行优化

相关产品

  • 日志服务