阿里云日志服务构建网站实时分析大盘实战

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,内容安全 1000 次 1年
简介: 场景分析挖掘数据价值是当前企业级网站共同面临的问题。买买网是一个电商平台网站,每天拥有大量的用户访问和购买记录。为了引导用户直接消费,提升购买率和转化率,不同的用户类别需要推荐不同的商品信息。因此大数据快速分析的能力就必不可少了。

场景分析

挖掘数据价值是当前企业级网站共同面临的问题。买买网是一个电商平台网站,每天拥有大量的用户访问和购买记录。为了引导用户直接消费,提升购买率和转化率,不同的用户类别需要推荐不同的商品信息。因此大数据快速分析的能力就必不可少了。该网站的运营同学为了分析平台的男女消费情况,将用户的购买信息记录了下来。

解决方案

使用阿里云日志服务提供的一站式数据收集、分析、可视化能力。
image

优势:

  1. 阿里巴巴集团内部多业务场景使用,服务万级工程师,稳定可靠。
  2. 一站式解决方案。
  3. 多种访问控制,加密算法,安全性高。
  4. 多产品之间无缝对接,开放灵活。
  5. 全托管,免运维,按量付费,低成本。

前提条件

确保已开通阿里云日志服务,并成功接入数据。

日志字段分析

字段名 含义
category 商品类型
sex 性别
province 用户来源
time 消费时间
total_fee 消费金额

image

快速查询分析

查询分析语法简介

日志服务提供大规模日志实时查询与分析能力,在开始使用之前,首先我们要了解到日志服务的查询分析语法是由两部分组成:查询语句(Search)和分析语句(Analytics),查询和分析语句之间通过 |进行分割
格式如下:

$Search |$Analytics

部分Query示例

1.男性消费种类前5

sex: "男" | SELECT category, COUNT(*) as c GROUP BY category  ORDER BY c DESC  LIMIT 5

2.男性平均消费

sex: "男" | SELECT round(avg(total_fee), 3)

3.男性消费占比

* | select round(sum(case when sex='男' then 1 ELSE 0 end) *1.0 / count(1), 4) * 100 as male_percentage

4.平均消费趋势

* | SELECT time_series(__time__, '15m', '%H:%i:%S', '0') as time_col, avg(total_fee), sex GROUP BY time_col, sex ORDER BY time_col

构建网站实时分析大盘

基于查询的可视化

通过输入Query语句,将会展现出二维的数据表格,但这样并不直观。可视化图表提供了一种非常清晰的沟通方式,让数据更加客观、更具说服力。日志服务目前提供了20多种可视化图表,以及丰富的属性配置,可满足大部分可视化场景。

两步生成可视化图表

1.通过SQL查询统计男性消费种类前5:

image

2.选择饼图:如果生成图表和预期不一致,可在属性配置中进行修改

image

快速构建仪表盘

首次创建,直接将可视化图表直接添加到一个新的仪表盘。

image

保存后就可以在左侧导航中找到了

image

重复以上步骤,依次将各类统计数据可视化成图表存放到仪表盘中。

image

简单的仪表盘就生成好了,但为了更加直观。我们可以利用拖拽、缩放等功能,调整一下布局。日志服务仪表盘提供了更开放的图表编辑能力,图表支持多选操作(按住ctrl+鼠标左键,或拖拽来进行多选)、任意拖拽、层级叠放,操作起来十分简单。

intro

为了让数字指标显示更加突出,点击单值图右上角的编辑,修改一下属性配置。

attr

日志服务仪表盘提供了静态图形、SVG、连线等高级功能。我们可以利用这些高级功能进行可视化的丰富,定制属于我们的专属仪表盘。点击仪表盘右上方编辑,进入编辑模式,通过上方的菜单栏中找到这些功能。

svg

日志服务仪表盘中还支持添加文字内容,我们可以通过它来添加一些文字描述。

text

最终生成的仪表盘如下:

image

写在最后

日志服务目前提供的图表类型有20多种,还在不断更新完善。同时还支持下钻分析,帮助深入挖掘数据价值。配合订阅、告警等高级功能,提供各类可视化场景解决方案。如果您有更好的想法或者建议,欢迎加入钉钉群进行讨论。

image

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
2月前
|
存储 运维 监控
金蝶云•星辰基于 SLS 构建稳定高效可观测系统
金蝶云•星辰通过阿里云日志服务 SLS 替换自建 ELK 系统,构建统一可观测平台,有效应对业务高速增长带来的稳定性挑战,提升运维效率与系统稳定性,助力企业数字化转型。
|
9天前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
109 13
|
21天前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog,快速构建“数字犯罪现场”,精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径,生成合规与取证报表,确保日志安全防篡改,大幅提升调查效率,为执法提供有力证据支持。
|
6月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
|
6月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
502 117
|
3月前
|
运维 安全 数据可视化
日志审查安排工具实战攻略:中小团队如何通过日志审查安排工具建立可控、安全的审查机制?
在审计敏感时代,日志审查安排工具成为安全运维与合规管理的关键利器。它实现审查任务的流程化、周期化与可视化,支持多系统协作、责任到人,确保“可控、可查、可追”的日志治理。工具如板栗看板、Asana、Monday 等提供任务调度、问题闭环与合规对接能力,助力企业构建高效、透明的日志审查体系,提升安全与合规水平。
|
3月前
|
监控 安全 NoSQL
【DevOps】Logstash详解:高效日志管理与分析工具
Logstash是ELK Stack核心组件之一,具备强大的日志收集、处理与转发能力。它支持多种数据来源,提供灵活的过滤、转换机制,并可通过插件扩展功能,广泛应用于系统日志分析、性能优化及安全合规等领域,是现代日志管理的关键工具。
431 0
|
5月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
537 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
4月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
7月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
275 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统

相关产品

  • 日志服务