一次基于日志服务(SLS)进行前端业务埋点的实现过程

简介: 一次基于日志服务(SLS)进行前端业务埋点的实现过程

项目背景

从阿里云官网上可以看出,日志服务(SLS)出现的初衷是为分布式系统的数据采集和分析来设计,所以对端上的支持并不是特别完善,不如其它面向端的采集平台那样做到开箱即用,向页面流向、性能指标都需要自己开发进行采集。本文分享一下项目上,端上业务封装的方案设计思路。

实现思路

首先要清楚的问题是我们需要进行什么分析?是着重分析业务功能的使用情况还是只需要了解基础的PV、UV数据?需不需要进行性能分析?需不需要进行链路分析?

明白数据采集的需求之后就是把需求拆解成指标,也就是最小采集单位。比如对于功能的使用情况这个需求,就可以通过公式 渗透率 = 功能使用人数 / 活跃用户数 把它拆解成2个指标。

有了指标之后我们再考虑该怎么通过(尽可能少的)埋点来采集这些指标

业务指标一般是产品经给出,然后技术同学来考虑怎么优雅、高效地实现。

下面以“某核心功能使用率”这个需求为例进行说明。

具体步骤

1 明确需求

某核心功能使用率(以下简称“使用率”)的可以通过公式计算得到:

使用率 = 100% * 使用该功能的用户数 / 使用产品的用户数

由于使用率只是一个数值,简单统计报表即可用来展示它的值。

但结合业务场景来看,我们很可能需要分析的是某次发布之后,使用率是否有明显变化,然后进行相关分析。比如 UI 交互优化后使用率是否有提升来验证改版的有效性,或者是否因为 bug 导致使用率下降等。

所以需要在时间维度上进行对比分析,折线图更加合适。

2 拆解指标

通过上面的公式看到使用率涉及2个指标:使用该功能用户数使用产品用户数

使用产品的用户数和我们可以通过统计用户 ID 来实现,也就是我们常说的 UV 指标。

使用该功能的用户数可以通过交互事件或者HTTP请求来统计,两者的区别在于,如果该功能比较复杂,涉及多个操作步骤或者多个请求,可以考虑通过进入功能的交互事件来统计,否则可以通过判断 HTTP 请求路径来进行统计。

3 规范埋点数据

虽然不同端的埋点方式不同,但是能在统一的报表上进行分析,所以需要事先定义好埋点规范,核心内容就是需要收集的字段(对应日志库的索引)

这里我们采用通用字段+业务字段结合的方式,以事件的形式进行上报。

其中通用字段包括但不限于事件名称、浏览器UA信息、代码版本、用户ID。。。

业务字段则根据具体埋点指标自行扩展,比如对于页面进入事件会收集页面路径,页面退出事件会收集页面路径和访问时间。

4 编码实现

由于我们项目存在跨端场景(web端和桌面端),所以编写了一个公共库,一方面是对 SLS 的 sdk 以及自行编写的客户端 sdk 进行了封装,让公共库来管理 sdk 的实例。另一方面以基类的方式规范了提供的事件函数。

除开上面两个原因,还有一些隐藏好处:

  1. 可以对一些原子事件进行更高层级的封装,比如进出页面事件、进出应用事件可以封装成一个。
  2. 可以随时替换底层实现,比如自行实现的 sdk,甚至是 SLS 的 sdk。

5 报表配置

最后一步就是配置报表了,虽然文档比较详细,也配有最佳实践,但还其实还是存在不少技巧的。比如:

1、建议优先在日志库提供的默认查询页面编写 SQL 进行查询分析,不光是为了调试,更重要的是系统会自image.png行推荐匹配的图表


2、折线图如果想绘制多条线,可以试试数据转换功能。

3、管道符“|”的过滤优先级要高于 where 子句。

......

总结

使用 SLS 进行业务埋点概括起来可以三步走:先需求文档,后代码实现,最后报表配置。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
25天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
81 1
|
26天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
78 1
|
30天前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
100 1
|
1月前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
51 0
|
1月前
|
存储 数据库
ALTER MATERIALIZED VIEW LOG :语句来更改现有物化视图日志的存储特征或类型。
`ALTER MATERIALIZED VIEW LOG` 语句用于修改已有的物化视图日志的存储属性或类型。配合示例中的动画图像(由于格式限制无法显示),该语句帮助优化数据库的性能和管理。
44 0
|
5天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
15 0
|
17天前
|
运维 安全 Ubuntu
`/var/log/syslog` 和 `/var/log/messages` 日志详解
`/var/log/syslog` 和 `/var/log/messages` 是Linux系统的日志文件,分别在Debian和Red Hat系发行版中记录系统事件和错误。它们包含时间戳、日志级别、PID及消息内容,由`rsyslog`等守护进程管理。常用命令如`tail`和`grep`用于查看和搜索日志。日志级别从低到高包括`debug`到`emerg`,表示不同严重程度的信息。注意保护日志文件的安全,防止未授权访问,并定期使用`logrotate`进行文件轮转以管理磁盘空间。
24 1
|
18天前
|
网络协议 应用服务中间件 Linux
centos7 Nginx Log日志统计分析 常用命令
centos7 Nginx Log日志统计分析 常用命令
33 2
|
18天前
|
Ubuntu Linux 网络安全
/var/log/auth.log日志详解
`/var/log/auth.log`是Linux(尤其是Debian系如Ubuntu)记录身份验证和授权事件的日志文件,包括登录尝试(成功或失败)、SSH活动、sudo使用和PAM模块的操作。登录失败、SSH连接、sudo命令及其它认证活动都会在此记录。查看此日志通常需root权限,可使用`tail`、`less`或`grep`命令。文件内容可能因发行版和配置而异。例如,`sudo tail /var/log/auth.log`显示最后几行,`sudo grep "failed password" /var/log/auth.log`搜索失败密码尝试。
76 8
|
1月前
|
监控 Java 测试技术
日志框架到底是Logback 还是 Log4j2
日志框架到底是Logback 还是 Log4j2
20 0

相关产品

  • 日志服务