网站流量日志分析—分析指标和分析模型—基础、来源分析模型|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习网站流量日志分析—分析指标和分析模型—基础、来源分析模型

开发者学堂课程【大数据分析之企业级网站流量运营分析系统开发实战(第三阶段)网站流量日志分析—分析指标和分析模型—基础、来源分析模型】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/695/detail/12210


网站流量日志分析—分析指标和分析模型—基础、来源分析模型


内容介绍:

一、 基础分析

二、 来源分析

 

当计算出基础复核指标之后,这些指标该以何种方式呈现给别人看,这就是所谓的分析模型所探讨的问题。

 

一、 基础分析

第一块叫做基础指标的模型,基础指标一般指 PV 、IP 、UV。那么如果不考虑模型展示给别人看将会是一种非常枯燥无聊的,举个例子,入职公司当中的非常辛苦的数据分析工作,进行数据的采集,收集,预处理以及分析,这时候每天都可以分析出这些指标,比如20181101,PV 是1000,UV 是600,VV 是650,在伪造数据的时候要记住数据背后的规律不要改变, VV 不可能小于 UV 的,今天来了600 个人至少产生了600个对话,这个规律要知道,这是一号分析的指标;

第二天又开始了,分析指标, PV 是1200,UV 是700,VV 是720,但是发现当把数据清晰好之后,每天分析起来并不难,也就是做一些数据的统计,但是发现如果是总结指标非常的枯燥,计算出来它并不非常有利于给别人展示,就这些基础指标基础分析模型以什么形式展示比较友好,例如,这时候针对每一天或者每个指标的情况,老板需要看 PV 波动情况,首先直接看数据也能看出波动情况,但更好提供一个折线统计图,X 轴是时间,Y 轴是PV ,给它画一个柱状图,做相关的颜色,比较一下,看柱状图更加不枯燥(如下图所示)

image.png

这个背后所展示的就是所谓的分析模型,分析模型与后面的数据课时化息息相关,以何种方式把所分析的数据展示给他人看,画成折线图也比较简单,把每个中点连接起来就变成了折线图(如下图所示)

image.png

这是第一个,后面的 UP 和 VV 依然展示,除了画个图来展示,还可以做分析叫做对比分析,当掌握分析模型之后提供一个对比分析的模型,什么是对比分析?举个例子,用PV 来说,提供一个历史最高值和历史最低值以及最近七天平均值,这几个指标来说把 PV 求一个最大求一个最小以及求一个平均值,把它计算出来来说老板或对别人来说是一个非常友好的指标,最高值是1800,最低值是230,平均值是820,这样看到指标可以做到心中有数,不管对比分析能够知道当前数据是属于什么环境当中,是一个正常值还是不正常值,发现最大最小值,产生数量对比分析,这就是基础分析,通常还有对比分析,背后所包含的是考虑以何种模型更加友好的展示出来以分析的数据。

下图所示,这里面展示出来今天浏览次数 PV,独立访客数量,平均访问深度、平均访问长度等以及昨天的相关情况,历史最高值的情况,可以扩展一下如果说想把项目做得更大,这里还可以引用实时计算,相关基础,

image.png

比如今天来一个人之后,立马把行为计算出来进行累加,可以显示指标当前在线的人数,当前的匹配值,再结合后面的推算,智能推荐、优化项等等,这可以使整个项目变得更加完善,这一块不要把局限死。


二、 来源分析

来源分析所表示的就是从背后哪里来,再说之前看一下来源分类。知道当去访问一个网站的时候通常有好多种形式,第一种形式直接在浏览器上输入地址,第二种形式是通过浏览器的搜索引擎去搜索这家公司,比如说想访问网站但不知道它的域名;第三种形式是链接访问,一些公司提供友好链接访问,A 链接 B ,B 链接 C 之类,这些不同来源知道之后怎么分析,

首先确定第一个问题怎样确定访问的不同来源,会到数据当中来看,在数据当中有一个字段叫做 http refer,它所表明的正是 强调的是 refer 这个单词是怎么得到的,把单词复制一下,来到浏览当中搜索看一下背后的含义,说 refer 是 header 的一部分,当浏览器向 web 服务器发送请求的时候一般会带上 refer,告诉服务器是从哪个页面链接过来的,这既然是请求协议的一个基本属性,就可以通过它来收集到从哪里来。

这是一个小知识点。知道怎么来之后,针对来源做一个分类,怎么贡献来源分析模型,如果不知道分析模型每天还是费了九牛二虎之力去分析各种指标,举个例子,直接访问,搜索访问,其他访问,每天针对数据做一个转化进行各种指标的计算,当然每天都能计算出三个指标,举个例子,20181101 直接访问的来到1200个,搜索访问来到800个,其他访问来到700个,这是第一天,得出所占的百分比情况,每天依然辛苦的去计算2018年11月2号又有了指标,直接访问来到1100,搜索访问来到700,其他访问来到600,这时候如果每天非常枯燥无聊记录下去,这些指标只要掌握之后分析并不难,难在这些指标给别人看,别人看见将会非常痛苦难受,首先再次强调一点,这个数据确定是分析的数据,但是不利于别人理解维护,这个模型构建的不够友好,

image.png

接下来怎样把来源的模型展示起来,比如以直接访问在时间维度波动情况,用折线图或者柱状图反应出来, X 轴为时间, Y 轴为直接访问波动情况,再进行扩展,想看在同一天当中所占的比例情况,比如说2018年11月有直接访问来的,搜索访问来的以及其他访问来的,它们所占的比例怎么样,用饼状图(如下图),这两个模型的搭建更能把数据展示的更加丰富。

image.png

这个图页面看上去背后非常高大,实则当中没有多少知识点。

image.png

整个图当中是一个饼状图,表示比例来源情况,一个直线图表示每个指标的波动情况,下面一个表格表示指标所占的百分比,发现数据还是几个简单数据,但通过各种模型的搭建在页面上展现的内容比较丰富,比较多彩。当然可以继续进行具体的划分,在来源的看具体的指标所占的百分比,比如今天是1000个 PV ,看直接访问占多少百分比,搜索访问占多少 PV ,其他访问占多少 PV 更加详细,这样就构成第二个模型---来源分析模型,发现背后所包含数据分析出来的指标如何展示给别人看的过程。

当然还有搜索访问,搜索引擎访问。要知道有公司在页面当中有极度搜索,比如搜索好多模块,哪个搜索访问的比较多,哪个搜索访问比较少,也是一样,还是进行对比展示分析,这样通过各种模型,各种图形表格展示之后,看的数据或者展示的分析结果更加生动形象。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
628 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
6月前
|
jenkins 持续交付
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
|
4月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
384 0
|
8月前
|
存储 Java 关系型数据库
基于JSP的九宫格日志网站
基于JSP的九宫格日志网站
|
8月前
|
JSON 中间件 数据格式
Gin框架学习笔记(六)——gin中的日志使用
Gin框架学习笔记(六)——gin中的日志使用
361 0
|
9月前
|
安全 Linux 调度
【后台开发】TinyWebser学习笔记(4)定时器、日志系统(单例模式)、封装互斥锁信号量
【后台开发】TinyWebser学习笔记(4)定时器、日志系统(单例模式)、封装互斥锁信号量
52 1
|
9月前
|
C++ 索引
【Qt 学习笔记】如何在Qt中打印日志 | qDebug的使用 | Assistant的使用
【Qt 学习笔记】如何在Qt中打印日志 | qDebug的使用 | Assistant的使用
747 0
|
3月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
932 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
2月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
10天前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log

热门文章

最新文章