网站流量日志分析--数据可视化--概述含义 | 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习网站流量日志分析--数据可视化--概述含义

开发者学堂课程【大数据分析之企业级网站流量运营分析系统开发实战(第五阶段):网站流量日志分析--数据可视化--概述含义】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/697/detail/12254


网站流量日志分析--数据可视化--概述含义

内容介绍:

一、数据可视化定义

二、数据应用

三、常见的可视化软件

四、具体介绍 Echarts

五、总结

 

一、数据可视化定义

所谓的数据可视化又称之为数据报表展示,通俗解释就是尽量用图形表格的形式把数据的规律展示给别人,因为我们人类都是视觉动物,对图形表格的接受度还是比较高的,而且易于理解。

 

二、数据应用

说到数据可视化就不得不提一下关于数据应用的问题,我们之前经过各种分析计算得出很多指标、模型、数据,而 hive 本身作为数据处理仓库,并不会去消费这些数据,如果把数据展示的更为清晰明了,就需要数据应用,可以把这些数据对接机器学习,利用数学知识关联预测,进行数据挖掘;

也可以把数据当中的一些指标通过各种表格展示给别人看,比如体现过去七天每天的 pv 量的变化趋势,观察者可以通过这些规律进行判断,做出相关的改变,因此首先明白一点数据可视化是属于数据流的最后一部分——数据应用。

可视化会涉及到大量的前端知识,我们需要在页面绘制各种图形表格,树状图、折线图、饼图等,这对于后端程序员或者大数据方面的工作人员来说,是一个非常困难的事。

当然这并不意味着我们不能进行数据可视化了,当下的市面中,有很多收费的、开源的,甚至免费的可视化软件,帮我们去完成数据可视化。在我们项目当中,使用的是百度的 Echarts 数据可视化软件。

 

三、常见的可视化软件

1、tableau

Tableau 是业界有名的可视化软件,它是一个商业付费的软件,叫作商业智能分析软件,把数据读取进来后就可以绘制各种图形表格,数据可以从各个地方获取,不论是 Excel 还是 Mysql 都可以,应用十分方便,但他的收费可能会限制一部分人的使用。

2、datav

datav 是阿里开发了一款可视化软件,大家可以回忆一下双 11 的时候阿里平台的 led 显示屏,可以实时显示交易额,比如显示全球每个地方交易的订单金额是多少,具体表现为该地方是亮还是不亮,还可以体现具体的交易额。

这个展示结果的背后就是通过 datav 所产生的,酷炫美丽的展示结果背后,产生的方式其实很简单,就是把数据传给软件,然后软件进行相应的操作产生图表就可以了,但并不是指开发简单,开发时的前端技术就复杂多了。

这款软件可以自己免费使用个人版,也可以买购买他的产品作为商业月使用,还有专业版可供选择,非常方便,有问题的还可以进行沟通。

3、Echarts

我们使用的时国内使用比较多的一款免费软件 Echarts,chart 就是图形表格的意思,该软件是由百度科研开发出来的,基于 Javascript 的数据可视化图表,提供直观、生动、可交互、可个性化定制的数据可视化图表。利用的 Javascript 表示使用的是 Js 库,意味着他可以像其他 Js 库一样,直接在页面上使用。

提供大量常用的数据可视化图表,底层基于 ZRender.(一个全新的轻量级 canvas 类库),创建了坐标系,图例,提示,工具箱等基础组件,并在此上构建出折线图(区域图)、柱状图(条状图)、散点图(气泡图)、饼图(环形图)、K 线图、地图、力导向布局图以及和弦图,同时支持任意维度的堆积和多图表混合展现。最大的方便在于他帮我们把常见的图形都帮绘画好了,我们只需要根据需求去寻找相关图形,然后就可以画出各种优美的数据。

 

四、具体介绍 Echarts

我们可以在 Echarts 官网上进行详细了解,通过其 api 可以确定其是由百度开发出来的。

点击官方实例,发现里面有各种各样的图表,比如说折线图、柱状图、饼图,这些图形非常的漂亮,甚至有些图形还有动态的效果,而这些动态效果并不需要我们自己去绘画,它本身的产品属性已经开发编写好了,我们只需要把数据填入,把它变为动态效果,就可以在项目中使用了,其他任何类型的图表都可以随意改变数据,进行使用。

使用它之后整个的技术难点就不在于前端了,重点需要考虑的是如何把数据从后端加载到页面上。

 

五、总结

数据可视化又称之为数据报表展示,属于数据应用中的一种,尽量使用图形表格的形式把分析的结果展示给被人看。

数据可视化的大量工作属于前端开发,我们需要掌握的是如何把数据分析处理以及把数据按照要求传递给可视化的软件。数据可视化是一种锦上添花的事,核心还是数据分析的过程。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
552 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
3月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
39 1
|
5月前
|
jenkins 持续交付
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
|
3月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
321 0
|
3月前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
7月前
|
存储 Java 关系型数据库
基于JSP的九宫格日志网站
基于JSP的九宫格日志网站
|
7月前
|
JSON 中间件 数据格式
Gin框架学习笔记(六)——gin中的日志使用
Gin框架学习笔记(六)——gin中的日志使用
299 0
|
8月前
|
安全 Linux 调度
【后台开发】TinyWebser学习笔记(4)定时器、日志系统(单例模式)、封装互斥锁信号量
【后台开发】TinyWebser学习笔记(4)定时器、日志系统(单例模式)、封装互斥锁信号量
48 1
|
8月前
|
存储 弹性计算 监控
日志服务SLS最佳实践:通过SLS数据加工从VPC flowlog中过滤出跨region CEN流量
本文就通过一个客户的实际案例开介绍如何使用在无法直接开启CEN flowlog的情况下,使用SLS的数据加工能力,从VPC flowlog的数据中过滤出客户需要的流量日志出来。
163 0
日志服务SLS最佳实践:通过SLS数据加工从VPC flowlog中过滤出跨region CEN流量
|
2月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
557 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板