网络流量日志埋点收集—确定收集信息和途径|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习网络流量日志埋点收集—确定收集信息和途径

开发者学堂课程【大数据分析之企业级网站流量运营分析系统开发实战(第一阶段)网络流量日志埋点收集—确定收集信息和途径】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/693/detail/12173


网络流量日志埋点收集—确定收集信息和途径


内容简介

一、确定收集信息

二、小结


一、确定收集信息

我们首先要确定如何收集信息以及哪些信息,这个模块通常在企业中要在业务开展之前根据我们的业务需求来提前确定并且根据系统设计。

image.png

在确定哪些信息之前首先回到系统实现原理图来确定前后端的技术:在整个前端服务器上的核心技术是Javascript js,通过 js 埋点往后端进行数据的采集发送。后端接受请求要响应图片,处理逻辑和解析参数,所以使用njinx 技术,一个高性能的web服务器,而且是特殊版本的 njinx:使用 lua 语言做了嵌入式开发。

根据需要大概收集这些信息:

image.png

重点是这些字段信息通过何种途径获取,如果是 web server,则表明它可以通过 nginx 自带的属性获取,也就是说在这里我们收集的字段有些信息 nginx 作为 web 服务器它可以自动收集截取,只要使用它的语法规则把它提取即可。如果在一个信息字段表明的是 javascript,意味着这样的字段要通过 js 来收集,后面有备注怎么通过 js 收集。

在这个知识点之前我们回顾一下:在我们的一个页面上,我们的 html 页面,它是一个 document 对象,页面上常见的内置对象:document,window 和 navigate。所以这里有一些属性字段我们可以通过我们页面内置对象的属性获取,比如域名 URL 可以通过 document 对象获取。

如果想要收集其他信息,如商品标签,那么就要通过我们的语法规则 js 去截取。


二、小结

第一要确定收集的信息,企业通常在收集数据之前结合业务需求,分析的需求确定收集哪些信息的字段和收集的途径

途径有以下两种

  1. 可以通过 nginx 内置的日志收集功能获取到
  2. 可以通过页面上内置的对象常见的属性获取到
  3. 可以自定义编写js代码进行相关属性的收集
相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
4月前
高性能网络库设计之日志组件
高性能网络库设计之日志组件
159 2
|
4月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
5月前
|
数据采集 人工智能 运维
甭再盯死日志了,AI已经悄悄替你盯着网络流量了
甭再盯死日志了,AI已经悄悄替你盯着网络流量了
230 0
|
9月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
478 62
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
|
5月前
|
监控 安全 Linux
AWK在网络安全中的高效应用:从日志分析到威胁狩猎
本文深入探讨AWK在网络安全中的高效应用,涵盖日志分析、威胁狩猎及应急响应等场景。通过实战技巧,助力安全工程师将日志分析效率提升3倍以上,构建轻量级监控方案。文章详解AWK核心语法与网络安全专用技巧,如时间范围分析、多条件过滤和数据脱敏,并提供性能优化与工具集成方案。掌握AWK,让安全工作事半功倍!
165 0
|
6月前
|
存储 运维 监控
为什么网络日志如此重要?
日志审计是网络安全的重要组成部分,通过分析网络日志,可快速定位故障、解决危机并提升系统安全性。网络日志记录了文件访问、用户登录等详细信息,甚至受某些法规约束需包含额外数据。日志审计无法被绕过,其在检测安全漏洞、法律取证和员工行为监控中作用显著。推荐一款工具EventLogAnalyzer,具备日志采集、分类存储、事件报警等功能,满足企业需求。购买时需注意品牌、功能及试用期,以选择最适合的产品。
242 11
|
7月前
|
存储 监控 API
【Azure App Service】分享使用Python Code获取App Service的服务器日志记录管理配置信息
本文介绍了如何通过Python代码获取App Service中“Web服务器日志记录”的配置状态。借助`azure-mgmt-web` SDK,可通过初始化`WebSiteManagementClient`对象、调用`get_configuration`方法来查看`http_logging_enabled`的值,从而判断日志记录是否启用及存储方式(关闭、存储或文件系统)。示例代码详细展示了实现步骤,并附有执行结果与官方文档参考链接,帮助开发者快速定位和解决问题。
211 22
|
9月前
|
机器学习/深度学习 自然语言处理 计算机视觉
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
364 13
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
|
8月前
|
SQL 缓存
【YashanDB知识库】YashanDB run.log中有slow log queue is full信息
【YashanDB知识库】YashanDB run.log中有slow log queue is full信息
|
9月前
|
计算机视觉
RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
190 5
RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)

热门文章

最新文章