网络流量日志埋点收集—确定收集信息和途径|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习网络流量日志埋点收集—确定收集信息和途径

开发者学堂课程【大数据分析之企业级网站流量运营分析系统开发实战(第一阶段)网络流量日志埋点收集—确定收集信息和途径】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/693/detail/12173


网络流量日志埋点收集—确定收集信息和途径


内容简介

一、确定收集信息

二、小结


一、确定收集信息

我们首先要确定如何收集信息以及哪些信息,这个模块通常在企业中要在业务开展之前根据我们的业务需求来提前确定并且根据系统设计。

image.png

在确定哪些信息之前首先回到系统实现原理图来确定前后端的技术:在整个前端服务器上的核心技术是Javascript js,通过 js 埋点往后端进行数据的采集发送。后端接受请求要响应图片,处理逻辑和解析参数,所以使用njinx 技术,一个高性能的web服务器,而且是特殊版本的 njinx:使用 lua 语言做了嵌入式开发。

根据需要大概收集这些信息:

image.png

重点是这些字段信息通过何种途径获取,如果是 web server,则表明它可以通过 nginx 自带的属性获取,也就是说在这里我们收集的字段有些信息 nginx 作为 web 服务器它可以自动收集截取,只要使用它的语法规则把它提取即可。如果在一个信息字段表明的是 javascript,意味着这样的字段要通过 js 来收集,后面有备注怎么通过 js 收集。

在这个知识点之前我们回顾一下:在我们的一个页面上,我们的 html 页面,它是一个 document 对象,页面上常见的内置对象:document,window 和 navigate。所以这里有一些属性字段我们可以通过我们页面内置对象的属性获取,比如域名 URL 可以通过 document 对象获取。

如果想要收集其他信息,如商品标签,那么就要通过我们的语法规则 js 去截取。


二、小结

第一要确定收集的信息,企业通常在收集数据之前结合业务需求,分析的需求确定收集哪些信息的字段和收集的途径

途径有以下两种

  1. 可以通过 nginx 内置的日志收集功能获取到
  2. 可以通过页面上内置的对象常见的属性获取到
  3. 可以自定义编写js代码进行相关属性的收集
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
0
0
0
55
分享
相关文章
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
170 14
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
146 62
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
65 13
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
|
27天前
|
RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
53 5
RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
72 9
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
网络安全视角:从地域到账号的阿里云日志审计实践
网络安全视角:从地域到账号的阿里云日志审计实践
YOLOv11改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
YOLOv11改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
42 0
YOLOv11改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
YOLOv11改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
YOLOv11改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
33 0
网络设备日志记录
网络设备日志记录是追踪设备事件(如错误、警告、信息活动)的过程,帮助IT管理员进行故障排除和违规后分析。日志详细记录用户活动,涵盖登录、帐户创建及数据访问等。为优化日志记录,需启用日志功能、管理记录内容、区分常规与异常活动,并使用专用工具进行事件关联和分析。集中式日志记录解决方案可收集并统一管理来自多种设备和应用的日志,提供简化搜索、安全存储、主动监控和更好的事件可见性,增强网络安全。常用工具如EventLog Analyzer能灵活收集、存储和分析日志,确保高效管理。
104 5
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。

热门文章

最新文章