网络流量日志埋点收集—确定收集信息和途径|学习笔记

简介: 快速学习网络流量日志埋点收集—确定收集信息和途径

开发者学堂课程【大数据分析之企业级网站流量运营分析系统开发实战(第一阶段)网络流量日志埋点收集—确定收集信息和途径】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/693/detail/12173


网络流量日志埋点收集—确定收集信息和途径


内容简介

一、确定收集信息

二、小结


一、确定收集信息

我们首先要确定如何收集信息以及哪些信息,这个模块通常在企业中要在业务开展之前根据我们的业务需求来提前确定并且根据系统设计。

image.png

在确定哪些信息之前首先回到系统实现原理图来确定前后端的技术:在整个前端服务器上的核心技术是Javascript js,通过 js 埋点往后端进行数据的采集发送。后端接受请求要响应图片,处理逻辑和解析参数,所以使用njinx 技术,一个高性能的web服务器,而且是特殊版本的 njinx:使用 lua 语言做了嵌入式开发。

根据需要大概收集这些信息:

image.png

重点是这些字段信息通过何种途径获取,如果是 web server,则表明它可以通过 nginx 自带的属性获取,也就是说在这里我们收集的字段有些信息 nginx 作为 web 服务器它可以自动收集截取,只要使用它的语法规则把它提取即可。如果在一个信息字段表明的是 javascript,意味着这样的字段要通过 js 来收集,后面有备注怎么通过 js 收集。

在这个知识点之前我们回顾一下:在我们的一个页面上,我们的 html 页面,它是一个 document 对象,页面上常见的内置对象:document,window 和 navigate。所以这里有一些属性字段我们可以通过我们页面内置对象的属性获取,比如域名 URL 可以通过 document 对象获取。

如果想要收集其他信息,如商品标签,那么就要通过我们的语法规则 js 去截取。


二、小结

第一要确定收集的信息,企业通常在收集数据之前结合业务需求,分析的需求确定收集哪些信息的字段和收集的途径

途径有以下两种

  1. 可以通过 nginx 内置的日志收集功能获取到
  2. 可以通过页面上内置的对象常见的属性获取到
  3. 可以自定义编写js代码进行相关属性的收集
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
10天前
|
SQL 监控 安全
构筑数字堡垒:网络安全与信息保护的深层剖析
【4月更文挑战第9天】在数字化时代,网络安全和信息安全已成为维护个人隐私、企业数据和国家安全不可或缺的一环。本文深入探讨了网络安全漏洞的形成机理、加密技术的进展,以及提升安全意识的重要性。通过对现有安全挑战的分析,提出了一系列创新的防御策略,并强调了构建一个全面的信息保护体系的必要性。
|
18天前
|
存储 安全 网络安全
云端防御战线:云计算环境下的网络安全与信息保护
在信息技术迅猛发展的今天,云计算作为支撑数字转型的重要基石,其安全性牵动着企业生存与发展的命脉。本文深入探讨了云计算环境中面临的安全威胁和挑战,并提出了一系列创新的安全策略和技术解决方案。通过综合分析公有云、私有云以及混合云服务模型中的安全需求,文章构建了一个多层次、全方位的网络安全防护体系。此外,针对数据加密、身份验证、访问控制等关键技术进行了深入剖析,旨在为读者提供一套系统的信息安全保护指南,确保在享受云计算带来的便利时,数据和资源的安全性不被妥协。
33 8
|
29天前
|
存储 监控 安全
云端防御战线:云计算环境中的网络安全与信息防护策略
【2月更文挑战第30天】 随着企业数字化转型的加速,云计算以其弹性、可伸缩性和成本效益成为支撑现代业务架构的关键平台。然而,云服务的广泛采用也引入了新的安全挑战,从数据泄露到服务中断,风险无处不在。本文探讨了在云计算环境下维护网络安全和信息安全的高级策略和技术,分析了云服务模型特有的安全威胁,并提出了综合防御框架以保护云基础设施和数据。通过深入剖析身份认证、加密技术、入侵检测系统以及合规性监控等关键技术手段,文章旨在为读者提供一套全面的参考方案,确保在享受云计算带来的便利时,也能有效地规避潜在的网络风险。
|
29天前
|
安全 网络安全 云计算
云计算与网络安全:技术融合下的信息保障
当今数字化时代,云计算与网络安全已经成为关乎国家和企业未来发展的重要议题。本文将深入探讨云服务、网络安全和信息安全等技术领域的最新发展,以及如何在技术融合的大背景下保障信息安全。
23 3
|
29天前
|
监控 安全 网络安全
云端防御:在云计算时代维护网络安全与信息完整性
【2月更文挑战第29天】 随着企业与个人用户日益依赖云服务,云计算环境的安全性成为信息技术领域的重中之重。本文深入探讨了云计算中的网络安全挑战,分析了信息安全管理的关键策略,并提出了多层次防护措施来保障数据安全和隐私保护。我们着重讨论了云服务模型(IaaS、PaaS、SaaS)的安全特点,网络攻击类型,以及加密技术、身份认证、访问控制和安全监控等核心技术的应用。此外,文章还强调了合规性的重要性,并对如何实施有效的安全治理结构提供了见解。
|
27天前
|
监控 安全 网络安全
云端防御战线:云计算中的网络安全与信息保护策略
在数字化时代,云计算为企业提供了弹性、可扩展的资源解决方案,但同时也带来了复杂的安全挑战。本文深入探讨了在云服务框架下,网络安全和信息保护的重要性,分析了当前云平台面临的主要安全威胁,并提出了一系列创新的防护机制。从数据加密到访问控制,再到持续监控与合规性管理,文章不仅阐述了各项技术的原理与实施策略,还讨论了如何构建一个多层次、动态的安全体系来保障云环境中的数据完整性和服务可靠性。
|
27天前
|
Shell Linux C语言
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
29 0
|
28天前
|
域名解析 网络协议 Linux
【Shell 命令集合 网络通讯 】Linux 设置和管理网络接口配置信息 netconfig命令 使用指南
【Shell 命令集合 网络通讯 】Linux 设置和管理网络接口配置信息 netconfig命令 使用指南
49 1
|
28天前
|
监控 网络协议 Linux
【Shell 命令集合 网络通讯 】Linux 显示网络 连接、路由表和网络接口信息 netstat命令 使用指南
【Shell 命令集合 网络通讯 】Linux 显示网络 连接、路由表和网络接口信息 netstat命令 使用指南
54 1
|
4天前
|
存储 安全 网络安全
云端防御:在云计算时代维护网络安全与信息完整性
【4月更文挑战第15天】 随着企业和个人用户日益依赖云服务,云计算环境的安全性已成为技术发展的一个关键挑战。本文探讨了云计算平台面临的安全威胁、信息安全的关键策略以及实施有效防护措施的必要性。我们将分析数据加密、身份验证和访问控制等核心技术,并讨论如何通过综合方法保护云资源以应对不断演变的网络攻击。
11 2

热门文章

最新文章