最终整体回顾总结(流程-ppt)|学习笔记

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 快速学习最终整体回顾总结(流程-ppt)

开发者学堂课程【大数据实战项目 - 反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第七阶段最终整体回顾总结(流程-ppt)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/675/detail/11744


最终整体回顾总结(流程-ppt)


内容简介:

一、数据处理流程

二、逻辑架构

三、数据预处理流程

四、爬虫识别流程

五、爬虫识别流程-读取封装及指标计算

六、爬虫识别流程-指标计算

七、爬虫识别流程-爬虫识别

八、爬虫识别流程-爬虫识别

九、爬虫识别流程-数据入库


一、数据处理流程

(1)流程梳理

整个流程就是从用户端到企业端的一个流程,前端先通过 Lua 脚本收

集数据传输到 Kafka 集群中,再由后端读取进行数据预处理,预处理

之后数据回到集群,再由爬虫处理,处理好的数据交由 Redis 传到前

端剔除。高层想看到更有用的数据就需要进行离线分析,离线分析结

果传输到 Mysql 界面。

(2)流程四个阶段

整个过程可以分为四个阶段

image.png

前端数据处理由前端工程师处理,反爬虫程序不负责

首先,前端通过脚本 Lua 获取客户信息,客户信息推送到 Kafka 集群,准备进行数据预处理,然后读取数据,读取公司内部规则,进行分析,分析好的数据又传回 Kafka 集群,预处理经历了很多个步骤。

然后接下来是实时分析,实时分析已让使用 SparkStreaming 技术,然后读取数据,读取规则,对数据进行爬虫识别,对非爬虫数据进行剔除,然后传回Redis到前端进行剔除。

宏观统计来自离线数据,我们通过 SparkSQL 技术进行离线分析,数据在我们爬虫识别数据,直接将数据写入 HDFS,计算出的结果写入 Mysql。

image.png


二、逻辑架构

爬虫识别从实时层面进行

总的架构依然是前面的四步,采集、预处理、计算(实时计算和离线计算)、数据展现。数据采集从官网之中,写脚本从官网之中采集用户数据,采集完之后推送到系统之中。

收集完之后,进行统计,清晰,脱敏,拆分,分类,解析,爬虫,结构化,推送到系统监控。接下来就是实时层计算,读取数据,再封装,然后进行指标计算,再进行爬虫识别,然后识别出来的非爬虫数据进行剔除,爬虫数据中存在重复的数据,需要去重,数据计算完后,推送到 Redis,Redis 数据可能丢失,需要在 HDFS 中备份,如果数据丢失,备份数据传入 Redis。

从封存中的数据直接写入 HDFS,为了进行离散分析。

image.png


三、数据预处理流程

链路统计对数据没有操作,预处理对数据有操作

推送分种类,分情况进行推送推送完后录入 Kafka

系统进行宏观监控

image.png

分为前中后三个阶段,前,我们从 Kafka 中读取一段数据,进行链路统计,然后进行清晰、脱敏、拆分、分类、解析、爬虫判断、结构化等一系列操作。

注意链路统计没有操作,最后进行数据推送。

推送完后对整体进行宏观监控。


四、爬虫识别流程

先从 Kafka 中读取一批数据,进行数据封存,之后根据八个指标进行计算,计算后为我们爬虫识别提供数据,然后进行指标碰撞,碰撞完后为打分服务,一个结果是选定的,一个是未选定的。然后进行爬虫判断,根据阈值进行判断。然后过滤剔除爬虫数据。

image.png


五、爬虫识别流程-读取封装及指标计算

真正预处理的过程,经过八个计算

image.png

预处理要经历的那些过程,现根据八条指标计算,得到数据。


六、爬虫识别流程-指标计算

image.png

根据八个 IP,对应八个结果


七、爬虫识别流程-爬虫识别

数据的数值和企业的阈值都有了,我们可以进行指标碰撞,与选定无关的,选定的结果出来后,进行打分。

image.png


八、爬虫识别流程-爬虫识别

数据的得分大于阈值就是爬虫,反之不是,得到是和不是

image.png


九、爬虫识别流程-数据入库

得到是和不是之后,我们对非爬虫数据进行剔除,之后就可以进行离线分析了。

image.png

目录
打赏
0
0
0
0
55
分享
相关文章
我写项目的思路和“自然架构”
我写项目的思路       三层的思路是要把页面(UI、数据显示)、业务逻辑、数据处理(也叫持久化)分离开来处理,思路自然是好的,但是一到了实际应用中,好多人就会遇到一点小小的问题,于是产生了好多的争论。
960 0
【自然框架】——思路、结构、特点的介绍(初稿,欢迎大家多提意见)
开场白  面向过程:面向过程是“写代码”,根据客户提出来的需求来写代码,包括函数。一步一步的写,都写完了,功能也就实现了。   面向对象:面向对象是“做设计”,先不考虑细节,而是先做总体设计。都设计好了,再去实现细节。
1061 0
选择文库系统的时候需要重点注意和对比哪些东西?
本人程序员出身,接近15年的代码经验,对互联网产品和运营也一直在实践和研究,尤其是对文库产品有着深度理解,因为我自己也一直在运营文库项目。下面是我站在一个普通站长角度给出的一些经验,如果你也想做一个文库网站或文库平台,需要选择一套文库系统产品,请从下面几点出发去做对比,最终做出正确选择。
选择文库系统的时候需要重点注意和对比哪些东西?
重构·改善既有代码的设计.04之重构手法(下)完结
重构改善既有代码的设计完结篇,汇总了全部的重构手法。看看哪些手法对你的项目能有所帮助…
7444 2
重构·改善既有代码的设计.04之重构手法(下)完结
如何做好游戏陪玩源码的功能优化,这三步缺一不可
如何做好游戏陪玩源码的功能优化,这三步缺一不可
架构实操:画好一张业务模型图
本文以SDK设计的角度分析了如何构建一张属于SDK的各个业务的模型图。
潮玩宇宙大逃杀无聊猿卷轴模式系统开发详细规则丨步骤需求丨方案项目丨技术架构丨源码功能
确定游戏类型和规则:明确无聊猿卷轴模式游戏类型和游戏规则,包括敌人类型、地图设计、任务类型、战斗机制等。
通俗易懂的方式理解项目管理的49个过程(追妹子案例)
通俗易懂的方式理解项目管理的49个过程(追妹子案例)
184 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等