学习中心> 大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第七阶段> 正文

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第七阶段

9课时 |
269人已学 |
免费
课程介绍

本课程由黑马程序员提供。

订票网站提供查询、预订服务,有用户访问,也存在爬虫。爬虫消耗了系统资源,却没有转化成销量,导致系统虚耗,造成系统波动。为了爬虫访问,需要开发大数据防爬工具。 项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。

项目分为七个阶段,本阶段主要讲了爬虫分析性能的计算与监控、离线指标分析。

 

课程第一阶段链接:https://edu.aliyun.com/course/2064

课程第二阶段链接:https://edu.aliyun.com/course/2065

课程第三阶段链接:https://edu.aliyun.com/course/2069

课程第四阶段链接:https://edu.aliyun.com/course/2070

课程第五阶段链接:https://edu.aliyun.com/course/2071

课程第六阶段链接:https://edu.aliyun.com/course/2074

课程第七阶段链接:https://edu.aliyun.com/course/2075