阿里云
为了无法计算的价值
打开APP
阿里云APP内打开
学习中心> 大数据实战项目 - 反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第六阶段> 正文

大数据实战项目 - 反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第六阶段

21课时 |
158人已学 |
免费
课程介绍

订票网站提供查询、预订服务,有用户访问,也存在爬虫。爬虫消耗了系统资源,却没有转化成销量,导致系统虚耗,造成系统波动。为了爬虫访问,需要开发大数据防爬工具。 项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。

项目分为七个阶段,本阶段根据已经算出的八项指标结果,进行爬虫识别、剔除非爬虫数据、写入Redis,写入HDFS,Redis数据恢复等。本课程由黑马程序员提供。

我的学习进度
请登录后查看您的学习进度!
立即登录
本课程相关云产品