功能介绍补充｜学习笔记

开发者学堂课程【大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop 框架搭建）第一阶段：功能介绍补充】学习笔记，与课程紧密联系，让用户快速学习知识。  

课程地址：https://developer.aliyun.com/learning/course/669/detail/11588

功能介绍-补充

内容介绍：

一、链路统计：数据采集

二、系统监控功能的实际效果

三、爬虫实时效率

四、性能监控的实际效果

五、基础采集字段

六、数据可视化模块

一、链路统计：

数据采集

多链路的统计效果

二、系统监控功能的实际效果：

三、爬虫实时效率

四、性能监控的实际效果：

五、基础采集字段：

数据采集 Lua 脚本中需要采集的数据。

                        表 2 数据清洗新增字段

Cookie 中某些数据可以得到，某些数据不能得到。如：乘机人个人信息。

六、数据可视化模块

内置报表包括购票转化率、查询爬取规律、占座规律、爬虫对查定的影响、爬虫对系统稳定性影响5种:
购票转化率即购票流量与总流量之比
查询爬取规律包括爬虫活跃时间段、爬取频次等;
占座规律可分析出爬虫非法占座情况，包括路线(航线)、日期、车次(航班)、座位、价格等
查定比影响建立在收集全流量数据基础上，以查询流量除以下单流量得来
爬虫对系统稳定性影响通过各链路流转等情况进行问接体现。