2016“数据引领 飞粤云端”广东航空大数据创新大赛亚军:大熊座epsilon

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 广东航空大数据创新大赛中,大熊座epsilon的同学们分享了比赛成果。首先从数据预处理、数据反映规律开始讲起,确定了工作流程,重点解释了方案设计,包括二段式模型和时序回归方法,最后对算法优势和应用作了总结。一起来了解下吧。

广东航空大数据创新大赛中,大熊座epsilon的同学们分享了比赛成果。首先从数据预处理、数据反映规律开始讲起,确定了工作流程,重点解释了方案设计,包括二段式模型和时序回归方法,最后对算法优势和应用作了总结。一起来了解下吧。

 

问题&数据

数据预处理——选择与清洗

4fb7fc7e7451668bebddd853eb529e75c9f3a71f

本场赛题共有六张表的数据:a.连接WIFI AP (Access Point)的人数表 airport_gz_wifi_ap,b.安检旅客过关人数表 airport_gz_security_check,c.旅客进入-离开机场的行程表 airport_gz_departure,d.航班排班表airport_gz_flights,e.机场登机口区域表airport_gz_gates,f.  机场WIFI接入点坐标表 airport_gz_wifi_coor考虑到要预测未来两天的WIFI AP 连接数量,连接WIFI AP (Access Point)的人数表无疑是最有利用价值的一张表,而安检旅客过关人数表和旅客进入-离开机场的行程表对于预测未来几个小时内的很有价值,但是对于预测未来两天这样长的时间段应该作用不大。 航班排班表与WIFI AP连接情况尤其是登机口附近的WIFI AP相关性很大,配合机场登机口区域表和机场WIFI接入点坐标表应该能较好地从时间和空间上预测WIFI AP的连接情况。所以,我们选用a,d,e,f这四张表来进行建模。

我们来预测10月11、12号两天的WiFi的每十分钟平均连接数和实际值差的平方和。在这个过程中我们进行了一定的数据清理,再得出相应的模型。

de5bac90464a3ec4611020bca9bcf59f892d4350

数据预处理主要包含:1,连接WIFI AP (Access Point)的人数表存在缺失数据情况,对于个别时间段的数据缺失,可以利用填充0或者前后几天均值来进行填充,对于大段时间段的数据缺失,我们考虑以天为单位删除数据,不予利用。2,航班排班表中的计划起飞时间和实际起飞时间与其他表的时间有八小时误差,我们进行了处理。3,机场WIFI接入点坐标表中WIFI AP 坐标没有办法直接和登机口联系起来,我们先将这些点的坐标回归拟合成经纬度坐标,然后可以和登机口经纬度坐标联系起来。

数据反应规律

974c2401b6a239aa833bfa7406ad2434804b67fc

在对数据进行清理的过程中,会发现有些规律性的东西。第一,整个WiFi的连接具有一定的周期性;第二,相邻的WiFi具有非常高的相关性;第三,一个WiFi点的连接数跟它周围的登机口的信息具有非常强的相关性。当然,实际过程中有个别的WiFi点是非常特殊的,因为在机场里会有小吃店、书店等会对整体有一定的影响。

63bf77ac03e2176f9377d2fc75a924bfb634afb2

在比赛过程中,我们对数据进行了整体的可视化研究,可以看到整个区域都进行了拆分可视化,里面的红点、蓝点、绿点实际上是每一个WiFi点波动值的情况,每个区域都有不同的特点,T1区wifi和所有登机口的航班相关,WC和EC区wifi和某一区域登机口的航班相关,W123,E123区wifi和邻近登机口的航班相关。

工作流程

e87a2ce25b9546fe52a061d8d22b62a85f213db5

我们整体的工作流程是,在线下建立测试集和训练集,然后在线下做自己的线下评分,每天会进行多次来保证模型的稳定性和选择相对最优的模型进行线上提交,然后根据线上的分数反馈,调整线下模型,使模型变得更加精准稳定。我们也不断地进行特征选择、特征优化、模型调参,包括最后的模型融合。

 

方案设计

整体解题方案

b74e86b826e4ff628b55bdc737e0119d75cff2b3

整体预测模型首先要先分区域,我们发现这个模型只应用一张表,即WiFi的连接表对整体进行相应预测。而这个模型的预测效果并不是特别好,我们又找到单WiFi残差学习模型。

整体预测模型

我们采用的方案原理是wifi连接数的周期性规律,考虑因素包括距离当前天的远近、星期、月出月末、白天中午晚上半夜,使用线下回归来做。

我们的特征选择包括:

  • 最近1,2,3…天同时段10分钟wifi平均连接数;
  • 最近1,2,3…天同时段30分钟wifi平均连接数;
  • 最近1,2,3…天同时段60分钟wifi平均连接数;
  • 最近的周一,周二…同时段10分钟wifi平均连接数;
  • 两周内同时段wifi平均连接数最大值,最小值,中位数。

整体预测,每个WIFI AP的在某一时间段的连接数具有很强的时间周期性,所以用历史数据来进行回归预测对于绝大多数AP来说就已经能很好地拟合,而且过拟合的情况不严重。

WiFi残差学习模型

6675774a20c45563f4f6767409eab7fbfdbd64ab

单WiFi残差学习模型采用的方案原理是wifi连接数和登机口航班起降的相关性,需要考虑wifi点附近有哪些登机口及其航班起降情况,采用线性回归来做。

WiFi的连接数跟航班信息是有非常强的相关性的,它与周围能影响Wifi登机口的航班具有非常强的关联性,这样,我们就打通了非常多的表,包括航班区域表、AP WiFi表、人流表,

然后将航班信息标注出来,我们学习的是在预测值和线下建立的测试集中间天数的差值,再将差值与实际预测值进行相加,得出最终模型。

该模型的特征选择包括:

  • 过去三小时,过去一小时,过去半小时,过去十分钟……附近登机口有多少个航班起降;
  • 最近三小时,最近一小时,最近半小时,最近十分钟……附近登机口有多少个航班起降;
  • 未来三小时,未来一小时,未来半小时,未来十分钟……)附近登机口有多少个航班起降;
  • 距离该WIFI AP的最近的登机口在过去,最近,未来的飞机起飞情况;
  • 距离该WIFI AP的第二近的登机口在过去,最近,未来的飞机起飞情况。

6e090f2cf5230fc1cc34a1066dba95df56f094d0

通过整体预测,大部分的WIFI AP已经得到了一个相对较优的预测值,但是对于一些AP,尤其是在登机口附近的WIFI AP由于受到飞机航班起降的影响非常严重,预测地不是很好,需要进一步进行修正学习。我们将第一步的预测值和实际值作为一个残差,学习并预测这个残差,就可以进一步提高预测的精度,而每一个WIFI AP附近的登机口是不同的,而且由于其他空间因素的影响,不同WIFI AP之间的数据几乎无法互相利用,所以需要对于每个WIFI AP单独建模,回归出残差。对于E1,E2,E3,W1,W1,W3这六个区域的WIFI AP,是直接的候机休息区,会直接收到距离其很近的登机口的航班起落影响,于是我们根据WIFI AP和登机口的经纬度坐标,计算距离,求出每个WIFI AP可能会受到那几个登机口的影响,进一步提取特征,训练模型。对于EC和WC区域,是走向候机区的通道,会受到某一个区域所有航班的影响,我们将其细分成了六个区域,分别提取特征,每个WIFI AP单独训练,预测各自残差。

时序回归方法

5ec8cf75d03e53c531ad74b2e514482225ecb0e5

我们认为航班的等待人数和AP的连接数是成正相关的,于是我们通过已知航班排班表和航班登机人数,来学习得到一个函数,利用这个函数关系,做线性回归。在所有区域学习的时候,实际上是用最优化的方程,用粒子群优化来做整体的函数求解。

9d8f722f6e59ac868e3d89d606b3ac7511dfde03

利用转化函数f(),可以利用航班表信息,平均延误时间,平均登机人数计算每个登机口前的大致等待人数的时序信息。

以上两个模型在线上验证成立后,发现两个方案结果相关度不高,有融合提高空间。我们将两个模型进行加权融合,并进行线上提交,结果有了很大提升。

 

比赛总结

算法优势

  • 两段式学习:通过两段式学习方案,将不同来源,不同价值的信息都学到;
  • 多路并行线性回归:并行的简单模型,避免了不同数据源的相互影响,增强算法稳定性;
  • 可视化分析:通过地图可视化来帮助进行特征选择,还有助于发现新规律。

算法应用

  • 通过航班表可以快速预测机场内的人流密度分布,作为排班优化的重要依据;
  • 旅客wifi接入率低,分布不均匀,wifi的资源利用率有提升空间;
  • 为机场其他设施的改进提供依据。

 

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
21天前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1天前
|
存储 安全 大数据
大数据隐私保护:用户数据的安全之道
【10月更文挑战第31天】在大数据时代,数据的价值日益凸显,但用户隐私保护问题也愈发严峻。本文探讨了大数据隐私保护的重要性、面临的挑战及有效解决方案,旨在为企业和社会提供用户数据安全的指导。通过加强透明度、采用加密技术、实施数据最小化原则、加强访问控制、采用隐私保护技术和提升用户意识,共同推动大数据隐私保护的发展。
|
5天前
|
SQL 存储 大数据
大数据中数据提取
【10月更文挑战第19天】
13 2
|
21天前
|
SQL 消息中间件 大数据
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
33 1
|
21天前
|
SQL 大数据 Apache
大数据-159 Apache Kylin 构建Cube 准备和测试数据(二)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(二)
59 1
|
21天前
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
45 1
|
14天前
|
NoSQL 大数据 测试技术
想从事大数据方向职场小白看过来, 数据方面的一些英文解释
想从事大数据方向职场小白看过来, 数据方面的一些英文解释
31 0
|
22天前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
44 3
|
22天前
|
消息中间件 缓存 NoSQL
大数据-49 Redis 缓存问题中 穿透、雪崩、击穿、数据不一致、HotKey、BigKey
大数据-49 Redis 缓存问题中 穿透、雪崩、击穿、数据不一致、HotKey、BigKey
38 2
|
22天前
|
SQL 分布式计算 大数据
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
35 0