【钉钉杯大学生大数据挑战赛】初赛B 航班数据分析与预测 Python代码实现Baseline-阿里云开发者社区

题目

初赛 B：航班数据分析与预测

一．问题背景

随着科技的发展，乘坐飞机出行为人们的生活带来了极大的便利，航空交通管理影响着人们的工作和生活效率。在大数据和人工智能时代的今天，各种各样的信息科学和工程技术广泛应用于航空领域，为人们的生产生活提供更高的便利性，因此提高空中资源的优化配置，一直都是计算机科学与技术、信息科学与工程、数学等领域的一门热点研究方向。当前航空延误是空中资源优化配置的一项经典课题，分析与预测航空延误有助于提高资源的优化管理，提高生产生活效率，可以为乘客提供更优质的服务。

二．解决问题

1.航班转机功能实现：当两个城市之间没有直飞航班或者在购买机票附件时间没有直飞航班的时候，乘客通常需要购票 APP 实现转机功能。

（一）以附件中 2001-2003 年航班数据作为依据，实现在2001-2003年的航班转机功能。（注：从 A 地到 B 地可以有多种转机方案，该功能应提供时间最短的方案，已知的航班延误信息也应考虑在内）。

（二）用上述转机功能，查询 2003 年 7 月 4 日出发 7 月 5 日到达，从 CVG 机场到 ANC 机场最短时间方案。（注：航班延误时间也考虑在内）

2.迈阿密（MIA）起飞航班的延误分析

以论文形式说明：先给出自己对问题（一）和（二）航班延误的分析，再建立模型做实验得到航班是否延误的准确率，以实验结果检验自己最初的分析。

（一）以附件中的 2001-2003 年的航班数据作为训练集，以附件 2004-2005 年的航班数据作为测试集，以从迈阿密（MIA）到洛杉矶（LAX）和从迈阿密（MIA）到纽约（JFK）这两组航班数据作为研究对象，先以文字形式叙述预测航班是否延误的依据，再建立模型预测从迈阿密（MIA）起飞航班（从 MIA 到 LAX 和从 MIA 到 JFK）是否延误，以预测准确率和实验结果检验自己的分析。（注：测试集不能参与到训练和验证中，否则作违规处理）

提示：可以在训练、验证和预测中使用机场所在地天气情况等信息，详见附件数据属性说明表。

（二）以附件中的2001-2003 年的航班数据作为训练集，以附件2004-2005 年的航班数据作为测试集，以从迈阿密（MIA）到洛杉矶（LAX）和从迈阿密（MIA）到纽约（JFK）这两组航班数据作为研究对象，先以文字形式分析航班延误的各种原因，再建立模型预测从迈阿密（MIA）起飞航班（从 MIA 到 LAX 和从 MIA 到 JFK）延误的原因，以预测延误原因的准确率和实验结果检验自己的分析。（注：测试集不能参与到训练和验证中，否则作违规处理）

提示：参赛队伍可以先筛选出延误航班，再对延误航班的原因进行预测与分析，详见属性说明表中航班延误原因。在训练、验证和预测中可以使用机场所在地天气情况等信息，详见附件数据属性说明表。

思路分析

（1）问题一：分析航班延误的依据

航班延误是指航班降落时间（航班实际到港挡轮挡时间）比计划降落时间（航班时刻表上的时间）延迟15分钟以上或航班取消的情况。

（2）问题二：延误的原因分析

将模型训练的重要特征进行排序输出

以下代码不完整，请下载完整的代码

1 训练集预处理

（1）读取文件

训练集数据预处理

说明：数据预处理阶段，生成的特征包括：

出发机场、到达机场、航班编号、飞机编号、计划飞行时间、计划起飞时刻、航班月份、计划到达时刻、前序延误、起飞间隔、到达特情、出发特情、出发天气、出发气温、到达天气、到达气温。

文件对应关系为：

flight.csv: 航班动态数据.csv
weather.csv: 城市天气.csv
.airport_city.csv: 机场城市对应表.csv
carriers.csv: 航空公司信息.csv

import warnings
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os
import datetime
warnings.filterwarnings('ignore')

# ——————————————————————————读取数据—————————————————————————————— #
# 航班数据
flight_data_2001 =  pd.read_csv(
    './data/2001.csv', encoding='unicode_escape')
flight_data_2002 = pd.read_csv(
    './data/2002.csv', encoding='unicode_escape')
flight_data_2003 = pd.read_csv(
    './data/2003.csv', encoding='unicode_escape')
flight_data_all = pd.concat(
    [flight_data_2001, flight_data_2002, flight_data_2003]).reset_index(drop=True)

flight_data_all.info()

Data columns (total 29 columns):

Column Dtype

0 Year int64

1 Month int64

2 DayofMonth int64

3 DayOfWeek int64

4 DepTime float64

5 CRSDepTime int64

6 ArrTime float64

7 CRSArrTime int64

8 UniqueCarrier object

9 FlightNum int64

10 TailNum object

11 ActualElapsedTime float64

12 CRSElapsedTime int64

13 AirTime float64

14 ArrDelay float64

15 DepDelay float64

16 Origin object

17 Dest object

18 Distance int64

19 TaxiIn int64

20 TaxiOut int64

21 Cancelled int64

22 CancellationCode float64

23 Diverted int64

24 CarrierDelay float64

25 WeatherDelay float64

26 NASDelay float64

27 SecurityDelay float64

28 LateAircraftDelay float64

dtypes: float64(12), int64(13), object(4)

memory usage: 3.8+ GB

# 只取MIA到LAX和MIA到JFK的数据
MIA_Flight = flight_data_all[flight_data_all['Origin'] == 'MIA']
flight_data = MIA_Flight[(MIA_Flight['Dest'] == 'LAX')| (MIA_Flight['Dest'] == 'JFK')]
flight_data.to_csv('./clear_data/MIA_train_data.csv', index=False)

1.1 读取后的航班动态展示

flight_data.head()

1.2 时间信息预处理

生成的特征&字段

计划飞行时间（单位：h）【可间接反映出航线距离】
计划起飞日期&计划到达日期【用以匹配天气和特情信息】
计划起飞时刻&计划到达时刻【不同时刻的航班】
航班月份
起飞延误时间（单位：分钟）
到达延误时间（单位：分钟）

flight_data = pd.read_csv('./clear_data/MIA_train_data.csv')
# 详细时间点
flight_data['航班是否取消'] = flight_data['Cancelled']
flight_data['Day'] = flight_data['DayofMonth']
flight_data['起飞一周中的日期'] = flight_data['DayOfWeek']
flight_data['飞机起飞时滑行时间'] = flight_data['TaxiIn']
flight_data['飞机降落时滑行时间'] = flight_data['TaxiOut']
flight_data['起飞日期'] = pd.to_datetime(flight_data[['Year','Month','Day']])
flight_data['出发机场'] = flight_data['Origin']
flight_data['到达机场'] = flight_data['Dest']
flight_data['航班编号'] = flight_data['FlightNum']
flight_data['航班尾号'] = flight_data['TailNum']
flight_data['航空公司'] = flight_data['UniqueCarrier']
# 转化成日期格式
flight_data['计划起飞时间'] = flight_data['CRSDepTime']
flight_data['计划到达时间'] = flight_data['CRSArrTime']
flight_data['实际起飞时间'] = flight_data['DepTime']
flight_data['实际到达时间'] = flight_data['ArrTime']
# 计划飞行时间
flight_data['计划飞行时间'] = flight_data['计划到达时间'] - flight_data['计划起飞时间']
# 实际到达时间与实际起飞时间之差，因为会有时区限制所以ActualElapsedTimeArrTime - DepTime，ActualElapsedTime = AirTime + TaxiIn + TaxiOut
flight_data['实际到达时间与实际起飞时间之差'] = flight_data['ActualElapsedTime']
# 预计到达时间与预计起飞时间之差
flight_data['预计到达时间与预计起飞时间之差'] = flight_data['CRSElapsedTime'] 
# 空中飞行时间
flight_data['空中飞行时间'] = flight_data['AirTime']
# 实际起飞时间与预计起飞时间之差
flight_data['实际起飞时间与预计起飞时间之差'] = flight_data['DepDelay']
# 实际到达时间与预计到达时间之差
flight_data['实际到达时间与预计到达时间之差'] = flight_data['ArrDelay']
# 删除后面用不着的字段，节约内存
del flight_data['实际起飞时间']
del flight_data['DayofMonth']
del flight_data['DayOfWeek']
del flight_data['Origin']
del flight_data['Dest']
del flight_data['DepTime']
del flight_data['CRSDepTime']
del flight_data['ArrTime']
del flight_data['CRSArrTime']
del flight_data['ActualElapsedTime']
del flight_data['TaxiIn']
del flight_data['TaxiOut']
del flight_data['CRSElapsedTime']
del flight_data['FlightNum']
del flight_data['TailNum']
del flight_data['UniqueCarrier']
del flight_data['Cancelled']
del flight_data['CancellationCode']
del flight_data['CarrierDelay']
del flight_data['WeatherDelay']
del flight_data['NASDelay']
del flight_data['SecurityDelay']
del flight_data['LateAircraftDelay']

判断是否延误

# 根据实际到达时间超过计划到达时间15分钟内以上和取消航班为延误的判断指标
def Determine_delay(t, c):
    # 超过15分钟或者航班取消
    if t > 15 or c == 1:
        return 1
    else:
        return 0
flight_data['是否延误'] = flight_data.apply(
    lambda row: Determine_delay(row['实际到达时间与预计到达时间之差'], row['航班是否取消']), axis=1)
del flight_data['航班是否取消']

flight_data['是否延误'].value_counts()

0 10472

1 3198

Name: 是否延误, dtype: int64

from datetime import datetime, timedelta
def GetTime(s,d):
    sec = timedelta(seconds=int(s))
    return (sec+d).strftime('%Y-%m-%d')
flight_data['计划起飞日期'] = flight_data.apply(lambda row: GetTime(row['计划起飞时间'], row['起飞日期']), axis=1)
flight_data['计划到达日期'] = flight_data.apply(lambda row: GetTime(row['计划到达时间'], row['起飞日期']), axis=1)
flight_data.columns

Index([‘Year’, ‘Month’, ‘AirTime’, ‘ArrDelay’, ‘DepDelay’, ‘Distance’, ‘Diverted’, ‘Day’, ‘起飞一周中的日期’, ‘飞机起飞时滑行时间’, ‘飞机降落时滑行时间’, ‘起飞日期’, ‘出发机场’, ‘到达机场’, ‘航班编号’, ‘航班尾号’, ‘航空公司’, ‘计划起飞时间’, ‘计划到达时间’, ‘实际到达时间’, ‘计划飞行时间’, ‘实际到达时间与实际起飞时间之差’, ‘预计到达时间与预计起飞时间之差’, ‘空中飞行时间’, ‘实际起飞时间与预计起飞时间之差’, ‘实际到达时间与预计到达时间之差’, ‘是否延误’, ‘计划起飞日期’, ‘计划到达日期’], dtype=‘object’)

1.3 前序航班的延误时间&到达与起飞间隔

这里前序航班的定义为：同一架飞机，当前航班的前一个航班即为当前航班的前序航班。比如，同一架飞机连续飞两个航班A：南京–北京，B：北京–西安，则A为B的前序航班。

延误时间（单位：分钟）

前序航班的延误时间定义为前序航班到达延误时间，即时间到达时间减去计划到达时间

到达与起飞间隔（单位：分钟）

当前航班的计划起飞时间与前序航班时间到达时间的间隔

flight_data['前序延误'] = pd.Series()
flight_data['起飞间隔'] = pd.Series()
# 根据航班的飞机编号分组
grouped = flight_data.groupby(flight_data['航班编号'])
chunks = []
for name,group in grouped:
#     print(name)
# 对每一架飞机按照计划起飞时间排序，以得到航班的顺序关系
    group = group.sort_values('计划起飞时间')
    a = group['计划起飞时间'][1:].reset_index(drop=True)
    b = group['实际到达时间'][0:len(group)-1].reset_index(drop=True)  
    group['起飞间隔'][1:] = b-a
    group['起飞间隔'] = group['起飞间隔']
#     前序航班的延误时间
    group['前序延误'][1:] = group['实际到达时间与预计到达时间之差'][0:len(group)-1]
    chunks.append(group)
flight_data = pd.concat(chunks, ignore_index=True)
# 删除无用的变量和字段，释放内存
del(grouped)
del(group)
del(chunks)
del flight_data['计划起飞时间']
del flight_data['计划到达时间']
del flight_data['实际到达时间']

判断是否有缺失值

flight_data.isnull().any()

Year False

Month False

AirTime True

ArrDelay True

DepDelay True

Distance False

Diverted False

Day False

起飞一周中的日期 False

飞机起飞时滑行时间 False

飞机降落时滑行时间 False

起飞日期 False

出发机场 False

到达机场 False

航班编号 False

航班尾号 True

航空公司 False

计划飞行时间 False

实际到达时间与实际起飞时间之差 True

预计到达时间与预计起飞时间之差 False

空中飞行时间 True

实际起飞时间与预计起飞时间之差 True

实际到达时间与预计到达时间之差 True

是否延误 False

计划起飞日期 False

计划到达日期 False

前序延误 True

起飞间隔 True

dtype: bool

航班信息的缺失值处理

flight_data['AirTime'] = flight_data['AirTime'].fillna(flight_data['AirTime'].mean())  # 均值填充
flight_data['ArrDelay'] = flight_data['ArrDelay'].fillna(flight_data['ArrDelay'].mean())  # 均值填充
flight_data['DepDelay'] = flight_data['DepDelay'].fillna(flight_data['DepDelay'].mean())  # 均值填充
flight_data['实际到达时间与实际起飞时间之差'] = flight_data['实际到达时间与实际起飞时间之差'].fillna(flight_data['实际到达时间与实际起飞时间之差'].mean())  # 均值填充
flight_data['实际起飞时间与预计起飞时间之差'] = flight_data['实际起飞时间与预计起飞时间之差'].fillna(flight_data['实际起飞时间与预计起飞时间之差'].mean())  # 均值填充
flight_data['实际到达时间与预计到达时间之差'] = flight_data['实际到达时间与预计到达时间之差'].fillna(flight_data['实际到达时间与预计到达时间之差'].mean())  # 均值填充
flight_data['空中飞行时间'] = flight_data['空中飞行时间'].fillna(flight_data['空中飞行时间'].mean())  # 均值填充
flight_data['前序延误'] = flight_data['前序延误'].fillna(flight_data['前序延误'].mean())  # 均值填充
flight_data['起飞间隔'] = flight_data['起飞间隔'].fillna(flight_data['起飞间隔'].mean())  # 均值填充
flight_data['航班尾号'] = flight_data['航班尾号'].fillna(flight_data['航班尾号'].value_counts().index[0])  # 众数填充

1.4 天气

天气特征的提取主要包括气温特征和天气情况，其中：

气温划分为3个取值，大于40度为高温，小于-10度为低温，其他为一般

weather_all = pd.read_csv('./data/rawweatherdata.csv',
                      encoding='unicode_escape', header=None)
weather_all.columns = ['Year', 'Month', 'Day',
                        '最高气温', '平均气温', '最低气温', '最高露点', '平均露点',
                        '最低露点', '最大湿度', '平均湿度', '最小湿度', '最高海平面气压',
                        '平均海平面气压', '最低海平面气压', '最高能见度', '平均能见度',
                        '最低能见度', '最大风速', '平均风速', '瞬时风速', '降水量',
                        '云量', '活动', '风向', '机场', '城市']
weather = weather_all[(weather_all['Year'] == 2001) |
                      (weather_all['Year'] == 2002) | (weather_all['Year'] == 2003)]
weather

查看缺失值数量

# 查看缺失值
import missingno as msn
msn.matrix(weather)

天气缺失值处理

# 活动和瞬时风速缺失值太多，直接删除
del weather['瞬时风速'] 
del weather['活动']
weather['最高气温'] = weather['最高气温'].fillna(
    weather['最高气温'].mean())  # 均值填充
weather['平均气温'] = weather['平均气温'].fillna(
    weather['平均气温'].mean())  # 均值填充
weather['最低气温'] = weather['最低气温'].fillna(
    weather['最低气温'].mean())  # 均值填充
weather['最高露点'] = weather['最高露点'].fillna(
    weather['最高露点'].mean())  # 均值填充
weather['平均露点'] = weather['平均露点'].fillna(
    weather['平均露点'].mean())  # 均值填充
weather['最低露点'] = weather['最低露点'].fillna(
    weather['最低露点'].mean())  # 均值填充
weather['最大湿度'] = weather['最大湿度'].fillna(
    weather['最大湿度'].mean())  # 均值填充
weather['平均湿度'] = weather['平均湿度'].fillna(
    weather['平均湿度'].mean())  # 均值填充
weather['最小湿度'] = weather['最小湿度'].fillna(
    weather['最小湿度'].mean())  # 均值填充
weather['最高海平面气压'] = weather['最高海平面气压'].fillna(
    weather['最高海平面气压'].mean())  # 均值填充
weather['平均海平面气压'] = weather['平均海平面气压'].fillna(
    weather['平均海平面气压'].mean())  # 均值填充
weather['最低海平面气压'] = weather['最低海平面气压'].fillna(
    weather['最低海平面气压'].mean())  # 均值填充
weather['最高能见度'] = weather['最高能见度'].fillna(
    weather['最高能见度'].mean())  # 均值填充
weather['平均能见度'] = weather['平均能见度'].fillna(
    weather['平均能见度'].mean())  # 均值填充
weather['最低能见度'] = weather['最低能见度'].fillna(
    weather['最低能见度'].mean())  # 均值填充
weather['最大风速'] = weather['最大风速'].fillna(
    weather['最大风速'].mean())  # 均值填充
weather['降水量'] = weather['降水量'].astype(float)
weather['云量'] = weather['云量'].astype(float)
weather['风向'] = weather['风向'].astype(float)
weather['平均风速'] = weather['平均风速'].fillna(weather['平均风速'].mean())  # 均值填充
weather['降水量'] = weather['降水量'].fillna(weather['降水量'].mean())  # 均值填充
weather['云量'] = weather['云量'].fillna(weather['云量'].mean())  # 均值填充
weather['风向'] = weather['风向'].fillna(weather['风向'].mean())  # 均值填充
weather['城市'] = weather['城市'].fillna(
    weather['城市'].value_counts().index[0])  # 众数填充

气温处理

# 气温处理
weather['气温'] = pd.Series()
max_d = np.mean(weather['最高气温'])
min_d = np.mean(weather['最低气温'])
weather['最高气温'] = weather['最高气温'].fillna(max_d)
weather['最低气温'] = weather['最低气温'].fillna(min_d)
weather['气温'] = weather['最高气温'].apply(lambda x: '高温' if x>=40 else '一般')
weather['气温'] = np.where(weather['最低气温'].astype('int') < -10,'低温',weather['气温'])
weather['日期'] = pd.to_datetime(weather[['Year', 'Month', 'Day']])
del(weather['最高气温'])
del(weather['最低气温'])

1.5 将天气匹配到航班动态表中

# 机场对应数据
airport_city = pd.read_csv('./data/airports.csv',encoding='unicode_escape', low_memory=False)
airport_city['city'] = airport_city['city'].fillna(
    airport_city['city'].value_counts().index[0])  # 众数填充
airport_city['state'] = airport_city['state'].fillna(
    airport_city['state'].value_counts().index[0])  # 众数填充
airport_city['机场编号'] = airport_city['iata']
# 将机场编码对应到天气数据上面
airport_weather = pd.merge(weather, airport_city, left_on=['机场'], right_on=['机场编号'], how='left', sort=False)
# # 去除缺失值和重复的机场天气信息
airport_weather = airport_weather.dropna()
airport_weather = airport_weather.drop_duplicates(['日期', '机场'])

flight_data_test = flight_data.copy()
airport_weather_test = airport_weather.copy()
flight_data_test['计划起飞日期'] = flight_data['计划起飞日期'].astype(str)
airport_weather_test['日期'] = airport_weather['日期'].astype(str)

# 出发城市
flight_data['计划起飞日期'] = flight_data['计划起飞日期'].astype(str)
flight_data['计划到达日期'] = flight_data['计划到达日期'].astype(str)
airport_weather['日期'] = airport_weather['日期'].astype(str)
。。。略
flight_data2['出发气温'] = flight_data2['气温']
del(flight_data2['机场编号'])
del(flight_data2['城市'])
del[flight_data2['日期']]
del(flight_data2['气温'])

# 到达城市
。。。略
flight_data2['到达气温'] = flight_data2['气温']
del(flight_data2['机场编号'])
del(flight_data2['城市'])
del[flight_data2['日期']]
del(flight_data2['气温'])
del(flight_data2['计划起飞日期'])
del(flight_data2['计划到达日期'])
flight_data2.columns

Index([‘Year_x’, ‘Month_x’, ‘AirTime’, ‘ArrDelay’, ‘DepDelay’, ‘Distance’, ‘Diverted’, ‘Day_x’, ‘起飞一周中的日期’, ‘飞机起飞时滑行时间’, ‘飞机降落时滑行时间’, ‘起飞日期’, ‘出发机场’, ‘到达机场’, ‘航班编号’, ‘航班尾号’, ‘航空公司’, ‘计划飞行时间’, ‘实际到达时间与实际起飞时间之差’, ‘预计到达时间与预计起飞时间之差’, ‘空中飞行时间’, ‘实际起飞时间与预计起飞时间之差’, ‘实际到达时间与预计到达时间之差’, ‘是否延误’, ‘前序延误’, ‘起飞间隔’, ‘Year_y’, ‘Month_y’, ‘Day_y’, ‘平均气温_x’, ‘最高露点_x’, ‘平均露点_x’, ‘最低露点_x’, ‘最大湿度_x’, ‘平均湿度_x’, ‘最小湿度_x’, ‘最高海平面气压_x’, ‘平均海平面气压_x’, ‘最低海平面气压_x’, ‘最高能见度_x’, ‘平均能见度_x’, ‘最低能见度_x’, ‘最大风速_x’, ‘平均风速_x’, ‘降水量_x’, ‘云量_x’, ‘风向_x’, ‘机场_x’, ‘iata_x’, ‘airport_x’, ‘city_x’, ‘state_x’, ‘country_x’, ‘lat_x’, ‘long_x’, ‘出发气温’, ‘Year’, ‘Month’, ‘Day’, ‘平均气温_y’, ‘最高露点_y’, ‘平均露点_y’, ‘最低露点_y’, ‘最大湿度_y’, ‘平均湿度_y’, ‘最小湿度_y’, ‘最高海平面气压_y’, ‘平均海平面气压_y’, ‘最低海平面气压_y’, ‘最高能见度_y’, ‘平均能见度_y’, ‘最低能见度_y’, ‘最大风速_y’, ‘平均风速_y’, ‘降水量_y’, ‘云量_y’, ‘风向_y’, ‘机场_y’, ‘iata_y’, ‘airport_y’, ‘city_y’, ‘state_y’, ‘country_y’, ‘lat_y’, ‘long_y’, ‘到达气温’], dtype=‘object’)

1.7 将数据保存到文件中

flight_data2.to_csv('./clear_data/train_data.csv',index=False) # 保存训练数据

2 测试集预处理

和训练集差不多，就是读取的数据是2004年到2005年的。

3 模型训练和预测

3.1 读取训练集和测试集

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os
from sklearn import metrics
from sklearn import preprocessing
# ——————————————————————————读取训练和测试数据—————————————————————————————— #
# 航班数据
train_data = pd.read_csv('./clear_data/train_data.csv')
test_data = pd.read_csv('./clear_data/test_data.csv')

targets = train_data['是否延误']
targets_test = test_data['是否延误']
del train_data['是否延误']
del test_data['是否延误']
del train_data['Year_x']
del train_data['Year_y']
del train_data['Month_x']
del train_data['Month_y']
del train_data['Day_x']
del train_data['Day_y']
del train_data['起飞日期']
# 测试集
train_columns = train_data.columns
test_data = test_data[train_columns]

3.2 类别特征编码

# 对字符型数据编码
columns = ['出发机场', '到达机场','出发机场','到达机场', '航班尾号',
'航空公司', '出发气温', '机场_x', 'iata_x', 'airport_x', 'city_x', 'state_x', 'country_x', '出发气温', '机场_y',
'iata_y', 'airport_y', 'city_y', 'state_y', 'country_y', '到达气温']
le = preprocessing.LabelEncoder()
for col in columns :
    train_data[col] = le.fit_transform(train_data[col])
#     未见过的字符加进去
    clas = list(le.classes_)
    clas = clas + list(test_data[col])
    le.classes_ = np.array(np.unique(clas))
    test_data[col] = le.transform(test_data[col])

3.3 优化内存

# # 优化内存
for i in train_data.columns:
    if train_data[i].dtypes == 'int64':
        train_data[i] = pd.to_numeric(train_data[i],errors='ignore',downcast='unsigned')
        test_data[i] = pd.to_numeric(test_data[i],errors='ignore',downcast='unsigned')
    elif train_data[i].dtypes == 'float64':
        train_data[i] = pd.to_numeric(train_data[i],errors='ignore',downcast='float')
        test_data[i] = pd.to_numeric(test_data[i],errors='ignore',downcast='float')

3.4 模型训练

from sklearn.ensemble import GradientBoostingClassifier
test = test_data.copy()
# 设置参数
gbdt = GradientBoostingClassifier(loss='exponential',n_estimators=300,max_depth=5,learning_rate=0.08,min_samples_leaf=500,subsample=0.8)
# 训练
gbdt.fit(train_data,targets)
# 预测结
pre_y = gbdt.predict_proba(test)

3.5 模型评价

from sklearn import metrics
def metric_out(y_pred, y_true):
    print('准确率：{}'.format(metrics.accuracy_score(y_pred, y_true)))
    print('准确率：{}'.format(metrics.roc_auc_score(y_true, y_true)))
    print('分类报告')
    print(metrics.classification_report(y_true, y_pred))
y_pre = np.argmax(pre_y, axis=1)
y_t = targets_test
metric_out(y_pre,y_t)

3.5 特征重要性图

importance = gbdt.feature_importances_
Impt_Series = pd.Series(importance, index=train_data.columns)
Impt_Series = Impt_Series.sort_values(ascending=True)
print(dict(Impt_Series))
Y = list(Impt_Series.index)
# 绘制条形图
plt.figure(figsize=(10, 5))
plt.barh(range(len(Y)),  # 指定条形图y轴的刻度值
         Impt_Series.values,  # 指定条形图x轴的数值
         tick_label=Y,  # 指定条形图y轴的刻度标签
         color='steelblue',  # 指定条形图的填充色
         )
for y, x in enumerate(Impt_Series.values):
    plt.text(x+0.0001, y, '%s' % round(x, 3), va='center')
plt.show()

{‘到达气温’: 0.0, ‘平均露点_x’: 0.0, ‘最大湿度_y’: 0.0, ‘最小湿度_x’: 0.0, ‘平均海平面气压_x’: 0.0, ‘最低海平面气压_x’: 0.0, ‘最高能见度_x’: 0.0, ‘平均能见度_x’: 0.0, ‘最低能见度_x’: 0.0, ‘country_x’: 0.0, ‘Month’: 0.0, ‘出发气温’: 0.0, ‘long_x’: 0.0, ‘long_y’: 0.0, ‘机场_x’: 0.0, ‘iata_x’: 0.0, ‘airport_x’: 0.0, ‘city_x’: 0.0, ‘state_x’: 0.0, ‘平均风速_x’: 0.0, ‘平均气温_x’: 0.0, ‘lat_x’: 0.0, ‘iata_y’: 0.0, ‘city_y’: 0.0, ‘出发机场’: 0.0, ‘到达机场’: 0.0, ‘airport_y’: 0.0, ‘机场_y’: 0.0, ‘state_y’: 0.0, ‘Diverted’: 0.0, ‘Distance’: 0.0, ‘country_y’: 0.0, ‘最大风速_y’: 0.0, ‘lat_y’: 0.0, ‘降水量_y’: 0.0, ‘风向_y’: 5.009211491580225e-16, ‘最低露点_y’: 8.247921900903928e-16, ‘平均湿度_y’: 4.161165059265587e-15, ‘起飞一周中的日期’: 5.524647954769037e-14, ‘最高海平面气压_x’: 2.700021544960093e-13, ‘最小湿度_y’: 8.37079894086651e-13, ‘云量_y’: 8.616025643636346e-13, ‘最低能见度_y’: 1.0889931558648963e-12, ‘最高露点_x’: 1.6279513136269513e-12, ‘平均风速_y’: 3.744335749231325e-12, ‘平均露点_y’: 5.448910391771745e-12, ‘风向_x’: 6.089064760199935e-12, ‘平均湿度_x’: 9.979247068875385e-12, ‘平均气温_y’: 1.2138601667590757e-11, ‘最大湿度_x’: 2.0452335676583485e-11, ‘Day’: 2.816732023527384e-11, ‘最高海平面气压_y’: 3.921529857735817e-11, ‘最高露点_y’: 7.898870018843963e-11, ‘平均海平面气压_y’: 2.0729306119668165e-10, ‘降水量_x’: 2.2695234926044602e-10, ‘Year’: 2.4825055257384704e-10, ‘起飞间隔’: 5.368743083057972e-10, ‘最低露点_x’: 5.97133426303914e-10, ‘计划飞行时间’: 2.135123096643628e-09, ‘最高能见度_y’: 1.6027841355790454e-08, ‘航空公司’: 1.6824265564337214e-08, ‘前序延误’: 1.849647785336495e-08, ‘最低海平面气压_y’: 2.5693669785688252e-08, ‘云量_x’: 3.116524216145156e-08, ‘最大风速_x’: 6.726913644198524e-08, ‘平均能见度_y’: 7.456341662162383e-08, ‘预计到达时间与预计起飞时间之差’: 9.268177750791062e-08, ‘实际到达时间与实际起飞时间之差’: 1.5171074416315506e-07, ‘AirTime’: 7.125059022671096e-07, ‘空中飞行时间’: 1.976877650062215e-06, ‘航班编号’: 4.439215270290331e-06, ‘实际起飞时间与预计起飞时间之差’: 0.0030839497191682557, ‘飞机起飞时滑行时间’: 0.0031795129722395512, ‘航班尾号’: 0.0040862688170140386, ‘DepDelay’: 0.004647202799427779, ‘飞机降落时滑行时间’: 0.021691656810427003, ‘ArrDelay’: 0.44263169555188514, ‘实际到达时间与预计到达时间之差’: 0.5206720861378472}

4 代码下载

https://github.com/BetterBench/BetterBench-Shop

或

https://www.yuque.com/betterbench/aaa0hk/zgc74d

【钉钉杯大学生大数据挑战赛】初赛B 航班数据分析与预测 Python代码实现Baseline

题目

思路分析

1 训练集预处理

1.1 读取后的航班动态展示

1.2 时间信息预处理

1.3 前序航班的延误时间&到达与起飞间隔

1.4 天气

1.5 将天气匹配到航班动态表中

1.7 将数据保存到文件中

2 测试集预处理

3 模型训练和预测

3.1 读取训练集和测试集

3.2 类别特征编码

3.3 优化内存

3.4 模型训练

3.5 模型评价

3.5 特征重要性图

4 代码下载

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

【钉钉杯大学生大数据挑战赛】初赛B 航班数据分析与预测 Python代码实现Baseline

题目

思路分析

1 训练集预处理

1.1 读取后的航班动态展示

1.2 时间信息预处理

1.3 前序航班的延误时间&到达与起飞间隔

1.4 天气

1.5 将天气匹配到航班动态表中

1.7 将数据保存到文件中

2 测试集预处理

3 模型训练和预测

3.1 读取训练集和测试集

3.2 类别特征编码

3.3 优化内存

3.4 模型训练

3.5 模型评价

3.5 特征重要性图

4 代码下载

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像