你能忍受几条这样的马路?
在被誉为大数据领域“奥运会”KDD CUP上,阿里云将中国的道路拥堵问题搬到国际顶赛上,提供真实场景与数据,联合国际算法科学家们,一起破解中国的交通拥堵问题。
了解KDD CUP
KDD CUP被外界誉为大数据领域的“奥运会”。作为数据挖掘领域最有影响力、最高水平的国际顶级赛事,每年都会吸引世界数据挖掘界的顶尖专家、学者、工程师、学生等前来参赛,在每年的KDD会议中占据着举足轻重的地位。每届冠军都会成为谷歌、阿里、微软、腾讯等巨头追逐的对象。
其中KDD (Knowledge Discoveryand Data Mining)即知识发现与数据挖掘,由美国计算机协会 ACM 下的数据挖掘分会举办,是国际数据挖掘领域的顶级会议。
今年的KDD大会的赞助商名单,白金赞助共有4家:阿里巴巴集团(+KDD CUP赞助商)、亚马逊、微软和facebook。而阿里巴巴天池更是本次KDD CUP的承办方。
KDD CUP往届按照惯例会由企业或大学来承办,承办者需提供极有前沿应用价值的赛题和大规模数据作为挖掘样本。但要想承办这场“奥运会”,需要拥有深厚的学术积累和行业实践。KDD CUP 2016由微软研究院承办。
为了拿到KDD CUP 2017的承办资格,早在2016年10月,阿里云专门组建团队“数据科学家团队”开始筹备2017年的KDD CUP。为了在竞标中更加具有竞争力,“数据科学家团队”在选题上就花费了1个月的时间。
关于为什么会选择交通领域的赛题,阿里云赛题负责人闵万里表示:“技术垂直化一直是阿里云的重要战略。在交通领域,我们打造了路况预测,信号灯优化控制一系列前沿项目,这些实践证明了本次赛题的技术可行性和业务实用性。”
在申请过程中,阿里云天池更是过五关斩六将,在申请初期短短20天内,组委会就发起了4轮筛选,每轮评审过程十分严谨,都会提出十多个以上极其精细的问题,包括数据处理方式、baseline 方法、代码细节,以及课题准备时间点、赛题时间轴、workshop筹备计划等等。
到评审Q&A阶段,评审chair要求的都是3天内,甚至1天内提交答案,最后一次Q&A,总负责人阿里云首席数据科学家闵万里博士在美国,一拨参与同学在交警大队,一拨同学在阿里巴巴西溪园区,大家为了争抢时间,异地视频工作长达6小时,沟通到凌晨2点,修改了十几个版本。
最终,所有的努力都没有白费,2017年1月9日,KDD CUP官方宣布,中国科技公司阿里云获得KDD CUP2017举办权。
世界数据算法科学家齐上阵 让中国交通更通畅
关于智慧交通领域的经验积累,阿里云早在2015年已经开始有所沉淀。浙江省交通运输厅于15年4月公布了一项新的试点项目,将高速公路历史数据、实时数据与路网状况结合,基于阿里云大数据平台,预测未来一小时内的路况。结果是,实时路况监测成本下降了 90%,未来路况预测准确率在 91%以上。
拥堵路线预测展示
对于怎样优化交通问题,阿里云从未停下脚步。
2016年9 月,在云栖大会上发布的“杭州城市大脑”的交通模块在萧山区市心路投入使用,其首要目的是解决城市发展中的交通问题。试验数据显示:通过智能调节红绿灯,道路车辆通行速度平均提升了 3% 至 5%,在部分路段有 11% 的提升。正如发布时王坚博士所言:世界上最远的距离是红绿灯与交通监控摄像头之间的距离,他们虽然在同一根杆子上,但是从来没有通过数据被连接过。因此,打通数据并在海量、实时数据分析处理的基础上做出智能决策,是城市大脑的基本定位。
云栖大会发布城市大脑
基于以上阿里云在城市大脑、智慧交通中的丰富积累,在今年的KDD CUP赛题设置中,阿里云选择了交通领域中高速公路收费站相关问题作为任务:
Task 1: To estimate the average travel timefrom designated intersections to tollgates(预测车辆从路口到收费站的平均用时)
Task 2: To predict average tollgate trafficvolume(高速收费站车流量预测)
这两个任务是基于智慧交通信号灯,其逻辑如下:
根据以上步骤,预测效果如下:
当中国拥堵问题出现在国际顶赛中,吸引了全世界的数据算法专家纷纷来参赛。
据悉,本次KDD CUP一共有3582支队伍参赛,覆盖全球48个国家,731座高校,参赛队伍有来自微软、因特尔等知名互联网企业,也有来自清华大学、波士顿大学等高等学府。对此KDD CUP Chair表示不可思议,这是KDD CUP史上规模最大的比赛,他表示这次的比赛很成功,来自世界各地的选手能够通过这次的比赛了解中国的交通问题,整个比赛running的很顺利,同时也感谢阿里云天池平台的平台支持。
KDD CUP参赛选手与chair合影
在KDD CUP公布获奖名单时,让人意外的是,本届大会获奖名单被中国选手承包,更有一个名为Convolution的团队取得双料冠军。在现场采访到为什么可以取得如此成绩的时候,其队长表示团队成员都是从事机器学习工作,有技术积累,日常的工作与学习就是与比赛相似的内容,此外团队合作很默契,从开始就讨论列出来这类问题可能有突破的点,分工逐步实验,后面又能比较快提出应对具体问题的方案,最后团队有着丰富的参赛经验。
来源:阿里技术
原文链接