更精确地预估到达时间,滴滴新研究提出异质时空图卷积网络

简介: 「师傅,还有多长时间能到啊?」在打的赶往目的地时,我们经常会问这样一个问题。但如果我们打的是滴滴,这个问题就不用开口问了。因为,滴滴的研究者正不断挑战更加精确的到达时间预估结果,相关结果被 KDD 2020 接收为Oral论文。

第 26 届 ACM SIGKDD 知识发现和数据挖掘会议(KDD 2020)正以线上形式召开。今年 KDD 应用数据科学方向 (Applied Data Science Track) 共收到 756 篇论文投稿,收录 121 篇,接收率约为 16.0%,其中 Oral 论文 44 篇、Poster 论文 77 篇;KDD 研究方向 (Research Track) 有 1279 篇论文投稿,收录 216 篇,接收率约为 16.9%。
在本届大会中,滴滴的《HetETA: Heterogeneous Information Network Embedding for Estimating Time of Arrival》被接收为 Oral 论文。在这篇论文中,滴滴 AI Labs 技术团队针对预估到达时间任务构建了一个异质时空图,并提出了 HetETA 框架来挖掘时空图中的丰富语义信息,有效提升了预估到达时间任务的精确度。本文是对这篇论文的详细解读。

微信图片_20211204113630.jpg



研究背景与挑战


随着人们与日俱增的出行需求,智慧交通系统已成为城市建设中不可或缺的角色。预估到达时间(Estimated Time of Arrival,ETA)是智慧交通系统中尤为关键的一项任务,根据给定的出发时间,精确地预估出从起点到终点所需时长,有助于节省用户的出行时间,优化车辆调度和路径规划等。ETA 任务与道路交通速度预测密切相关,即当道路的交通速度(或道路拥堵程度)已知时,可通过道路长度将道路的交通速度转化为通过该道路所需的时间。

       当前大多数工作致力于建立丰富的特征系统来提高 ETA 任务的准确性,然而这些特征系统很少考虑到空间信息的构建与挖掘。如图 1 所示,地图中的道路网络实际上是一种含有多个链接关系的异质图,而这些道路之间的链接关系(即空间信息)对于道路交通速度预测至关重要。例如图 1 中的路段 1 如果是拥堵的,那么路段 1 的前方直行道路 2 大概率也会是拥堵的。 

微信图片_20211204113722.png

图表 1:地图数据到异质图的转换

又比如在高速上直行的车辆速度一般高于向右驶出闸道的车辆。然而地图中的道路网络是一个大规模的稀疏网络,以包含了 7 万多个主干道的沈阳市为例,其道路网络的平均度数为 2.52,即一条道路路段一般只链接 2~3 条道路。这样的大规模稀疏网络难以直接使用需要充足邻居信息的图神经网络(Graph Neural Network,GNN)进行网络的表示学习(representation learning/network embedding)。        除了地图数据中的道路网络,车辆轨迹信息也是一种描述道路之间链接关系的空间信息。例如图 2 中青年大街的车辆大部分流向了太原街(沈阳市具有火车站和客运站的交通枢纽)和中街(沈阳市著名购物街)。大量的车辆轨迹组成了车流信息,隐含了城市的交通模式以及驾驶经验、偏好信息,这些信息很难直接从地图数据中的道路网络中得到,因此需要对道路网络和车流信息进行联合建模。 

微信图片_20211204113730.jpg

图表 2:沈阳车流示意图


此外,ETA 任务也与道路交通速度的时序信息息息相关。直观来说,若某路段在当前时刻为拥堵状态,则下一时刻该路段大概率仍为拥堵状态,即道路下一时刻的交通状态与近期时刻的交通状态(近期路况)相关。图 3 描述了沈阳某道路路段交通状况在 2 周内的变化趋势,从中可观察到周一到周五工作日有明显近似的高峰时段(早上 8 点左右以及晚上 6 点左右),而周六日的高峰时段则从早 8 点持续到晚上 6 点左右,即交通路况呈一定程度的周期性与规律性。因此,道路下一时刻的交通状态除了与其近期路况相关,还与其近几日的相同时段路况相关,同时也与近几周相同星期的相同时段路况相关。 

微信图片_20211204113734.jpg

图表 3:沈阳某道路在 2 周内的交通速度变化情况


由此,滴滴在这篇论文中主要针对以下问题提出解决方案:

  • 如何挖掘空间信息中不同关系链接所蕴含的语义关系?
  • 如何克服大规模道路网络的稀疏性?
  • 如何联合道路网络信息和车流信息对 ETA 任务进行预测?
  • 如何处理不同时序(近期的、每日的、每周的)路况信息中的模式关系?


解决方案:HetETA

微信图片_20211204113737.jpg

图表 4:HetETA 框架示意图


为了解决上述问题,该研究提出了 HetETA 框架,联合卷积神经网络(Convolution Neural Network,CNN)和图神经网络(Graph Neural Network, GNN)处理时序信息和空间信息。如图 4 所示,HetETA 由三个相同结构的组件组成,每个组件分别用于处理不同时序路况(近期的微信图片_20211204113745.jpg、每日的微信图片_20211204113748.jpg、每周的微信图片_20211204113753.jpg)中的异质时空信息,其中微信图片_20211204113756.jpg微信图片_20211204113800.jpg


微信图片_20211204113806.jpg为当前查询时刻,微信图片_20211204113810.jpg为输入三个组件的时间片数量,微信图片_20211204113813.jpg为一天的时间片总数量。三个组件均通过双拼三明治结构进行时空卷积得到对应的低维向量表示,然后将这三个低维向量表示拼接起来作为长向量,经过一个全连接层得到预估的路段速度:


微信图片_20211204113817.jpg


双拼三明治结构(Double-stuffed sandwich layer)由 3 个卷积神经网络和 2 个 Het-ChebNet 组成,其中 2 个 Het-ChebNet 夹在两个卷积神经网络中间形成一层空间卷积层,通过对时间(CNN)和空间的(Het-ChebNet)的交替卷积使模型能够充分地挖掘时空之间的关联性。最后一层的卷积神经网络用于将时间维度压缩至一维,以便于后续全连接层的操作。为了使 CNN 达到类似 RNN 的时序处理效果,本文采用了带有门控的因果卷积神经网络(如图 5),在输入微信图片_20211204113823.jpg时,执行卷积操作:

微信图片_20211204113827.jpg

微信图片_20211204113829.jpg

图表 5:带有门控的因果卷积神经网络层


进而得到当前层的隐含状态向量 H。空间卷积层所包含的两个 Het-ChebNet 分别用于对道路网络和车流网络所构建的异质图进行空间信息的卷积与提取,分别由两个 Het-ChebNet 得到的隐含状态通过拼接操作输入下一层卷积神经网络(如图 6)。 

微信图片_20211204113835.jpg

图表 6:双拼图卷积网络


车流网络所构建的异质图一定程度上缓解了道路网络的稀疏问题,为了克服基于 GCN(Graph Convolutional Network)的图卷积模型无法在稀疏的道路网络上收集充足的邻居信息的问题,该研究采用了基于谱图理论的 ChebNet 网络,通过切比雪夫多项式构成局域滤波器:

微信图片_20211204113841.jpg

 然而,传统的 ChebNet 网络无法处理异质图中所包含的多关系信息,因此该研究基于 ChebNet 提出了一个能够捕捉多关系链接信息的 Het-ChebNet:

微信图片_20211204113845.jpg

 即通过在滤波器上乘积一个关于邻居边的注意力评分矩阵微信图片_20211204113849.jpg,使得滤波器能够对不同的链接关系进行区分过滤提取信息。注意力评分矩阵微信图片_20211204113852.jpg存储了异质图中 z 阶邻居边微信图片_20211204113855.jpg的注意力评分,其计算公式为:

微信图片_20211204113857.jpg

 

在异质图中,相同的两个顶点之间可能具有多种链接关系,因此注意力评分矩阵微信图片_20211204113903.jpg的值为这些链接关系链接的评分之和:

微信图片_20211204113906.jpg

 

最后通过 softmax 函数进行评分矩阵的归一化:

微信图片_20211204113910.jpg

 

实验效果


研究人员在滴滴平台数据集上对 HetETA 模型的有效性进行了验证,对比算法包括 GRU、DCRNN、STGCN、Graph WaveNet 以及 ASTGCN。如图 7 所示,相比其他模型,HetETA 在送驾数据集和接驾数据集上分别获得了 3.40%~46.67% 和 0.69%~28.33% 的实质性收益。当μ更大时,HetETA 带来的 BCR-μ 的改善变得更加明显。 

微信图片_20211204113916.jpg

图表 7:ETA 任务 BCR 效果对比
此外,该研究还将 HetETA 与 WDR 模型联合起来,将 HetETA 最后一层的隐状态向量作为 WDR 的额外特征输入。与原来的 WDR 模型相比,加入了 HetETA 的 WDR 模型 MAPE 下降了 1.19%~1.94%,MAE 下降了 1.57%~5.30%,RMSE 下降了 1.67%~6.42%,BCR 下降了 3.33%~18.50%。这对于具有不可预测性的 ETA 任务而言,无疑是非常显著的提升,证明了 HetETA 模型的有效性。 

微信图片_20211204113922.jpg

相关文章
|
3天前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
92 55
|
12天前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
83 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
2天前
|
机器学习/深度学习 算法 PyTorch
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
本文探讨了图神经网络(GNN)与大型语言模型(LLM)结合在知识图谱问答中的应用。研究首先基于G-Retriever构建了探索性模型,然后深入分析了GNN-RAG架构,通过敏感性研究和架构改进,显著提升了模型的推理能力和答案质量。实验结果表明,改进后的模型在多个评估指标上取得了显著提升,特别是在精确率和召回率方面。最后,文章提出了反思机制和教师网络的概念,进一步增强了模型的推理能力。
18 4
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
|
16天前
|
机器学习/深度学习 资源调度 算法
图卷积网络入门:数学基础与架构设计
本文系统地阐述了图卷积网络的架构原理。通过简化数学表述并聚焦于矩阵运算的核心概念,详细解析了GCN的工作机制。
43 3
图卷积网络入门:数学基础与架构设计
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
深入理解深度学习中的卷积神经网络(CNN)##
在当今的人工智能领域,深度学习已成为推动技术革新的核心力量之一。其中,卷积神经网络(CNN)作为深度学习的一个重要分支,因其在图像和视频处理方面的卓越性能而备受关注。本文旨在深入探讨CNN的基本原理、结构及其在实际应用中的表现,为读者提供一个全面了解CNN的窗口。 ##
|
22天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的卷积神经网络(CNN): 从理论到实践
本文将深入浅出地介绍卷积神经网络(CNN)的工作原理,并带领读者通过一个简单的图像分类项目,实现从理论到代码的转变。我们将探索CNN如何识别和处理图像数据,并通过实例展示如何训练一个有效的CNN模型。无论你是深度学习领域的新手还是希望扩展你的技术栈,这篇文章都将为你提供宝贵的知识和技能。
71 7
|
19天前
|
机器学习/深度学习 自然语言处理 算法
深入理解深度学习中的卷积神经网络(CNN)
深入理解深度学习中的卷积神经网络(CNN)
27 1
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
本文旨在通过深入浅出的方式,为读者揭示卷积神经网络(CNN)的神秘面纱,并展示其在图像识别领域的实际应用。我们将从CNN的基本概念出发,逐步深入到网络结构、工作原理以及训练过程,最后通过一个实际的代码示例,带领读者体验CNN的强大功能。无论你是深度学习的初学者,还是希望进一步了解CNN的专业人士,这篇文章都将为你提供有价值的信息和启发。
|
22天前
|
机器学习/深度学习 人工智能 自然语言处理
探索深度学习中的卷积神经网络(CNN)及其在现代应用中的革新
探索深度学习中的卷积神经网络(CNN)及其在现代应用中的革新
|
26天前
|
机器学习/深度学习 人工智能 网络架构
深入理解深度学习中的卷积神经网络(CNN)
深入理解深度学习中的卷积神经网络(CNN)
39 1