高德地图首席科学家任小枫:视觉智能在高德地图的应用

简介: 高德地图首席科学家任小枫在2019杭州云栖大会高德技术专场分享了题为《视觉智能连接真实世界》的演讲,本文根据现场内容整理而成。

2019杭州云栖大会上,高德地图技术团队向与会者分享了包括视觉与机器智能、路线规划、场景化/精细化定位、时空数据应用、亿级流量架构演进等多个出行技术领域的热门话题。现场火爆,听众反响强烈。我们把其中的优秀演讲内容整理成文并陆续发布出来,本文为其中一篇。

高德地图首席科学家任小枫在高德技术专场分享了题为《视觉智能连接真实世界》的演讲,本文根据现场内容整理而成(在不影响原意的情况下对文字略作编辑),更多视觉智能技术的实现细节请关注后续系列文章。

以下为演讲内容的简版实录:

我今天主要给大家介绍视觉及相关技术如何在高德落地,如何帮助连接真实世界。连接真实世界这句话并不只是我个人的想法,而是高德地图的使命,我们的使命是“连接真实世界,让出行更美好”
8

首先,简单介绍下高德地图,有超过1亿的日活用户,超过4亿的月活用户,高德地图不光提供导航,也提供出行相关的其他服务,涵盖了信息服务、驾车导航、共享出行、智慧公交、智慧景区、骑行、步行、长途出行等应用场景。

高德地图做的事情是建立人和真实世界的关系,人要跟真实世界建立联系,地图是基础,地图之上还有更多的信息可以获取。

视觉是连接真实世界的桥梁

视觉是连接真实世界的桥梁。为什么?从人的信息获取角度来看,80%的内容是通过视觉获取到的。从人的信息处理来看,人的大脑30%-60%用于视觉感知。从机器的角度,视觉是非常重要的通用感知手段。

人类感知真实世界的方法,还有很多其他方式,例如传感器、LT...但是,作为通用的手段,我一直觉得视觉是第一选择,通用,信息量非常大,可以远距感知,也可以做到实时。

还有一个原因,人类真实世界里(各种元素)80%以上是为了视觉而设计。有的时候,我们对真实世界太过于熟悉,可能不会太在意。但是看一下周围的标志和信息,包括认识的事物,都是根据视觉设计和获取。

因为人类获取信息的主要方式是通过视觉,所以真实世界的设计也是基于视觉。大家可以想象下,如果获取信息的主要方式是通过嗅觉,那这个世界会非常不一样。基于这些,回到我们在做的事情,大家一定不会奇怪,地图信息的获取和建立,绝大部分也是来自于视觉。

视觉技术@高德地图-地图制作

视觉技术在高德地图的应用有很多不同的方式,如下图所示:
1

左边是地图制作,有常规地图和高精地图,高精地图对应于未来的无人驾驶。右边是跟导航体验相关的,我们在做的一些跟定位相关的工作,也在利用视觉技术希望使导航变得更加便利。因为时间关系,今天只给大家介绍常规地图和导航相关的部分。

地图服务从哪里来,首先要采集资料,目前绝大部分是通过相机和视觉的方式采集信息。真实世界很大,全国有几百万公里道路,再加上其他信息,人工方式目前是处理不过来的,很大程度上需要用自动识别,通过算法识别资料。当然有时候算法没办法做到100%,还需要人工修正,从而制作成地图数据库,来支持地图数据服务。

地图制作任务,常规地图任务通常分为两大类,一类是道路相关,一类是POI挂牌识别。这两类任务都需要较多的视觉技术。例如,在道路标志识别上,算法要做的就是把道路上的标志一个一个全部找出来,同时识别标志的类型和内容。
2

道路标志有100多种。如果只是处理这些标志,其实并不是那么复杂。现实中,有时候需要用低成本的方式采集数据,这时如何保证图像质量就是需要考虑和解决的问题。

采集信息的时候,有时候图片会有畸变、反光、遮挡等情况,先不说分辨率压缩的问题,成像本身取决于镜头的质量和成本、天气条件、光线等因素,有时候采集回来的图像中差的图很多。这时候就不只是单纯去解决一个理想当中的算法问题,也需要处理很多实际情况。

给大家举几个例子,下面左边的图是实际采集的图像,会有各种各样的问题。大家对相机有些了解的话,知道相机有内参和外参,内参是焦距、中心、畸变。外参是位置、角度,这些都会影响成像效果。
3

对于识别问题来说,这些相机参数不会造成太大问题,但是如果需要做一些跟几何、位置相关的计算,这时候相机畸变和内外参不准就会造成很大的问题。我们通过把多源数据放在一起做匹配,基本可以解决这个问题。右边是一个实际例子,相机的畸变纠正角度,有一些斜的被纠正过来了,很大的提高了后面的算法处理。

另一个例子,图像质量。有的图质量比较差,但是没办法丢掉,还是有有用的信息。有的原始图像,放大之后非常模糊。如果这时采用图像增强的方法,可以把这张图变得更清楚。改善原始数据的质量,有很多可用的方法。比如提高识别算法精度,提高人工效率,也可以用它做模糊的检测,对比一下增强前后,可以知道哪些是模糊,哪些是不模糊。

刚才举的只是交通标志的例子。还有一个有趣的问题,就是感知电子眼。电子眼很小,而小目标的检测是一个有挑战的问题,在研究领域大家也比较关注。大家可以感受下,拿一张图,如果是太小的东西,放大之后就看不清了,还不如远景。那怎么能比较精确的找到这么小的电子眼呢?

通常方式就是放大区域,因为这个东西太小了,光找这个目标比较难,找到区域放大,引入周边的信息。这些信息可以帮助更好的找到这个小目标,放的再大一点,才能看到其他相关的信息来帮助电子眼的智能检测。

但是放的太大也会有问题,放的太大会引入很多无关的信息。从技术上来说有一些解决方法,现在视觉技术上用的比较多的有一个注意力机制,画一个大框,机器自己会学哪块重要哪块不重要,帮助更好的聚焦到目标本身。当然,尽量会用一些先验信息,比如本身的分布、高度、大小。
4

光检测还不够,很多时候真实世界在变。很多时候要分辨出哪些变了哪些没变。以前检测出一个电子眼,新的资料又检测出一个电子眼,需要知道这两个是否是同一个。

如何判断?因为这张图表达的不一样,如果仔细看,确实可以看到背景的建筑、架设类型都差不多。需要用算法来判断到底是不是,这就牵涉到目标检测、车道归属、架设类型分析,还要做场景匹配。通过这些,很大程度上可以判断这是一个什么场景,从而判断两张图的元素是不是同一个。

刚才说的是道路,下面是几个跟POI相关的例子。POI的牌子,可以分成好多不同类型,有牌坊式、挂牌式、门脸式等。不仅POI各种各样,非POI其实也各种各样。如果只是检测文字的话,你会发现真实世界里的很多不是POI,有的只是标牌、标语、广告、对联、交通标志等。所以,要区分出POI和非POI。

有很多其他的复杂场景,这里不一一举例了,有些可能平时也不太能想到,比如三维挂牌,它不是一个平的牌子,在街角,可能是一个水果超市,沿着街角弯曲过来。这类牌子很难在一张图里完全检测出来,即使检测出来,一不小心就会分成两块牌子,所以真实世界的复杂性还是会造成更多的问题。

面对这么多复杂性,需要去分析具体场景的情况。很多时候最后的结果往往不是一个算法就能解决所有的问题,需要各种算法的融合。比方说,如果是文字,需要做检测,文字本身也需要做检测和识别。位置的话,需要做一些三维方面的推断。很多时候资料获取到以后也有模糊和遮挡的部分,也要做判断。

每一个判断不是单一办法就可以解决,不是光靠一个模型就能够做到最好的效果,需要的是两个甚至更多的模型,从不同的角度去解决问题,才能够达到更好的效果,这是在数据积累的基础之上。

上面列举的一些问题有一定的复杂性,跟所有的问题一样,越做到后面越难,我们现在还在做,这些算法很大程度上决定了地图制作的效率和触达到用户的地图质量,这些是非常重要的核心问题。

POI也不光是以上介绍的只需要判断是不是POI或者文字识别,很多时候还需要做版面的内容理解。如果一个牌子,需要知道这个牌子上的信息,有时候会有主名称,有时候会有分店,有时候没有,有没有联系方式、营业范围,这些都需要用算法去做。

视觉技术@高德地图-导航

以上介绍的是在地图制作方面有很多的复杂性,需要用视觉算法或者其他算法来处理。接下来分享下在导航方面的。

先说下自己的一个体会。前段时间在西班牙休假,欧洲的环岛特别多,谷歌(地图)导航经常提示我,进了弯道之后从第三个出口出去,我当时特别郁闷,因为要数口子,经常你也不知道那个到底算不算出口,所以走错了好几次。我在国内没开过车,国内的交通更复杂,例如在北京的西直门,有时候可以直接右拐,有时候需要转一个810度的圈。

我们希望对导航的方式做一个比较大的变化,让它变成所见即所得的场景。如果有算法能够直接告诉人们往哪边走,对人来说是更加有用的,能够让开车更加简单,导航变得更加直接。

很多汽车现在都会有摄像头,不管是前端还是后端,很多时候可以获取到视频数据。我们把AI算法计算出的效果叠加在视频上,告诉人们到底该怎么走。
5

高德在今年4月份发布了AR导航产品,这个产品里有一项是实景增强,它会告诉你应该保持在这条线上继续往前开或者转弯,会有压线的提示,会有箭头告诉你前面右转。

这个产品中,除了引导之外,还有别的功能。例如,也加入了前车的碰撞预警功能,会估计前车的距离和速度,这将帮助大家安全驾驶。其他事物也可以用更加直观的方式展示,例如限速,电子眼,跟斑马线相关的,如果看到前方有人,也会做出提示。

以上的功能看起来可能不那么难,但要实现起来很难。为什么?因为我们希望这是每个人马上就能实用的功能,所以要做到很低的成本。这和自动驾驶系统不一样。从传感器的角度,我们要做的是单个传感器,而且是低成本的相机。从计算的角度来说,自动驾驶系统可能会用一个几百瓦的专用芯片,而对于我们来说,所需要的算力大概只是普通手机的五分之一。

给大家看一个AR导航的例子,这是实际算法的输出,这个例子里面有车辆的检测,车道线的分割,和引导线的计算等。刚才提到了,高性能(低算力)是一个主要挑战,那我们在开发算法的时候就要充分考虑计算效率,包括各种手段,比如模型压缩,小模型训练优化,检测和跟踪的结合,多目标的联合模型,和传统GPS导航的融合,等等,需要几件事情在一个模型里做。

真实世界是非常复杂的,要做到高质量、高效的地图制作,或者做到精准的定位导航,在视觉方面还有很多工作要做。希望通过以上介绍,大家对视觉技术在高德地图中的应用,在出行领域的应用,有了更多的了解,也对高德的使命有了更多了解。

我们在很多时候需要去连接真实世界或者是理解真实世界,才能够让出行更美好。希望能够尽快的把这些做好,让大家实际应用高德APP的时候,能够感受到技术进步带来的体验变化。我今天就讲到这里,谢谢大家。

相关实践学习
基于函数计算实现AI推理
本场景基于函数计算建立一个TensorFlow Serverless AI推理平台。
相关文章
|
19小时前
|
机器学习/深度学习 监控 自动驾驶
深度学习在图像识别中的应用与挑战
【5月更文挑战第17天】 随着人工智能技术的飞速发展,深度学习已成为推动计算机视觉领域革新的核心技术之一。特别是在图像识别任务中,深度神经网络通过模拟人脑对视觉信息的处理机制,显著提高了识别精度和处理速度。本文聚焦于深度学习在图像识别领域的应用现状,探讨了其背后的关键技术,包括卷积神经网络(CNN)的变体、数据增强、迁移学习以及注意力机制等。同时,文章也分析了当前面临的主要挑战,如数据集偏差、模型泛化能力、计算资源需求及对抗性攻击等,并提出了可能的解决方案。
|
19小时前
|
机器学习/深度学习 人工智能 自动驾驶
探索基于深度学习的图像识别技术在自动驾驶系统中的应用
【5月更文挑战第17天】 随着人工智能技术的飞速发展,尤其是深度学习在图像处理和识别领域的突破性进展,自动驾驶汽车的研发与实现已逐渐成为可能。本文旨在探讨深度学习技术在图像识别中的关键作用,并分析其在自动驾驶系统中的具体应用。通过回顾卷积神经网络(CNN)的基本结构和工作原理,本文阐述了深度学习模型如何从大量数据中学习特征,并在复杂的道路环境中准确识别行人、车辆、交通标志等关键要素。此外,文章还讨论了深度学习技术在提高自动驾驶安全性方面的潜力及面临的挑战。
|
20小时前
|
机器学习/深度学习 传感器 数据采集
基于深度学习的图像识别技术在自动驾驶中的应用
【5月更文挑战第17天】 本文聚焦于深度学习技术在自动驾驶领域的应用,特别是图像识别系统的设计与优化。文章首先概述了自动驾驶中图像识别的重要性及其挑战,接着介绍了深度学习在此领域内的基础理论与关键技术。随后,文中详细阐述了一个基于卷积神经网络(CNN)的图像识别模型构建过程,包括数据预处理、模型训练和验证策略。最后,通过实验结果分析,展示了所提出方法在提高自动驾驶系统准确性和鲁棒性方面的潜力。本文旨在为自动驾驶研究者和技术开发者提供一种高效、可靠的图像识别解决方案,以促进该技术的实际应用。
|
21小时前
|
机器学习/深度学习 固态存储 计算机视觉
深度学习在图像识别中的应用与挑战
【5月更文挑战第17天】本文主要探讨了深度学习在图像识别领域的应用及其所面临的挑战。随着深度学习技术的不断发展,其在图像识别领域取得了显著的成果,如卷积神经网络(CNN)在图像分类、目标检测和语义分割等方面的优异表现。然而,深度学习在图像识别中仍面临一些挑战,如数据不平衡、模型泛化能力和计算资源消耗等。本文将对这些挑战进行分析,并探讨可能的解决方案。
5 0
|
23小时前
|
机器学习/深度学习 传感器 自动驾驶
基于深度学习的图像识别技术在自动驾驶领域的应用
【5月更文挑战第17天】随着人工智能技术的飞速发展,深度学习已经成为计算机视觉领域的核心驱动力。本文旨在探讨基于深度学习的图像识别技术在自动驾驶汽车中的应用及其重要性。我们将分析卷积神经网络(CNN)在车辆检测、行人识别以及交通标志识别中的关键作用,并讨论这些技术如何提升自动驾驶系统的安全性和可靠性。此外,文章还将简要介绍最新的研究进展,以及这些技术面临的挑战和潜在的解决方案。
|
1天前
|
机器学习/深度学习 传感器 监控
基于深度学习的图像识别技术在自动驾驶系统中的应用
【5月更文挑战第17天】随着人工智能技术的飞速发展,深度学习已经成为了计算机视觉领域的核心驱动力。特别是在图像识别任务中,卷积神经网络(CNN)已经取得了突破性的进展,为自动驾驶系统提供了强有力的技术支持。本文将探讨深度学习在图像识别领域的最新发展及其在自动驾驶系统中的具体应用,同时分析目前所面临的主要挑战与未来的发展趋势。
|
1天前
|
机器学习/深度学习 自动驾驶 数据处理
深度学习在图像识别中的应用进展
【5月更文挑战第17天】 近年来,深度学习技术在图像识别领域取得了革命性的进展,不仅推动了计算机视觉的飞速发展,也为多个行业提供了创新的解决方案。本文综述了卷积神经网络(CNN)在图像识别中的关键作用,分析了当前面临的主要挑战及未来的发展趋势。特别关注了数据增强、迁移学习、对抗性网络等先进技术对提高模型泛化能力的影响。同时,探讨了深度学习在高维数据处理中的优势及其在自动驾驶、医疗诊断等领域的应用案例。通过深入分析,本文旨在为读者提供一个关于深度学习在图像识别领域应用的全面视角。
|
1天前
|
机器学习/深度学习 算法 计算机视觉
深度学习在图像识别中的应用与挑战
【5月更文挑战第16天】 随着科技的不断发展,深度学习技术在图像识别领域取得了显著的成果。本文将探讨深度学习在图像识别中的应用,以及在实际应用中所面临的挑战。我们将介绍卷积神经网络(CNN)在图像识别中的关键作用,以及如何通过优化网络结构和训练策略来提高识别准确率。此外,我们还将讨论在大规模数据集上进行训练时可能遇到的问题,以及如何利用迁移学习和数据增强等技术来解决这些问题。
|
1天前
|
机器学习/深度学习 算法 计算机视觉
深度学习在图像识别中的应用与挑战
【5月更文挑战第16天】 随着人工智能技术的飞速发展,深度学习在图像识别领域取得了显著的成果。本文将探讨深度学习在图像识别中的应用,分析其优势和面临的挑战。我们将重点关注卷积神经网络(CNN)在图像分类、目标检测和语义分割等方面的应用,并讨论数据不平衡、过拟合和计算资源等挑战。最后,我们将展望深度学习在图像识别领域的未来发展趋势。
|
1天前
|
机器学习/深度学习 传感器 自动驾驶
基于深度学习的图像识别技术在自动驾驶系统中的应用
【5月更文挑战第16天】 随着人工智能技术的突飞猛进,特别是深度学习在图像识别领域的应用,已成为推动自动驾驶技术发展的关键因素。本文旨在探讨基于深度学习的图像识别技术如何被集成到自动驾驶系统中,提高车辆的环境感知能力,确保行车安全。我们将分析卷积神经网络(CNN)和循环神经网络(RNN)等深度学习模型在处理实时交通数据中的优势,同时探讨这些技术面临的挑战和潜在的改进方向。通过实验结果验证,基于深度学习的图像识别系统能够有效提升自动驾驶汽车的导航精度与决策效率,为未来智能交通系统的实现奠定基础。
16 4

热门文章

最新文章