卫星影像识别技术在高德数据建设中的探索与实践

简介: 对于卫星影像的使用方式,高德经历了由前端用户展示,到人工数据作业参考,再到主动发现更新地图数据的进化过程,这同时也是我们不断挖掘影像数据价值的过程。本文会介绍高德视觉团队将卫星影像从被动参考升级为主动发现的过程中的探索和实践。

导读
对于地图服务而言,地图数据的准确率和覆盖率是服务质量的关键因素,而地图数据的更新,依赖于多种信息源,如轨迹热力,实采图像,卫星影像等。近年来,由于遥感卫星数量的增多及高分辨率光谱相机的出现,以及卫星影像图自身覆盖广、视角好、信息丰富的特点,卫星影像作为地图数据更新的信息源起到了越来越重要的作用。

对于卫星影像的使用方式,高德经历了由前端用户展示,到人工数据作业参考,再到主动发现更新地图数据的进化过程,这同时也是我们不断挖掘影像数据价值的过程。本文会介绍高德视觉团队将卫星影像从被动参考升级为主动发现的过程中的探索和实践。

卫星影像关键元素

按照几何结构划分,影像元素可分为三大类:道路元素(road),地物元素(region),建筑物元素(building):

道路元素:包含普通道路,精细道路(主/辅路/非机动车道,提前右转路),连接点(贯穿路、出入口、掉头口、路口等)。

地物元素:包含建筑区域、拆迁区域、水域、农田、山区、林地、大棚等。

建筑物元素:建筑物楼块。

徐浩1.jpeg

卫星影像在数据更新上的优势

路网是地图数据的基础,所有的道路属性、动态事件、POI引导都需要基于准确的路网数据信息。而卫星影像由于具有上帝视角,对区域内路网的连接关系、复杂的路口关系、平立交关系的判断具有全局而丰富的信息支撑。同时,由于卫星影像覆盖广、成本低的特点,对于热力稀疏或者采集车难以覆盖的区域,可以进行很好的路网数据补充。

徐浩2.jpg

路网三大信息源:热力、卫星影像、实采

作为用户导航的终点,POI(“Point of interest”的缩写,在地图数据中,一个POI可以是一栋房子、一个商铺、一个公交站等)坐标位置的准确性十分重要。通过高德POI中Top1000w的统计,70%的POI需要与楼块进行绑定,POI到达点与沿街楼块具有强依赖关系。

徐浩3.jpeg

POI与楼块强相关性

卫星影像识别技术探索实践

卫星影像精细语义分割(Semantic)

在语义分割上,为了提升算法精度,我们将主要方向聚焦在上下文信息的结合,如使用了U-Net结构、ASPP、Non-local等对信息的聚合具有作用的结构。同时引入了Attention加强了网络对图像显著区域,即当前分割任务所关注的类别进行了注意力聚焦,使得效果达到进一步提升。

U-Net结构

由于影像图像语义较为简单、结构较为固定,高级语义信息和低级特征都显得很重要,因此我们选用了U-Net作为网络的基础结构。Encoder-Decoder分别下采样4次+上采样4次,将Encoder得到的高级语义特征图恢复到原图片的分辨率。

相比于FCN和Deeplab等,U-Net共进行了4次上采样,并在同一个Stage使用了Skip Connection,而不是直接在高级语义特征上进行监督和Loss反传,这样就保证了最后恢复出来的特征图融合了更多Low-Level的Feature,也使得不同Scale的Feature得到了融合,从而可以进行多尺度预测和DeepSupervision。4次上采样也使得分割图恢复边缘等信息更加精细。

ASPP

使用不同扩张率的扩张卷积,并进行特征结合,得到多尺度特征,同时得到全局信息和局部信息。

Attention

关注图像显著区域,将U-Net的浅层和对应的深层进行信息结合后,得到Attention的参数,再作用于当前深层,得到最终Attention的结果输出。

Non-local

特定层的卷积核在原图上的感受野(local)是有限的,Non-local通过将空间中不同像素间的关系编码到当前层的输出,从而将全局信息加入到输出结果中,就能很好地解决local操作无法看清全局的情况,为后面的层带去更丰富的信息。

徐浩4.png

U-Net结构(左上) Attention(左下) Non-local(右上) ASPP(右下)

影像楼块实例分割(Instance)

实例分割有两种主流方法,第一种是基于目标检测,在得到目标检测框之后再在框内做语义分割前景和背景,由于这种方法需要借助目标检测中的区域提议,因此该方法称为Proposal-Based方法。

另一种方法是,在语义分割图的基础上,将像素聚集到不同的实例上,这种被称为Proposal-Free方法。我们对两种主流方法进行了对比实验,由于楼块具有多样性、“矮胖结构”的特点,Proposal-Based方法效果要优于Proposal-Free方法。

对于楼块数据而言,重要的表达内容是楼块的底座位置及其形状。然而由于影像拍摄视角问题,部分高楼在视觉上呈现斜射的效果,部分基座边缘被遮挡,为识别造成了极大的难度。

经过数据分析与推算,我们发现绝大多数的楼块底座形状是和楼顶形状一致的,因此我们采用了楼顶分割+楼顶到基座偏移量的多任务学习方案,将分割出的楼顶形状加上一个楼顶到基座的偏移向量,对基座的形状和位置进行了一个比较理想的还原。

徐浩5.png

多元素识别效果展示

针对卫星影像不同元素的图像特征与拓扑结构关系,我们设计了多个识别模型,包含普通道路识别、精细路网识别、地物分类识别、楼块识别等,作用于高德多种类别的数据更新。

徐浩6.jpg

普通道路识别(左上) 精细路识别(右上) 地物分类(左下) 楼块识别(右下)

未来展望&挑战

路网数据的准确/快速更新

用户在使用导航过程中可能会遇到一些场景:比如为什么这里有条新路却给导航了一条绕远的路?为什么导航了一条已经不能走的路?为什么本来这里可以掉头却还要往前多走几公里才能掉头?这些由路网数据错误导致的导航偏差,是我们未来需要解决的核心问题,也是业界的难题。未来我们期望通过视觉算法层面的优化,通过多采集源的融合预测,通过提前发现建设中道路等一系列手段,来快速感知到现实世界中发生的路网变化。

数字城市中的楼块与AOI建设

对于数字城市来说,楼块和AOI(兴趣区,Area Of interest)是重要的元素之一:如用户想要前往某个店铺,实际导航的到达点是店铺所在的楼块;用户想要前往某个小区的某个楼,实际导航的到达点是小区的入口,因此楼块与AOI的准确与完备直接影响到用户导航最后几百米的使用感受。同时结合最近的疫情防控,数字城市中的楼块和AOI信息可以对写字楼、小区等区域的疫情防控提供有力的数据支持。未来我们期望通过结合卫星影像的发现能力,进一步完善数字城市的数据建设,连接真实世界,让出行更美好。

目录
打赏
0
0
0
1
65
分享
相关文章
自动驾驶中高精地图的大规模生产:视觉惯导技术在高德的应用
本文将首先介绍视觉和惯导的主流设备,视觉惯导融合的框架和关键技术,高德在基于视觉方式生成高精地图道路标志和地面标识要素的计算方案,最后总结了这项技术在高精地图精度上所面临的挑战和未来发展方向。
12536 0
自动驾驶中高精地图的大规模生产:视觉惯导技术在高德的应用 | 8月2号云栖夜读
今天的首篇文章,讲述了:导航、驾驶辅助、自动驾驶等技术的不断发展对地图的精细程度提出了更高的要求。常规的道路级地图对于智能交通系统存在很多不足,针对自动驾驶应用的需求,我们提出了利用视觉惯导技术制作高精地图的方法。
4000 0
面向自动驾驶的高精地图及数据采集生产体系
又到春招季!作为国民级出行服务平台,高德业务快速发展,大量校招/社招名额开放,欢迎大家投递简历,详情见文末。为帮助大家更了解高德技术,我们策划了#春招专栏#的系列文章,组织各业务团队的高年级同学以业务科普+技术应用实践为主要内容为大家做相关介绍。
625 0
面向自动驾驶的高精地图及数据采集生产体系
高精地图中地面标识识别技术历程与实践
本文将主要介绍高德在高精地图地面标识识别上的技术演进,这些技术手段在不同时期服务了高精地图产线需求,为高德地图构建高精度地图提供了基础的技术保证。
SenseEarth 3.0智能遥感分析及地理信息应用云平台
SenseEarth 3.0智能遥感分析及地理信息应用云平台
319 0
高精地图、车路协同与自动驾驶是什么关系?
如何看待当前的纯视觉的、不依赖于高精度地图的自动驾驶解决方案?
418 0
高精地图、车路协同与自动驾驶是什么关系?
开创云端时空智能,千寻位置加速三维实景中国建设
近日,阿里云联合英伟达与英迈中国,在北京举办视觉计算私享会。千寻位置运营专家周倬受邀出席,在会上分享了三维实景重建的云上实践。
开创云端时空智能,千寻位置加速三维实景中国建设
自动驾驶高精地图技术的现状和未来
高德技术开放日已经顺利落幕,我们准备了精彩的视频回放。这次放出的是由高德高精地图业务中心 向哲 为大家带来的《自动驾驶高精地图技术的现状和未来》。
314 0
自动驾驶高精地图技术的现状和未来
智博会 | 奇点云全方位展示“数据智能+”应用成果
奇点云作为人工智能大数据领域前沿的高科技创新企业,携「数据智能+零售」、「数据智能+政府」、「数据智能+车企」等多种场景下的最新技术、“云(智能)+端(感知)”产品及解决方案亮相智博会。
1779 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等