领域最全!多传感器融合方法综述!(Camera/Lidar/Radar等多源异构数据)(下)

简介: 自动驾驶正成为影响未来行业的关键技术,传感器是自动驾驶系统中感知外部世界的关键,其协作性能直接决定自动驾驶车辆的安全性。本文主要讨论了近年来自动驾驶中多传感器融合的不同策略。分析了常规传感器的性能和多传感器融合的必要性,包括radar、激光雷达、摄像机、超声波、GPS、IMU和V2X。

原文首发微信公众号【自动驾驶之心】:一个专注自动驾驶与AI的社区(https://mp.weixin.qq.com/s/NK-0tfm_5KxmOfFHpK5mBA



2)多传感器数据融合



MSHIF过程的不同方法表示融合阶段原始数据的不同抽象级别。由于在不同的数据提取阶段采用不同的融合策略,因此在多传感器数据融合中使用不同的融合算法。我们对不同研究中使用的融合方法进行分类,以反映这些研究中采用的融合思想。这些融合方法包括四类:基于可识别单元的信息融合策略、基于特征互补的融合策略、不同传感器目标属性的融合策略和基于不同传感器决策的融合策略。


1.基于可分辨单元的融合策略


基于可分辨单元(FSBDU)的融合策略或数据级融合,是指将不同传感器的可分辨单元的数据直接融合,然后对融合后的数据进行进一步处理的融合过程。FSBDU[93],[94]基本上用于多源图像融合以增强图像,特别是在通过融合红外图像和RGB图像进行遥感成像的应用中。由于波长较长,毫米波雷达的原始数据不利于立即成像。激光雷达的空间分辨率高于毫米波雷达,但水平分辨率和垂直分辨率仍远远落后于光学图像。同时,由于传感器的不同采样率和FOV,有必要在时间和空间上分别对齐它们。多个传感器的数据处理单元(称为帧)具有不同的数据格式和数据体积,因此需要对齐不同的传感器帧。空间对准意味着不同传感器检测到的相同目标对应于FSBDU过程中的统一坐标系。近年来,一些研究侧重于毫米波雷达成像[95],[96],但仍不足以区分复杂场景中的多个目标。一些研究使用雷达或激光雷达生成光栅图,然后与光学图像融合,这也可以被视为FSBDU方法。一般来说,在雷达或激光雷达与摄像机融合的过程中,FSB分为两个方向。一种是基于雷达或激光雷达的障碍物检测结果,生成光栅图,即基于区域的融合。另一种方法是将光学图像作为真实样本,并通过GAN[52]-[55]生成雷达或激光雷达图像。


在参考文献[97]中,传感器包括雷达、激光雷达、摄像机和带有地图的GPS,用于在驾驶过程中创建AD车辆的环境表示。观测激光雷达数据的多次累积用于生成网格图。然后,每个网格都有一个观察值的统计屏障,当该数字高于特定数量时,将出现风险警告。识别出的目标将与毫米波雷达检测到的候选目标进行比较。如果两者都显示该区域存在目标,则将其集成到静态地图中。最后,利用距离信息更新车辆的位置误差,构建安全驾驶区域。参考文献[88]采用深度学习方法,将激光雷达点云和摄像机图像融合用于道路检测。将非结构化稀疏点云投影到摄像机图像平面上,然后获得应用于道路分离的编码空间信息的一组密集二维图像。此外,参考文献[98]中提出了一种新的条件多生成器生成对抗网络(CMGGAN),它可以使用训练模型和雷达传感器数据直接生成环境图像,综合利用雷达传感器检测到的所有环境特征。在此基础上,生成的图像和光学图像可以被集成以执行FSBDU,如[97]所述。参考文献[99]提出了一种双静态FMCW雷达系统,该系统使用简单的无线同步方案和宽带全向天线构建。它采用与FMCW成像系统兼容的成像技术,提供高分辨率图像来检测墙壁内的物体,充分展示了毫米波雷达的穿透优势。生成性对抗网络(GAN)允许任何形式的数据直接用于生成图像,同时它还可以使用已经获得的数据进一步生成质量更好的数据。参考文献[100]认为,激光雷达或毫米波雷达在与摄像机集成的过程中消耗了大量计算资源。因此,本文中的条件是在图像的监督下从LidarpointCloud构建充满活力的语义图像,并通过KITTI数据集验证实时车辆检测的有效性。类似地,参考文献[101]中提出了一种基于激光雷达的特征学习框架,该框架取代了传统的基于几何匹配的特征学习架构。


自动驾驶过程中的多源异构像素级融合通常利用雷达和激光雷达或生成的图像的可分辨单元,然后从融合数据中提取环境特征和目标参数,用于进一步决策。FSBDU直接合并数据,无需深度信息提取[103]。虽然可以最大程度地融合多源数据,但数据之间存在冗余,导致融合效率低。


2.基于互补特征的融合策略


基于互补特征的融合策略(FSBCF)结合从相应传感器数据中提取的多目标特征,然后应用融合的多传感器特征进行分类和识别。因为异质传感器可以捕获同一目标的非相关尺寸特征,这为目标检测和识别提供了卓越的识别能力。AD系统中提取的特征包括目标参数提取和数据特征提取:


1)目标参数提取:包括从预处理数据中提取的目标的大小、距离、方向、速度和加速度等目标信息。许多研究提取雷达或激光雷达目标的位置特征,并通过生成感兴趣区域(ROI)来辅助图像识别,ROI将雷达检测目标的位置直接转换为图像以形成区域。


2) 数据特征提取:数据特征是从图像或其他处理数据中提取特征,如目标轮廓、纹理、时频特征和颜色分布,用于分类和识别。在计算机视觉中,通常在图像中生成大量可能包含目标的感兴趣区域(ROI),这些ROI通过预训练的分类模型进行分类。此外,具有最高置信度的ROI是目标所在的位置。以这种方式确定目标的位置需要大量计算。由于激光雷达和毫米波雷达在探测目标位置方面的优势,计算量相对较小。因此,许多研究首先使用雷达和激光雷达提取目标的距离和方位信息,然后将位置信息映射到图像数据中,以生成较少的ROI。最后,预训练模型用于进一步识别这些感兴趣区域,并对目标类别进行准确分类。在提取ROI之后,许多研究将机器学习方法应用于进一步的感知任务。传统的机器学习方法通常需要提取标准特征,如Haar算子、HOG算子和灰度共生矩阵(GLCM),以从图像中提取特征,然后应用SVM[20]、Adaboost[104]和其他方法对这些特征进行分类。最近的研究倾向于使用神经网络来实现目标分类和识别,参考文献[104]中,近红外摄像机和雷达的应用使得能够在车载平台上进行可靠的实时识别。同时,层叠增强的分类有助于将数据和图像信息融合到特征层。


基于深度学习的方法在识别精度方面具有更多优势,不需要人工特征提取过程。在没有人工特征提取过程的情况下,基于互补特征的融合过程需要嵌入到神经网络架构中。因此,随着深度学习的出现,基于多传感器数据的特征融合研究几乎停止。FSBCF主要利用激光雷达和毫米波雷达的位置特性进行互补融合,参考文献[72]提出了一种毫米波雷达和摄像机的融合传感过程。雷达坐标(包括距离和角度信息)被转换为相应的图像区域,然后通过DPM对图像进行分类,以98.4%的检测准确率推断识别结果。参考文献[108]在从点云图像生成ROI后,应用超区域模型以3D形式描述目标形状,并最终形成3D数据分类和目标检测。参考文献[109]提出了一种基于条件随机场模型的融合摄像机和激光雷达特征的混合随机场模型,以分割车辆前方的道路。在KITTI-ROAD基准数据集上进行了大量实验,结果表明该方法优于现有方法。值得一提的是,在参考文献[88]中,通过使用全卷积神经网络(FCN)进行激光雷达和摄像机的数据。采用三种融合策略组合激光雷达和摄像机数据,包括早期融合策略(EFS)、后期融合策略(LFS)和交叉融合策略(CFS),并使用FCN生成当前道路上的安全驾驶区域。


FSBCF需要对原始数据进行一定程度的信息提取,并组合由多个传感器检测到的不相关维度特征或参数。高维特征在目标识别中具有更高的可分辨能力,从而提高了融合的效率,并突破了单个传感器的固有缺陷[110],[111]。近年来,由于直接应用现有的视觉模式识别神经网络体系结构,对组合多传感器特征的研究还不够深入。大多数研究都是基于目标参数提取的方法来实现FSBCF融合策略。


3.基于目标属性的融合策略


基于目标属性的融合策略(FSBTA)是一种分布式数据处理过程,其中每个传感器提取目标参数并识别不同的目标以形成目标列表。将融合多个目标列表,以获取可靠和真实的目标信息,避免误报和漏检。参考文献[16]中,多个摄像机、毫米波雷达组和激光雷达用于提取交通环境中的目标,并生成相应的目标列表。生成的目标列表可以规划为安全驾驶区域,以避免潜在的碰撞风险。所提取的毫米波雷达运动信息主要为参考文献[48]中的图像提供ROI,然后应用卷积神经网络(CNN)来识别ROI中的目标。同时,分别对毫米波雷达和摄像机感知到的目标列表进行匹配和合并。融合信息包括目标类型、距离、速度、角度和角速度。融合结果在一定程度上容忍了单个传感器的漏检,提高了鲁棒性。大约在参考文献[112]中,二维快速傅立叶变换(2FFT)和稀疏特征检测分别应用于雷达和视觉子系统,以提取多目标的运动参数。此外,高斯逆Wishart概率假设密度滤波器(GIW-PHD)用于跟踪分割对象。在参考文献[113]中,低层信息融合由LiDAR和camera进行,并应用LiDAR的距离和角度信息在相应的图像中生成ROI,最终它们合并了LiDAR、MMW雷达和摄像头生成的目标列表。目标融合处理传感器之间的互补性。该相机提供高水平的二维信息,如颜色、强度、密度和边缘信息,而激光雷达提供三维点云数据。通过获得尽可能多的属性,它促进了人机交互和意图认知。参考文献[46]中的行人检测采用了图像处理飞行传感器和摄像机传感器。此外,本研究还采用三维点云数据进一步检测目标的形状,以降低虚警率并解决基于摄像机的检测中的目标遮挡问题。在本文中,激光雷达的目标信息为图像生成ROI。同时,将激光雷达数据和图像识别的目标列表进行匹配,以最大限度地提高检测速度,并实现行人检测的平均检测精度99.16%。参考文献[114]使用立体摄像机和激光雷达检测前方车辆的车道变化行为。他们使用基于粒子的神经网络模型群优化对车辆的距离、径向速度和水平速度进行分类,以识别车道变化行为,最终综合识别率达到88%以上。当FSBTA集成数据时,数据的抽象级别介于FSBCF和FSBMD之间。这种融合策略使用多个传感器停止接收目标,并融合提取的目标属性或环境特征。该融合策略将提高感知系统的稳定性和可靠性,以应对单个传感器在独立检测和识别过程中可能出现误报或漏检。


4.基于多源决策的融合策略


基于多源决策的融合策略(FSBMD)通过单传感器数据对目标的位置、属性和类别进行初步决策,然后采用特定的融合策略将多传感器获得的决策进行全面组合,并采用适当的方法实现最终的融合结果。FSBMD集成直接对特定目标进行决策,最终决策结果的准确性直接取决于融合效果。FSBMD通常可分为决策融合、决策制定、可信度融合和概率融合[115]-[118]。FSBMD的方法通常包括主观贝叶斯概率推理方法、Dempster-Shafer(D-S)、基于证据理论的推理方法、人工智能(AI)方法和模糊子集理论方法。参考文献[16]提出了一种多传感器广告平台,用于通过数据处理提取道路边缘、车道标志、交通标志、障碍物和目标的运动参数。基于平台中目标信息的决策策略有助于控制自动驾驶车辆的运动状态。参考文献[113]提出了将综合模糊理论与神经系统相结合的框架。该框架结合了卡尔曼分离和精细处理标准,为目标跟踪框架构建了有效的信息组合策略。模糊集为数据工程、处理系统、选择和信息分析的发展提供了新的思路。自适应神经模糊推理系统(ANFIS)是最有效的神经系统框架之一。ANFIS具有很强的可接受性和预测能力,是在任何框架中管理经验不稳定性的有效工具[119],[120]。此外,参考文献[90]提出了一种基于D-S证据理论的证据融合框架,以应对传感器的易受攻击性和目标的不确定性运动。然后,将可靠性函数与测量值相结合,以建立分类指数,对目标进行分类,尤其是行人检测。此外,本文中的置信函数重新分配了传感器提供的概率,以便在不确定信息准确时做出可靠决策。参考文献[91]提出了摄像机、GPS和车载传感器的组合,用于车辆的精确定位。通过使用扩展卡尔曼滤波算法,他们融合了GPS信息和视觉里程计,与传统GPS定位方法相比,精度提高了40%。FSBMD综合了不同传感器做出的多个决策,融合策略的性能决定了最终的融合效果。通过信息融合,最终决策直接产生[121]-[123]。这种方法可以有效地避免依赖单个传感器的感知结果作为最终决策而导致的不确定性和不可靠性。然而,FSBMD并不能从数据处理层面显著提高目标检测性能,而且数据互补性相对较低。在大多数研究中,这种策略常常与其他策略相结合。


5.融合策略和感知结果分析


不同的研究将不同的策略应用于不同的任务或场景,实施过程中使用的具体方法也不同,很难比较哪种策略更好。然而,从信息融合的角度来看,FSBDU和FSBCF可以充分利用不同传感器数据的互补性。此外,一些研究还采用多种策略的组合来进一步提高融合的可靠性。下表总结了不同研究中各种传感器完成的特定任务。就特定感知任务而言,当前的研究包括两类:移动目标感知和环境感知。其中,移动目标感知包括行人、车辆、自行车和其他障碍物。一些研究仅实现对该目标的检测和识别,而其他研究则根据识别结果进一步分析目标的移动趋势。通过分析趋势,可以避免目标跟踪丢失,因为很难确保每个帧检测的一致性。此外,一些研究将车道线检测与障碍物检测相结合,以规划AD车辆前方的安全驾驶区域。同时,一些研究在此基础上可视化了数据。当然,信息的可视化对于验证安全区的正确划分是必要的,但对于L4或L5水平的AD来说不是必要的。此外,当各种传感器用于目标识别和跟踪时,由于不同传感器放置的不同空间位置、数据采样率和视场,目标对应于各种数据中的几个不同坐标系。需要统一这些坐标系以获得融合后的目标位置信息。当前传感器标定主要包括FMMW雷达和摄像机标定以及激光雷达和摄像机的标定。目前,在AD过程中,主要依靠摄像机、激光雷达和毫米波雷达来完成目标检测和识别。引入其他传感器(如通信设备、GPS/IMU)将进一步扩大车辆的动态传感范围。当然,如表2所示,部分研究开始了相关研究。此外,RCLUGIV分别指雷达、摄像机、激光雷达、超声波、GPS、IMU和V2X。


640.png


3)目标跟踪和数据关联



在驾驶过程中,驾驶员将继续观察交通状况。除了观察交通灯外,更重要的是分析和预测车辆和行人的行为意图。为了实现这一目标,需要实时跟踪多个潜在的安全威胁,并根据跟踪结果分析目标的移动趋势和意图。这样,自动驾驶车辆可以提前做出正确的决定,避免危险的发生。为了分析目标的意图,需要对不同目标的运动模式进行建模,然后根据运动模式判断目标的运动状态,如静止、匀速、加速运动和转弯。此外,在复杂的交通环境中,由于存在干扰因素,不同传感器很难确保目标检测前后帧的一致性。对于自主车辆的安全决策和运动规划,需要确保多个目标的精确跟踪,即使目标在当前帧中丢失。此外,由于多个传感器的融合,不同的传感器为多个目标生成不同的跟踪轨迹。因此,在跟踪过程中应采用特定的融合策略,以确保最终结果的可靠性。


1.运动模型


640.png


人类运动的时间序列一直是一个相关的研究课题,行人检测是自动驾驶中的重要组成部分,近年来开展了相关研究[133],[134]。参考文献[135]–[139]提出了相应的车辆运动模型。为了便于目标跟踪和状态预测,参考文献[89]中提出了目标的恒速(CV)模型和恒加速度模型(CA)。参考文献[128]进一步提出了车辆模型,包括恒速车道保持(CVLK)模型、恒加速车道保持(CALK)模型,恒速车道改变(CVLC)模型和恒加速车道改变(CALC)模型。一般来说,如果运动模型太复杂,计算量会急剧增加;反之,如果过于简单,则会影响跟踪性能。不同的运动模型包括两类:线性运动模型和线性运动模型。适当的模型可以显著提高车辆跟踪系统的性能。此外,参考文献[140]提出了更一般的模型,包括恒定速度(CV)、恒定加速度(CA)、恒定转弯率和速度(CTRV)、恒定转弯速度和加速度(CTRA)、恒定曲率和加速度(CCA)以及恒定转向角和速度(CSAV)。此外,这些运动模型的状态转换图如下图所示,其为转向角速度、加速速度和转向角。基于运动模型的跟踪可以实现更好的跟踪性能和准确性。此外,通过运动模型分析目标的运动状态,可以进一步确定目标的意图。



2.目标跟踪问题的分类


目标跟踪过程是将传感器的当前测量值与历史轨迹相匹配。然而,当面对多个传感器和多个目标的跟踪问题时,情况变得复杂。在不同的场景和应用中,目标的数量可能不同于由多个传感器监测的目标。多源异构数据的多目标跟踪问题包括四种情况。


1) 单传感器跟踪稀疏目标(S2S)

S2S主要考虑稀疏情况下的多目标跟踪,这意味着多目标不会相互作用[144],[145]。如果在多目标跟踪中不存在跟踪模糊,则适当的方法包括最近邻(NN)算法、相应的改进NN算法、卡尔曼滤波和基于贝叶斯滤波的算法,这两种算法都相对成熟并具有广泛的应用。

2) 单传感器跟踪多个目标(S2M) 与多个稀疏目标相比,S2M中的多个目标具有距离分辨率模糊或重叠遮挡等情况,可以采用全局数据关联算法[146],[147]。

3) 多个传感器跟踪稀疏目标(M2S)

类似于S2S,目标分布稀疏。然而,对于多传感器跟踪的同一目标,多个传感器之间的目标位置在时间和空间上存在差异[19],[113]。此外,不同传感器的数据形式和处理方法不同。M2S通常采用K-最近邻(K-NN)算法、联合卡尔曼滤波(FKF)和联合概率关联算法(JPDA)以及相关改进算法。

4) 多传感器跟踪多个目标(M2M)

以从单个角度捕获多个目标的运动信息,M2M中存在数据重叠和轨迹交叉问题。在结构化的城市环境中,目标的行为通常与周围环境密切相关,这使得M2M问题特别[89]、[125]、[126]。目前,应用的方法包括JPDA及其改进算法、多目标假设跟踪(MHT)、RFS理论。


3.数据关联方法


多个传感器的数据关联包括两种情况:一种是单个传感器的轨迹关联,其将当前跟踪结果与历史跟踪轨迹相关联;另一种是考虑将多个传感器的测量值与历史上多个目标的跟踪轨迹相关联。当前研究中常用的基本思想主要分为最近邻算法、基于卡尔曼滤波的改进算法、基于贝叶斯滤波思想的改进算法,基于概率数据关联的算法和基于随机有限集的方法。


1) 最近邻(NN)算法


最近邻算法简单、有效、易于实现,适用于稀疏多目标跟踪。当最近邻算法用于处理密集群目标和多传感器数据关联时,统计意义上的最优解将导致错误的关联匹配。在参考文献[148]中,提出了一种称为RTK-GPS的数据关联方法,并与NN算法和JPDA算法进行了比较。NN、RT-GPS和JPDA的运行时间分别为0.012193毫秒、0.29354毫秒和2.5毫秒。它们的均方根误差分别为0.9232、0.3979和0.4378。此外,随着目标数量的增加,JPDA算法将不适用于AD车辆实时跟踪目标。在参考文献[149]中,采用平方马氏距离来管理传感器测量和历史轨迹的关联问题。在参考文献[89]中,将最近邻数据关联(NNDA)和JPDA方法与交互式多模型(IMM)和扩展KF(EKF)相结合,用于处理目标跟踪和数据关联,并对其性能进行了比较和分析。结果表明,JPDA算法在不同方向上获得的目标距离(超过1000m)的均方根误差比NNDA算法高约5m。此外,JPDA所花费的平均时间为5.993115秒,而NNDA为1.342506秒。因此,在处理稀疏目标跟踪问题时,NN具有算法复杂度低的优点,而JPDA的性能较差。


2) 基于卡尔曼滤波的方法


KF是一种递归算法,可以通过获得先前观察到的目标状态估计和当前状态的测量值来估计目标的当前状态[150]。FKF可用于解决多传感器跟踪多个目标的问题。在文献[5]中,提出了一种结合模糊自适应融合和小波分析的方法,将线性过程模型分解为一系列更简单的子系统,并应用多个KF分别估计这些子系统的状态。结合参考文献[113]中的KF和自适应神经模糊推理系统(ANFIS),为目标跟踪框架构建了一种有效的信息组合方法,其精度和性能优于传统的KF算法。类似地,在参考文献[37]中,根据预测状态的加权平均和基于当前测量的估计状态更新,在测量更新步骤中,对具有较高不确定性的状态赋予较低的权重。此外,FKF用于处理雷达、激光雷达、摄像机和其他传感器的测量值,减少统计噪声和其他误差。在参考文献[148]中,KF用于测量简单的实验场景。基本KF的问题是它不能精确估计非线性系统。KF可以精确估计线性系统,但在非线性系统中很难达到最佳估计。因此,一些研究采用了EKF及其改进算法。由于车辆的非线性运动过程,参考文献[125]采用EKF将非线性问题线性化。无迹KF(UKF)是另一种广泛应用的改进KF算法。UKF采用统计线性化技术,通过先验分布中收集的n个点(也称为assigma点)的线性回归来线性化随机变量的非线性函数[151]。由于UKF考虑了随机变量的扩展,这种线性化比EKF中的泰勒级数线性化更精确。


3) 基于贝叶斯滤波的方法


贝叶斯跟踪方法主要跟踪具有多模式概率密度(PD)的多个目标,并用分量PD近似每个模式。粒子滤波(PF)是一种改进的贝叶斯算法,可以有效地处理非线性和非高斯贝叶斯估计问题,适用于求解分量PD估计问题。当贝叶斯算法用于多目标跟踪以递归地估计多个目标的状态并确定当前目标数时,序列最大似然比通常用于验证目标是否存在或消失。根据测试结果(目标的出现或消失),可以确定代表多个目标的混合分量进行添加或删除,从而可以更新和维护多模态后验概率分布。参考文献[152]采用贝叶斯网络建立了目标运动学和类别之间的关系模型。贝叶斯方法和D-S方法广泛应用于识别和传感器融合。D-S方法克服了贝叶斯方法不能表达不完整或不确定证据的问题。PF是贝叶斯滤波器的一种特殊形式,参考文献[127]详细阐述了用于跟踪车辆目标的PF性能。通过实际测试,改进后的颗粒过滤器性能优越。参考文献[153]结合混合PF和IMM(IMM-PF),提出了驾驶员意图算法的前车跟踪和预测。然后提出了一种改进的PF算法来跟踪车辆目标,以解决数据相关性问题。结果表明,在极端情况下,改进PF的性能提高。参考文献[154]进一步提出了多传感器航迹融合算法,该算法采用最大似然融合规则来处理多传感器和多目标测量之间的相关性。卵巢癌矩阵用于表示融合中心决策更新的多个测量值之间的相关性。此外,与传统算法和集中式KF相比,实验结果表明,提出的自适应算法可以降低均方误差(MSE)。在参考文献[128]中,贝叶斯滤波用于完成多目标跟踪,并将道路约束引入算法。由于传感器和环境的限制,例如检测距离短、视野窄、信号噪声和意外占用的障碍物,导致性能限制,因此将道路几何信息应用于跟踪算法,以克服基于车辆传感器的跟踪限制。随着未来交通设施的不断完善,道路的结构特征将越来越突出。引入结构化约束可以提高算法性能并简化目标运动模型。


4) 基于概率数据关联的方法


概率数据关联(PDA)是一种广泛应用的算法,有许多改进。它验证了所有测量,并估计了目标的运动状态和协方差,而不仅仅是采用单个测量,[155]提出了JPDA算法来处理多目标跟踪,该算法考虑了多个边缘分布的联合分布概率[156]。在文献[157]中,提出了一种称为PDA反馈PF(PDA-FPF)的算法来解决数据关联不确定性,这表明PDA-FPF的性能接近理想的JPDA。然而,JPDA面临大量计算的问题。此外,还提出了精确最近邻RPDA(ENNPDA)[158]、联合概率数据协会(JIPDA)[159]和其他改进的算法,以通过精确计算来简化算法。参考文献[89]和[148]表明,与神经网络算法相比,JPDA算法具有更高的相关精度,但同时计算正常。JIPDaint将目标存在的可能性作为目标质量测量[159],这在目标自动跟踪中具有明显的效果,可以在一定程度上应对相邻目标或重叠目标的跟踪。然而,它也存在跟踪聚类的问题。另一方面,JIPDA仍然合并两个目标的轨迹,以应对两个目标在短时间内相互伴随的问题。JIPDA filter与JPDA的结合完美地解决了这个问题[160]。在参考文献[125]中,JIPDAIS用于管理多个目标的出现和消失。然后,应用城市交通场景中的真实数据集来证明JIPDAINAD的性能。此外,多目标跟踪(MHT)算法是JPDA算法的进一步改进。当目标出现或消失时,可以自动启动或终止数据关联。它的可扩展性受到限制,因为它依赖于对目标和噪声的先验知识。参考文献[126]中,MHT滤波算法用于实现多目标的跟踪管理。MHT滤波器根据支持每条轨迹的传感器数据分析每条轨迹并测量值。通过两个假设条件对每条轨迹进行序贯似然比检验,并根据统计决策函数顺序计算分数。如果得分超过阈值,则验证测量值并将其更新为跟踪。参考文献[161]结合了RFS理论和JPDA的优点,提出了CCJIPDA,同时,详细比较了多目标跟踪算法,包括JIPDA、ENNJIPDA,JIPDA*、RFS和CCJIPDA。显然,改进的算法在相邻或重叠目标的跟踪过程中具有较好的跟踪效果,但相关的AD研究没有采用。


5) 基于随机有限集的方法


RFS理论将单目标的贝叶斯滤波框架直接扩展到多目标跟踪问题。RFS可以避免复杂的相关过程,估计目标的数量和状态,适用于密集多目标跟踪。然而,由于计算过程涉及一组复杂的积分运算,因此应用非常困难。本研究提出了几种典型的滤波器来改变这种情况。改进的算法包括广义标记多伯努利(GLMB)滤波器、基数化PHD(CPHD)、多目标多伯努利滤波器和广义标记多贝努利(GLMB)滤波器。马勒提出了一种基于RFS[162]、[163]的概率假设密度(PHD)方法。PHD滤波器可以跟踪可变数量的目标,并估计目标的数量和位置。不需要数据相关性,但帧之间的相同目标的相关性是不可能的。参考文献[127]提出通过将数据关联与PHD滤波器相结合来实现多目标跟踪。第一步是将目标提取阶段的数据划分为围绕每个目标的聚类,并在帧之间应用这些区别,以实现轨道连续性。第二种是应用先前的目标状态和运动模型来估计下一帧中的目标。然而,当目标运动是非线性的时,在实际中难以建立运动模型。此外,在参考文献[112]中的AD应用中,基于毫米波雷达状态估计的图像特征轨迹和高斯混合数据被用于分割运动目标,而高斯逆Wishart概率假设密度滤波器(GIW-PHD)被用于跟踪分割的目标。一般来说,RFS具有完整的理论基础,没有复杂的数据关联,可以同时估计多个目标的数量和状态。近年来,它取得了快速发展。


参考



[1] Multi-Sensor Fusion in Automated Driving: A Survey.

相关文章
|
7月前
|
机器学习/深度学习 传感器 算法
【论文速递】AAAI2023 - BEVDepth: 用于多视图三维物体检测的可靠深度采集
【论文速递】AAAI2023 - BEVDepth: 用于多视图三维物体检测的可靠深度采集
|
传感器 机器学习/深度学习 编解码
Radar-LiDAR BEV融合!RaLiBEV:恶劣天气下3D检测的不二之选
论文使用最近发布的Oxford Radar RobotCar(ORR)数据集展示了所提出方法的优越性能。实验表明,RaLiBEV的精度大大优于其他最先进的方法。
Radar-LiDAR BEV融合!RaLiBEV:恶劣天气下3D检测的不二之选
|
机器学习/深度学习 传感器 编解码
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(中)
本综述根据三个基本的CV任务和不同的数据流类型,全面调查了100多种不同的视觉Transformer,并提出了一种分类法,根据其动机、结构和应用场景来组织代表性方法。由于它们在训练设置和专用视觉任务上的差异,论文还评估并比较了不同配置下的所有现有视觉Transformer。此外,论文还揭示了一系列重要但尚未开发的方面,这些方面可能使此类视觉Transformer能够从众多架构中脱颖而出,例如,松散的高级语义嵌入,以弥合视觉Transformer与序列式之间的差距。最后,提出了未来有前景的研究方向。
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(中)
|
7月前
|
传感器 机器学习/深度学习 自动驾驶
【多模态融合】CRN 多视角相机与Radar融合 实现3D检测、目标跟踪、BEV分割 ICCV2023
本文介绍使用雷达与多视角相机融合,实现3D目标检测、3D目标跟踪、道路环境BEV分割,它是来自ICCV2023的。CRN,全称是Camera Radar Net,是一个多视角相机-雷达融合框架。 通过融合多视角相机和雷达的特性,生成语义丰富且空间精确的BEV特征图。实现3D物体检测、跟踪和BEV分割任务。
560 1
|
7月前
|
机器学习/深度学习 传感器 编解码
【多传感器融合】BEVFusion: 激光雷达和摄像头融合框架 NeurIPS 2022
BEVFusion提出一个融合多摄像头和激光雷达数据的框架,可用于3D检测。在自动驾驶领域,通过独立处理并融合摄像头和激光雷达数据,可以显著提升3D对象检测的准确性和稳健性,尤其是在激光雷达可能出现故障的真实场景中。
1862 0
【多传感器融合】BEVFusion: 激光雷达和摄像头融合框架 NeurIPS 2022
|
7月前
|
算法 定位技术 图形学
基于Pix4Dmapper的运动结构恢复无人机影像三维模型重建
基于Pix4Dmapper的运动结构恢复无人机影像三维模型重建
131 2
|
7月前
|
编解码 JavaScript 定位技术
基于Pix4Dmapper的三维模型重建应用——空间分析选址
基于Pix4Dmapper的三维模型重建应用——空间分析选址
134 1
|
Ubuntu 开发工具
TI AWR1843毫米波雷达采集三维点云数据(ROS)
TI AWR1843毫米波雷达采集三维点云数据(ROS)
1055 0
TI AWR1843毫米波雷达采集三维点云数据(ROS)
|
机器学习/深度学习 传感器 编解码
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(上)
本综述根据三个基本的CV任务和不同的数据流类型,全面调查了100多种不同的视觉Transformer,并提出了一种分类法,根据其动机、结构和应用场景来组织代表性方法。由于它们在训练设置和专用视觉任务上的差异,论文还评估并比较了不同配置下的所有现有视觉Transformer。此外,论文还揭示了一系列重要但尚未开发的方面,这些方面可能使此类视觉Transformer能够从众多架构中脱颖而出,例如,松散的高级语义嵌入,以弥合视觉Transformer与序列式之间的差距。最后,提出了未来有前景的研究方向。
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(上)
|
传感器 机器学习/深度学习 人工智能
多传感器融合 | CenterFusion:毫米波雷达和相机后融合3D检测算法
本文主要介绍一种基于毫米波雷达和相机后融合的3D目标检测算法——CenterFusion,原本是公司内部的一个技术方案,截取了其中的核心理论部分,所以看起来肯能有些严肃。
多传感器融合 | CenterFusion:毫米波雷达和相机后融合3D检测算法