1 传感器分类

配备高级驾驶辅助系统（ADAS）和自动驾驶汽车（AV）的车辆使用不同的传感器，如摄像头、雷达、激光雷达和超声波传感器，它们充当自动驾驶汽车（AV）的眼睛，帮助车辆感知周围环境，即人、物体、交通、道路几何形状、天气等。这种感知至关重要，它确保AV可以做出正确的决定，即停止，加速，转弯等。

随着自动驾驶达到更高的自主性水平，复杂性也大大增加。这里需要多个传感器来正确理解环境。但是每个传感器都是不同的，并且有其局限性，例如，相机可以很好地用于车道检测或物体分类。相比之下，雷达可以为远程检测或不同光线条件下提供良好的数据。如下表为不同传感器的检测能力的区分表：

2 传感器融合技术

使用传感器融合技术，来自多个传感器的数据被融合到自动驾驶汽车中，以提供最佳输入，以便自动驾驶汽车做出正确的决定（制动、加速转弯等）。

传感器融合提高了自动驾驶汽车的整体性能，并且有多种融合技术，使用哪一种取决于功能的操作设计域（ODD）。

ADAS利用环境感知技术将不同传感器采集到的外部环境数据进行融合处理，实现目标识 别、轨迹预测和目标选择等功能。这些目标信息可以直接通过汽车总线发送给其它控制系统(助 力转向系统、防抱死制动系统、车身控制系统等)，由这些控制系统决定当前汽车状态；也可 以交由ADAS控制器内的策略模块，这些策略模块结合目前的车辆运行状态，计算出减速、 加速、增扭、减扭之类的控制命令，最后通过整车通信总线发送给不同的控制系统。基于开发 成本的原因，第二种架构被广泛应用与整车控制系统中。

根据传感器在数据融合中扮演的角色。融合分为数据级融合、特征级融合和决策级融合。在数据级融合中，传感器将采集的原始数据直接发送给控制器，控制器对这些数据进行同 步、筛选、特征提取、数据聚类、目标轨迹预测、目标识别。其运算量大、实时性差、在硬件 上需要更大的数据带宽才能应付多个传感器发送的数据。在特征级融合中，传感器数据处理器 将传感器采集到的数据进行特征提取，之后将特征信息 (目标的横纵向加速度、间距等)发送 给控制器，控制器再将这些特征信息进行融合。其优点在于降低了数据的发送量，减轻了控制 器的处理负荷，提高了融合算法的实时性。但是仍然需要控制器内融合算法将目标最终识别。在决策级信息融合中，每个传感器通过数据处理器独立完成目标特征提取和目标识别。传感器 数据处理器将识别出的目标信息发送给控制器，控制器根据不同的融合策略对传感器发送的目 标进行筛选和最终归类。三种融合策略各有优缺点。数据级运算量大、实时性差，对于芯片的 计算能力和数据传输带宽要求高，但所获得的传感器数据最完整；特征级能够有效提高数据融 合的效率；决策级信息融合容错性好，实现难度低，但是信息损失大，而且对于传感器的依赖 程度高。基于硬件资源和开发成本的考虑，基于特征级数据融合的架构被广泛使用于目前的 ADAS中。具体如下图所示：

以下是不同类型的融合技术的几个示例，根据AV的自主级别，将使用一种或多种传感器融合技术，例如：对于2级的ADAS，需要对象检测，车道融合，交通标志融合，但对于3级及以上的ADAS，可能需要更多的融合技术。

环境和功能规范的复杂性决定了需要制定什么样的融合策略和什么样的融合需求。下图为雷达和相机融合的一些数据流程处理：

3 传感器融合面临的挑战

执行传感器融合是一项复杂的活动，应该考虑许多挑战：

• 不同的传感器以不同的采样率（50毫秒、60毫秒等）提供输出数据
• 传感器可能会从同一物体进行多次检测（例如：大型卡车可能会从雷达发出多次反射）
• 传感器还可以检测错误或遗漏检测（相机可能会错过夜间、黄昏时间等检测物体/车道）
• 物体可能在传感器的盲区停留一段时间，或者物体可能在盲区动态移动
• 不同FOV区域的不同传感器的输出精度也不同
• 传感器安装在车辆的不同位置
• 传感器性能在不同的环境条件下也有所不同
• 传感器的检测置信度可能较低 随着高阶智驾的要求，可能需要多个传感器来尝试接近 360 度覆盖并避免盲点。传感器的放置对于减少盲区以在不影响安全要求的情况下实现最佳性能也至关重要，此外，每个传感器的精度水平都不同，管理每个传感器的数据精度对于最终输出至关重要。

为了确保传感器融合的高精度，必须确保正确的KPI和稳健的设计：确保所有高级别的关键绩效指标都到位，即

• 每个对象的单个轨道
• 无错误或遗漏对象检测
• 整体精度得到提高
• 为每个输出提供置信水平
• 估计传感器盲区的输出
• 通过设计实现更高的精度：

4 传感器融使用的关键技术

下面是一个传感器融合架构示例，可用于确保最高水平的对象检测精度。

数据同步：- 不同的传感器提供不同的输出，例如，相机在 50 毫秒时提供输出，雷达可以在 60 毫秒时提供输出。数据同步技术在执行传感器融合之前同步此数据。

坐标变换：- 这是一种基于传感器几何形状和放置的技术，可将安装在不同位置的传感器的数据转换到一个全局坐标系中。例如，如果我们考虑一辆长 5 米、宽 2 米的汽车与一辆长 18 米、宽 4 米的卡车，我们需要将数据带到后轴或前轴的中心点的全局坐标系中。

数据关联：这是一种技术，用于确保从车辆上的每个传感器接收的多个数据是针对同一物体的，例如，前方的汽车

状态估计和预测：估计状态。

轨道管理：轨道管理技术确保传感器融合的最终输出，它根据轨道历史初始化、维护和删除轨道，并计算轨道置信度。

自车运动估计：它考虑了车辆的运动。例如，以 T+100 毫秒和 T+200 毫秒接收数据，但在此期间车辆已经移动。该技术解释了车辆位置或运动的这种变化。

因此，为了实现传感器融合的高质量性能，必须考虑设计的一些关键方面：

• 数据关联和估计技术的算法选择

• 有许多算法可用于数据关联，流行的算法是最近邻、概率和联合概率数据关联技术。
• 运用各种技术，如线性卡尔曼滤波器，扩展卡尔曼滤波器，粒子滤波器等。

• 融合战略

• 数据关联算法和估计技术应根据用于融合的传感器类型、状态估计要求（动态/静态目标估计）和传感器输出来确定。

• 轨迹管理：为了减少错误输出，融合轨迹管理需要在初始化轨迹之前建立置信度，但是如果花费更多时间，则会导致延迟，这将延迟AD系统的操作，这对AD系统性能不利。轨道初始化策略应考虑操作环境、功能ODD等。曲目删除也是如此
• 滤波器调整 滤波器调谐对滤波器性能非常关键。滤波器调整需要考虑实际方面，这可以通过使用真实世界数据的传感器表征来完成。

验证融合以确保软件质量和方案覆盖也很重要。但是，验证可能会导致数百万个场景，因此使用正确的验证策略来测试与模拟数据、真实世界数据或车辆测试中的融合始终很重要。以下是融合验证的关键方面

• 边缘情况场景选择：由于融合改善感知通过融合各种传感器噪声数据来提高性能，因此应仔细选择涵盖所有边缘情况的场景。该场景还应提及在模拟、真实世界或车辆中都需要哪个级别的验证。目标应该是在模拟级别上实现最大覆盖率，以减少成本和时间，同时测试质量不应有任何影响。
• 传感器建模：为了验证仿真中的融合与环境噪声效应，需要高保真传感器模型来模拟环境对传感器性能的影响。高保真传感器建模是研究课题，并且提出了各种技术，例如数据驱动模型或基于物理的建模。正确的传感器模型对于仿真至关重要。
• 使用真实世界数据进行验证：高保真传感器模型可以模拟精度高达90%至95%的环境条件，因此仿真中不可能涵盖所有场景，并且需要使用真实世界的数据进行融合验证。
• 车辆测试：融合的最终验证应在车辆上进行，以确保在考虑实际情况、传感器延迟和驱动延迟的情况下进行功能级别的端到端测试

因此，融合是AD性能非常关键的感知组件，必须考虑关键的实际方面，并为设计和验证定义正确的策略，以实现AD软件的最高成熟度。