五天玩转MongoDB训练营：阿里云特色MongoDB介绍
MongoDB在自动驾驶场景方案及最佳实践
内容介绍
一、 自动驾驶业务概览
二、 MongoDB应用
三、阿里云MongoDB概览
MongoDB在自动驾驶领域的应用，本次内容将分为4个部分：首先，我们将基于自动驾驶感知数据链路，简要介绍自动驾驶业务。其次，我们将探讨MongoDB在自动驾驶领域的应用。接下来，我们将介绍阿里云MongoDB产品。最后，我们将分享MongoDB在自动驾驶领域的应用案例。
一、自动驾驶业务概览
首先，让我们深入了解自动驾驶业务。我们以感知训练数据流的方式来呈现这个业务。
从数据的角度来看，数据首先从车端采集，然后经过数据合规、数据管理、数据处理和标注等多个环节。随后，这些数据将被用于训练集群，包括模型开发、仿真、评估和模型迭代。当相关模型达到工程质量标准，它们将通过OTA升级传送到远程量产车，实现自动驾驶方案的升级。
在这个业务链路中，数据起着关键作用。首先，在数据合规阶段，我们对敏感数据进行保护，包括数据删除、原始数据保留以及GPS偏移和加密等措施。数据合规后，对数据进行管理，包括打包、标记和存储，例如全量数据、视频、车载数据和点云等，这使我们能够对原始数据进行检索和回溯。
随后，对数据进行处理，包括数据清洗、抽帧、特征提取和数据压缩等操作，以提供适用于模型训练的数据。此外，数据还需要进行标注，包括2D标注、3D标注和语义分割等，机器学习可以用于预标注，提高标注效率。
当处理和标注完成后，符合训练要求的数据将被提供给训练集群进行模型开发，包括模型训练、流程管理和任务调度等。
模型训练完成后，对模型进行仿真和评估，以确保模型质量，然后进行迭代。当模型达到一定的工程标准后，将其部署到远程车辆进行OTA升级。在这个过程中，涉及到大量数据，例如量产车辆每天产生的原始数据可以达到数十TB，而经过处理的训练素材中的图像数量可以达到数百亿级别。
在数据的存取和应用阶段，我们需要面对海量数据存取、性能成本、吞吐量等一系列挑战。因此，在自动驾驶领域，许多厂商选择使用MongoDB作为核心数据服务来处理这些复杂的数据需求。
二、MongoDB应用
MongoDB在此背景下承载哪些服务
从刚才的描述以及与客户的合作实践中，我们总结出在自动驾驶领域存在着三个主要挑战：需要处理结构灵活的数据、存储海量数据以及支持高并发的吞吐。
正如前面所提到的，许多自动驾驶厂商都选择了MongoDB。在自动驾驶领域，MongoDB可以用于哪些数据存储和应用呢？
主要包括标注数据，这是自动驾驶的核心数据资产，例如车辆数据采集和量产车数据。车辆数据以有序方式存储在相应的系统中，而MongoDB提供了持久性模型。
此外，MongoDB的分片集群可以支持高并发、低延迟的访问响应，因此许多厂商选择将车辆数据存储在MongoDB中。轨迹数据，例如车辆行驶过程中生成的轨迹点，可以基于MongoDB的JSON数据类型进行灵活存取和后续分析处理。原始素材，如图像等数据，通常会存储在对象存储中，如OSS，但是每个图像都会有相应的地址，这些地址元数据可以存储在MongoDB中。结果数据，例如在训练过程中生成的结果集，以及分析评测中生成的结果集等，都可以存储在MongoDB中。基于MongoDB灵活的数据结构，还可以在自动驾驶领域的多个应用场景中使用，虽然这里没有详细展开。总之，MongoDB在自动驾驶领域的应用非常广泛且丰富。它可以帮助我们灵活快速地开展业务，提高开发效率，特别是在业务快速发展的阶段。
三、阿里云MongoDB概览
下面将分为6个部分介绍，包括MongoDB的产品形态、版本支持、PaaS服务、安全体系及工具支持，以及MongoDB的数据库自制和专家服务。
阿里云MongoDB的产品形态分为四种：单节点、副本集、集群形态和分片集群。
单节点主要用于测试和开发环境，而副本集是最常见的形态，广泛用于支持基于MongoDB的在线服务。
DBFS形态则适用于追求高性价比的需求，而分片集群则可以应对海量数据和高并发吞吐的需求，支持灵活的扩展和存储空间管理。
在MongoDB的版本支持方面，阿里云提供了从4.0到6.0等各种MongoDB版本的支持，使其能够满足各个开发和应用阶段的业务需求。
在服务环节，阿里云MongoDB提供了自动化运维功能，包括自动配置属性、白名单设置、升降配实例等。它还具有强大的弹性伸缩能力，可以快速应对流量变化。此外，阿里云还提供高可用备份和恢复等服务，确保数据的安全和可用性。
在安全方面，阿里云MongoDB支持VPC内部访问，并提供安全审计功能，可以对核心业务的操作进行审计。此外，它还确保端到端的访问链路的安全。
在数据工具方面，阿里云MongoDB提供了快速高效的管理和开发工具。
DTS可以支持灵活的部署架构，如异地备份需求，DMS可以帮助您快速发现、定位和解决问题，例如慢查询，还可以提供索引建议来优化查询性能，此外，阿里云还提供了MongoDB的专家服务，帮助您进行场景设计等。
接下来，我们将介绍MongoDB对自动驾驶公司的支持，通过案例来说明。
MongoDB在帮助自动驾驶公司构建数据存储底座方面具有丰富的能力，它存储了丰富的业务数据，包括量产车联网时序数据、工程模拟训练数据、自动驾驶脱离接管次数、总里程数、道路覆盖度等指标的数据，以及量产车辆行为分析、事故分析、智能维保规律分析等数据。
在这样的需求下，存在一些挑战，特别是在量产车环境中，需要实时写入和在线查询大量数据。
这里MongoDB面临着高并发的写入需求以及数据扩展的挑战，采用MongoDB分片集群可以帮助客户灵活高效地解决这些扩展性和高并发吞吐的问题。
此外，量产车的数量迅速增长，导致数据量巨大，尤其在百万辆车级别，每辆车产生的数据都非常庞大，这也是一个挑战。另外，车联网业务的性质非常多变，需要快速迭代开发以适应不断变化的需求。
让我们来看一下相关架构，量产车会通过车端到云端的数据传输链路将数据传输到云端，量产车主要存储车机数据，而工程车则将数据存储在对象存储中。
经过处理后，生成的标注数据、原数据以及训练过程中产生的结果集等数据都存储在MongoDB中，MongoDB还支持多个业务应用，例如医药平台上的数据报表和大数据平台中的数据分析服务。
客户应用MongoDB为他们带来了显著的价值，包括提高效率和吞吐量。MongoDB的分片集群可以水平扩展，达到每秒百万级的吞吐规模。此外，MongoDB可以存储大规模的数据，支持百TB级别的数据存储。它也与多种计算平台无缝互通，使数据流转变得非常顺畅，通过这些能力，客户可以构建数据存储底座，支持一系列的数据存取、应用和服务，并在业务迅速发展的阶段提供显著的业务价值。
另一个案例是高清地图。在这个案例中，生产的高清地图和相关数据从生产环境经过DTS传输到预发环境，经过验证后再通过DTS单向发布到同步发布集群，用于支持高清地图的业务服务。在发布集群中，采用了多类别的部署架构，以确保整体服务的高可用性。此外，架构设计中采用了北京和上海双线双向同步，实现了跨地域容灾。DTS支持MongoDB的双向同步，使在一个地域出现问题时，另一个地域可以接管业务服务。
这种架构确保了高清地图服务的连续性和容灾能力，而MongoDB在其中扮演了关键的角色，用于存储和管理生产的数据。
MongoDB在这个服务环节中用于存储数据分析和展示的数据，例如热力图等，此外，它还支持高精度地图运营大盘的分析和展示。可以说，在高精度地图的业务场景下，MongoDB在这个案例中发挥了不可或缺的作用。
