概述
在智能驾驶技术跃迁的浪潮中,数据已成为驱动算法进化的核心燃料。面对上亿条PB级别的数据,某国内新能源汽车未来出行领导者基于阿里云 Milvus 向量数据检索引擎革新智能驾驶数据挖掘平台,通过阿里云 Milvus 高性能、可扩展、大规模 AI 向量数据库相似性检索服务,解决了传统方案中大规模向量数据检索性能和瓶颈与资源利效率低下的难题,将整体成本降低至少20%[1],智能驾驶模型迭代周期明显缩短,构建起从数据采集到场景挖掘的智能化闭环,为智能驾驶的规模化落地按下加速键。
智能驾驶数据挖掘的检索挑战
数据挖掘是汽车行业智能驾驶与智能交互场景的技术研发过程中非常重要的一环,需要通过算法和技术,从海量、多源、异构的智能驾驶相关数据中提取有价值的信息和模式,为智能驾驶系统的感知、决策、规划与控制模块提供数据驱动的优化支撑,从海量、多模态的驾驶数据中快速检索出高价值信息,是数据挖掘的效率基础。
随着智能驾驶业务数据的井喷式增长,存储的向量数据增长到上亿级别甚至更大以后,使用历史传统搜索方案进行向量检索很容易出现瓶颈,具体表现在:
- 大规模向量数据量引发的性能瓶颈:存储的向量数据超过亿级别,并且还存在超高维度向量数据。在这样的场景下,使用传统搜索方案的向量检索性能会出现明显损失,无法满足业务对该场景的性能诉求。
- 传统搜索方案存算一体架构带来的效率低下:数据存储和计算在同一节点上进行,每个节点既负责存储数据,又负责执行搜索和索引操作。而业务场景中需要频繁的更新向量数据,这种更新操作会占用大量的 I/O 和 CPU 资源,影响搜索和索引操作的性能。
作为向量检索领域的专业级解决方案,Milvus 凭借其卓越的向量化数据处理效能,为复杂场景下的高维检索难题提供了技术破局之道。然而,随着自建集群规模的增大,集群的运维管理复杂性也不断攀升,尤其在分布式系统扩展性和稳定性、资源调度优化及容灾机制构建等方面面临多维挑战。开源架构在生产环境下从节点动态扩缩容的人工干预式决策,到向量引擎内核版本的手动式迁移,都时刻威胁着系统在海量数据场景下的稳定性与服务连续性。
阿里云 Milvus ,破局之选
针对汽车行业特有的数据爆发式增长特性,阿⾥云 Milvus 具备云原生的天然优势,灵活的弹性伸缩和良好的可观测性,能够适应汽车企业⽇益增⻓的数据规模,为业务的平稳运行提供保驾护航。凭借在超大规模向量数据场景下的高效检索能力,阿里云 Milvus 在智能驾驶数据挖掘下的如车载传感器数据实时分析、高精度地图特征匹配、驾驶行为模式识别等关键场景中,能够高效处理PB级多模态数据,为智能驾驶场景提供毫秒级的高精度检索支持。
支持多模态向量数据统一存储与检索
智能驾驶系统需处理摄像头图像、激光雷达点云、毫米波雷达信号等多源异构数据,传统数据库难以统一管理。阿里云 Milvus 能够在同一平台中存储和检索多模态向量,实现跨模态语义对齐,如用文字搜图片或用图像匹配雷达信号等方式。
加速长尾场景挖掘
智能驾驶需应对罕见但危险的“长尾场景”(如暴雨中的横穿行人),但传统数据筛选方式效率低下。阿里云 Milvus 可实现海量数据的毫秒级检索,基于近似近邻搜索算法构建高效索引,快速从PB级数据中定位与目标场景相似的样本。同时支持语义级检索,如输入“暴雨+夜间+行人遮挡”查询条件,返回相似历史数据,显著缩短模型训练周期。
实时数据检索与在线学习
智能驾驶需实时响应动态环境,传统离线数据挖掘无法满足需求。阿里云 Milvus 支持实时向量插入与更新,结合 Flink 等流式计算框架,可实现能够快速检索本地缓存的高价值场景,并进行在线学习,有效提升系统对突发状况的响应能力。
在某国内新能源汽车未来出行领导者企业的智能驾驶数据挖掘场景中,针对智能驾驶与智能交互场景所需的数据经过融合、切帧等操作,生成标准化数据集,经过标签提取模型、Embedding模型工序将这些数据处理成向量,最终写入阿里云 Milvus 向量数据库中,依托其多向量召回、标量过滤、混合查询等能力,实现PB级向量数据的毫秒级检索响应。同时通过动态分片机制与向量索引自适应优化算法,有效支撑了千万级并发查询的实时性需求,显著提升了数据挖掘效率。在系统运维层面,借助阿里云 Milvus 上百个可观测监控指标(向量检索延迟、节点资源利用率、副本健康度等)构建智能运维看板,保障集群稳定运行,执行版本的无缝切换和节点的灵活扩缩容,有效应对业务的变化,确保集群在99.9% SLA 下的高可用性。
架构优越性
Milvus 是专业的向量检索引擎,具备百亿级别向量数据扩展性,其分布式的架构设计、优化的索引算法和多层级的存储策略,很好的支持了该场景在上亿数据规模、高维度的向量检索下秒级响应的需求。同时阿里云 Milvus 采用云原生架构,存储和计算资源可以独立扩展,避免了资源竞争。此外,Milvus 支持数十种索引类型,并且索引构建和更新可以在独立的计算节点上进行,满足不同业务场景的检索需求。
Milvus系统架构设计
云原生全托管
阿⾥云 Milvus 在 100% 兼容开源版本的基础上提供企业级全托管云原生向量检索引擎服务,开箱即用,可一键拉起集群。基于 Serverless 的架构打造产品能力,提供高弹性的水平和垂直集群扩展能力,能够快速响应业务变化,确保服务的可用性。提供易⽤的管控平台,具备监控大盘、一键告警及自定义告警等可视化全链路监控告警。选择阿⾥云的托管服务模式,对比⾃建集群,可免去⼤量的资源投入和运维成本,确保了业务的⾼效运行。
稳定性保障
阿里云 Milvus 提供了高可用选项,通过多数据副本、多节点的架构设计,有效确保集群稳定性。即使在部分节点出现故障的情况下,系统也能快速进行恢复,保证服务的可用性。同时具备强大的数据备份恢复能力,支持手动和自动备份数据,并在需要时快速恢复数据,从而进一步保障用户数据的安全性和可靠性。这种高可用性和数据保护机制,使得阿里云 Milvus 成为企业级应用的理想选择。
成本降低
据统计,对比自建 Milvus 集群,采用全托管 Milvus 的方案可使得整体成本降低超过20%。这主要得益于阿里云 Milvus 高效资源管理和灵活的资源配置能力。同时,阿里云 Milvus 全托管服务极大地减轻了运维压力和负担,使得技术团队能够将更多的精力集中在核心业务上。
阿里云 Milvus + 智能驾驶领域的无限可能
未来,阿里云 Milvus 将持续深耕智能驾驶领域,将通过不断的升级和优化,满足智能驾驶领域中数据预处理、模型训练等业务场景对多模态数据检索的更高要求,助力车企构建更安全可靠的智能驾驶决策系统,为智能驾驶技术的迭代升级提供坚实的底层数据检索引擎支撑,加速推动智慧出行生态的进化迭代。
阿里云Milvus 产品详情页https://www.aliyun.com/product/milvus
阿里云Milvus 免费试用https://free.aliyun.com/?spm=5176.29677750.J_8HFJQ_URHoEpVHXyAYU8c.1.e939154ajm3J4u&searchKey=milvus
*注:
[1]:数据来源于客户内部计算或测试