文件存储CPFS最佳实践-轻舟智航

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 通过与阿里云建立合作,轻舟智航可以更加专注地进行业务场景研发。轻舟智航通过使用阿里云CPFS和OSS数据流动解决方案,打造一体化的自动驾驶数据底座,并且依托CPFS的高性能和高吞吐,很好地支持轻舟智航业务的快速增长。

轻舟智航介绍
轻舟智航是一家以“将无人驾驶带进现实”为使命的自动驾驶通用解决方案公司,依赖双擎战略,一方面主张以高性价比的前装量产方案,致力于打造L4级体验的城市+高速NOA方案,满足不同客户不同等级的自动驾驶量产需求。另一方面面向政府携手各城市打造「城市的移动科技名片」,致力于成为Robobus的领跑者和Robotaxi的普及者。
轻舟智航拥有百余项发明专利和软件著作权,全面覆盖无人驾驶技术研发与商业化领域,并在各类顶级赛事及评选中获奖数十次,包括CVPR 2021 Argoverse 运动预测挑战赛冠军等国际顶尖赛事。

图片11.png

业务场景介绍
轻舟智航以仿真为核心的自动驾驶研发工具链"轻舟矩阵"打通了从数据处理、标注、训练、大规模仿真到技术输出的全流程,实现高效的数据流转和闭环验证,提高数据利用率和技术的迭代效率,也可以完全复用于城市NOA的能力建设,大大加速开发节奏。数据闭环的能力让轻舟智航实车测试、数据传输、问题诊断、模型分析、数据挖掘可以实现天级别的闭环和迭代。

在数据库建立方面,目前轻舟智航已经测试了112万公里的城区道路,有大量的多传感器数据,以及长期积累的司机驾驶行为数据。这些数据规模还将持续扩大,并可以完全降维使用,赋能城市NOA,让驾驶能力获得飞速提升。不仅如此,海量仿真测试里程可达实车测试里程的100倍以上,在此过程中,轻舟智航还不断进行场景挖掘,持续强化场景库建设,目前已覆盖超过10万个场景,累计仿真里程达到上亿公里,能够构建覆盖更多长尾问题,提升系统的安全性。通过数据驱动,轻舟智航还实现了高效的感知、预测和规划控制的开发能力,这也意味着轻舟基本打通了数据驱动在整个自动驾驶研发体系中的应用,引领研发范式的革新。

业务痛点
1、如何提升数据资源利用效率

图片 12.png


图1 传统自动驾驶工具链中使用涉及NAS/HDFS/对象存储,多种数据孤岛


自动驾驶业务产生的数据从测试阶段的数十PB到量产阶段的上ZB,海量数据高效的存储和管理成为前所未有的难题,如果使用传统自动驾驶方案,数据采集、筛选、标注、训练和仿真需要部署多套存储,造成数据孤岛,数据搬移,业务效率低下。

2、如何最大化GPU利用率,提高计算效能?
轻舟致力于实现L4级的无人驾驶,这需要超过数十亿公里的数据测试,未来99%以上的测试里程通过仿真来完成。轻舟矩阵能够依托真实路测与生成数据构建仿真场景,不仅将测试成本降至纯道路测试的1%以下,还可以生成数百万个的极端场景(Corner Case)。每天抽取数百万帧有效数据,完成训练、测试验证和迭代优化,如何将百万帧数据高速输送给GPU进行计算?这对存储的小文件吞吐带宽提出了极大挑战传统文件存储方案访问存在性能瓶颈,导致GPU吃不饱的问题,计算资源浪费。

3、业务存在波峰波谷,低峰时如何节约成本?
轻舟已经实现了对业务系统的全面容器化,通过容器技术充分享受公共云计算资源的弹性优势。做到高峰快速扩容缩短任务运行时间,低峰缩容降低计算力成本花费。传统存储系统难以承受容器大规模扩缩容对存储系统极速挂载的要求和数万POD并行访问的要求。

阿里云存储解决方案

图片 14.png


针对传统自动驾驶方案中多业务数据存储使用效率低下的问题。通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案,满足从海量数据采集到清洗、标注、训练到归档的数据自动化,提供了自动驾驶研发云的统一数据平台,极大提升了研发效率。

海量小文件承载能力:CPFS 单文件系统可提供40亿文件承载能力和百万OPS能力
超高性能:CPFS单文件系统提供亚ms级读写延迟、280W IOPS和几十万元数据操作OPS
CPFS与OSS数据流动:数据块级别按需拉取OSS数据,无需预读,无需等待完整OSS对象导入完成即可开始计算。数据冷却后自动下沉至OSS,降低存储成本
容器大规模扩缩容:CPFS支持K8S CSI接口,可支持数万POD同时访问和大规模弹性扩缩容
统一数据底座OSS:一套系统实现数据处理,标注和持久化存储,数据0拷贝,时间节省30%;无缝对接EMR等多种计算引擎和Hadoop等多种开源生态

图片 15.png

使用效果
通过与阿里云建立合作,轻舟智航可以更加专注地进行业务场景研发。轻舟智航通过使用阿里云CPFS和OSS数据流动解决方案,打造一体化的自动驾驶数据底座,并且依托CPFS的高性能和高吞吐,很好地支持轻舟智航业务的快速增长。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
9月前
|
存储 运维 监控
阿里云的文件存储NAS使用心得
阿里云的文件存储NAS使用心得
251 0
|
9月前
|
存储 机器学习/深度学习 弹性计算
阿里云文件存储NAS简介和购买流程
阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。兼容POSIX文件接口,可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问,您无需修改应用程序,即可无缝迁移业务系统上云。 支持智能冷热数据分层,有效降低数据存储成本。广泛应用于企业级应用数据共享、容器、AI机器学习、Web 服务和内容管理、应用程序开发和测试、媒体和娱乐工作流、数据库备份等场景。
|
存储 弹性计算 人工智能
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
阿里云文件存储NAS极速型NAS低时延,适合企业级时延敏感型核心业务;文件存储CPFS拥有高吞吐和高IOPS,适合高性能计算业务;通用型NAS大容量、高性价比、弹性扩展,支持低频介质,适合通用类文件共享业务。
1389 0
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
|
8月前
|
存储 弹性计算 监控
|
11月前
|
文件存储
《阿里云产品手册2022-2023 版》——文件存储 NAS
《阿里云产品手册2022-2023 版》——文件存储 NAS
147 0
|
11月前
|
存储 人工智能 缓存
《阿里云存储手册》——文件存储CPFS
《阿里云存储手册》——文件存储CPFS
315 0
|
11月前
|
存储 人工智能 Cloud Native
《阿里云存储手册》——文件存储NAS
《阿里云存储手册》——文件存储NAS
195 1
|
11月前
|
存储 安全 网络协议
文件存储NAS
文件存储NAS
92 0
|
11月前
|
存储 固态存储 大数据
「存储架构」块存储、文件存储和对象存储(第1节)
「存储架构」块存储、文件存储和对象存储(第1节)
|
存储 机器学习/深度学习 缓存
阿里云文件存储低频 NAS 和生命周期管理的全面技术解读
全面解读阿里云文件存储低频 NAS 和生命周期管理的知识宝典。阿里云文件存储推出了低频 NAS 存储,价格 0.15 元/GB/月,通过配置存储生命周期管理技术实现了全面降价,最高降幅可达 92%。
468 0