文件存储CPFS最佳实践-轻舟智航

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
云备份 Cloud Backup,100GB 3个月
简介: 通过与阿里云建立合作,轻舟智航可以更加专注地进行业务场景研发。轻舟智航通过使用阿里云CPFS和OSS数据流动解决方案,打造一体化的自动驾驶数据底座,并且依托CPFS的高性能和高吞吐,很好地支持轻舟智航业务的快速增长。

轻舟智航介绍
轻舟智航是一家以“将无人驾驶带进现实”为使命的自动驾驶通用解决方案公司,依赖双擎战略,一方面主张以高性价比的前装量产方案,致力于打造L4级体验的城市+高速NOA方案,满足不同客户不同等级的自动驾驶量产需求。另一方面面向政府携手各城市打造「城市的移动科技名片」,致力于成为Robobus的领跑者和Robotaxi的普及者。
轻舟智航拥有百余项发明专利和软件著作权,全面覆盖无人驾驶技术研发与商业化领域,并在各类顶级赛事及评选中获奖数十次,包括CVPR 2021 Argoverse 运动预测挑战赛冠军等国际顶尖赛事。

图片11.png

业务场景介绍
轻舟智航以仿真为核心的自动驾驶研发工具链"轻舟矩阵"打通了从数据处理、标注、训练、大规模仿真到技术输出的全流程,实现高效的数据流转和闭环验证,提高数据利用率和技术的迭代效率,也可以完全复用于城市NOA的能力建设,大大加速开发节奏。数据闭环的能力让轻舟智航实车测试、数据传输、问题诊断、模型分析、数据挖掘可以实现天级别的闭环和迭代。

在数据库建立方面,目前轻舟智航已经测试了112万公里的城区道路,有大量的多传感器数据,以及长期积累的司机驾驶行为数据。这些数据规模还将持续扩大,并可以完全降维使用,赋能城市NOA,让驾驶能力获得飞速提升。不仅如此,海量仿真测试里程可达实车测试里程的100倍以上,在此过程中,轻舟智航还不断进行场景挖掘,持续强化场景库建设,目前已覆盖超过10万个场景,累计仿真里程达到上亿公里,能够构建覆盖更多长尾问题,提升系统的安全性。通过数据驱动,轻舟智航还实现了高效的感知、预测和规划控制的开发能力,这也意味着轻舟基本打通了数据驱动在整个自动驾驶研发体系中的应用,引领研发范式的革新。

业务痛点
1、如何提升数据资源利用效率

图片 12.png


图1 传统自动驾驶工具链中使用涉及NAS/HDFS/对象存储,多种数据孤岛


自动驾驶业务产生的数据从测试阶段的数十PB到量产阶段的上ZB,海量数据高效的存储和管理成为前所未有的难题,如果使用传统自动驾驶方案,数据采集、筛选、标注、训练和仿真需要部署多套存储,造成数据孤岛,数据搬移,业务效率低下。

2、如何最大化GPU利用率,提高计算效能?
轻舟致力于实现L4级的无人驾驶,这需要超过数十亿公里的数据测试,未来99%以上的测试里程通过仿真来完成。轻舟矩阵能够依托真实路测与生成数据构建仿真场景,不仅将测试成本降至纯道路测试的1%以下,还可以生成数百万个的极端场景(Corner Case)。每天抽取数百万帧有效数据,完成训练、测试验证和迭代优化,如何将百万帧数据高速输送给GPU进行计算?这对存储的小文件吞吐带宽提出了极大挑战传统文件存储方案访问存在性能瓶颈,导致GPU吃不饱的问题,计算资源浪费。

3、业务存在波峰波谷,低峰时如何节约成本?
轻舟已经实现了对业务系统的全面容器化,通过容器技术充分享受公共云计算资源的弹性优势。做到高峰快速扩容缩短任务运行时间,低峰缩容降低计算力成本花费。传统存储系统难以承受容器大规模扩缩容对存储系统极速挂载的要求和数万POD并行访问的要求。

阿里云存储解决方案

图片 14.png


针对传统自动驾驶方案中多业务数据存储使用效率低下的问题。通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案,满足从海量数据采集到清洗、标注、训练到归档的数据自动化,提供了自动驾驶研发云的统一数据平台,极大提升了研发效率。

海量小文件承载能力:CPFS 单文件系统可提供40亿文件承载能力和百万OPS能力
超高性能:CPFS单文件系统提供亚ms级读写延迟、280W IOPS和几十万元数据操作OPS
CPFS与OSS数据流动:数据块级别按需拉取OSS数据,无需预读,无需等待完整OSS对象导入完成即可开始计算。数据冷却后自动下沉至OSS,降低存储成本
容器大规模扩缩容:CPFS支持K8S CSI接口,可支持数万POD同时访问和大规模弹性扩缩容
统一数据底座OSS:一套系统实现数据处理,标注和持久化存储,数据0拷贝,时间节省30%;无缝对接EMR等多种计算引擎和Hadoop等多种开源生态

图片 15.png

使用效果
通过与阿里云建立合作,轻舟智航可以更加专注地进行业务场景研发。轻舟智航通过使用阿里云CPFS和OSS数据流动解决方案,打造一体化的自动驾驶数据底座,并且依托CPFS的高性能和高吞吐,很好地支持轻舟智航业务的快速增长。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
文件存储 容器
《阿里云文件存储 NAS 在容器场景的最佳实践》电子版地址
阿里云文件存储 NAS 在容器场景的最佳实践
231 0
《阿里云文件存储 NAS 在容器场景的最佳实践》电子版地址
|
存储 分布式计算 运维
Hadoop 大数据系统在文件存储 HDFS 版上的最佳实践
介绍Hadoop 大数据系统在文件存储 HDFS 版上的最佳实践
487 0
|
存储 人工智能 弹性计算
容器应用使用阿里云文件存储NAS最佳实践
应用程序需要数据, IT方案被创造出来是为了解决商业业务数据的问题。容器问世之时,它最初的目的是应对无状态化服务。随着容器技术的成熟,越来越多的人希望容器化应用可以直接关联数据。不论是传统的还是新型应用,都需要持久化存储。
|
存储 测试技术 持续交付
阿里云文件存储NAS开发测试环境最佳实践
阿里云文件存储NAS开发测试环境最佳实践
|
存储 运维 监控
阿里云的文件存储NAS使用心得
阿里云的文件存储NAS使用心得
392 0
|
存储 弹性计算 固态存储
阿里云服务器1TB存储收费标准(数据盘/对象存储OSS/文件存储NAS)
阿里云服务器1TB存储多少钱?系统盘最大可选到500GB,数据盘选到1TB价格为3655元一年。也可以选择对象存储OSS和文件存储NAS
6390 2
阿里云服务器1TB存储收费标准(数据盘/对象存储OSS/文件存储NAS)
|
存储 弹性计算 人工智能
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
阿里云文件存储NAS极速型NAS低时延,适合企业级时延敏感型核心业务;文件存储CPFS拥有高吞吐和高IOPS,适合高性能计算业务;通用型NAS大容量、高性价比、弹性扩展,支持低频介质,适合通用类文件共享业务。
1811 0
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
|
5月前
|
存储 NoSQL 文件存储
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
111 2
|
存储 弹性计算 并行计算
在高性能计算(HPC)场景下,阿里云存储的文件存储产品的实践
在高性能计算(HPC)场景下,阿里云存储的文件存储产品具有以下的应用需求和实践
464 4
|
存储 弹性计算 监控