开发者社区> 阿里巴巴存储技术> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

QCon大会精彩分享:数据湖、可观测、自动驾驶训练,阿里云存储独家技术详解与案例实践!

简介: QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。
+关注继续查看

近日,Qcon大会·上海站顺利闭幕,阿里云存储作为内容出品合作方受邀参会,有3名技术专家在【LakeHouse落地】、【业务性能监控】、【智能汽车场景】等专场中带来精彩分享;其中两个专场获得现场最受好评奖,并且阿里云资深技术专家-丁来强(成喆)获得明星讲师称号;接下来一起看看现场的精彩分享吧!

1图片.png


【LakeHouse落地专场】

随着云计算技术的飞速发展和日益成熟,大数据分析的系统架构也朝着云原生的方向逐步演进。利用云技术的便携,弹性,高性能特点,大数据分析完成了从开源 Hadoop 的存算一体,到基于云存储的存算分离分析模式升级,再到云原生数据湖和湖仓一体的 LakeHouse 分析架构升级,以此来帮助企业和客户使用较低的资源成本,充分挖掘数据的价值。

2图片.png

在该专场中,阿里云资深技术专家-梁明旭(旭一),带来了《云原生数据湖实战之前世今生》专题分享!详细介绍了数据湖的历史由来,和阿里云数据湖1.0到3.0的升级之路!

3图片.png

梁明旭(旭一)表示:对象存储OSS作为云原生数据湖的存储底座,在 LakeHouse 架构体系中扮演着重要的角色。基于数据湖的数据分析架构是云上部署的重要选择,开放的数据湖存储,可以大幅提高数据价值挖掘的效率。目前已经有10000+企业,在阿里云上构建数据湖方案,可以更好的进行大数据分析和智能决策。

4图片 1.png

近期,阿里云数据湖存储架构在四个方面进行了全面升级:
第一, 以更加开放的方式与开源系统对接,实现多协议、多引擎的支持。
第二, 访问带宽的全面提速,每PB 100Gbps 的高吞吐能力。
第三, 简化数据管理,统一命名空间,让云上云下数据便捷流动;WORM技术可有效防止数据被篡改。
第四, 数据的自动分层进一步降低成本;数据的共享实现一份数据多个引擎分析。

5图片 1.png

此外,阿里云近期还重磅发布了对象存储OSS的深度冷归档类型,价格仅为0.0075元 /GB/月,1TB一年仅需92元!是业界最低成本的存储,适用于对海量、访问频次低的数据进行归档和管理。低成本的背后,其实是高科技的加持,更是IT软硬件体系的一次完美重构。

【业务性能监控专场】
当今,ROI 和 ROI 的度量,是每个企业是必须考虑的核心问题,所以业务性能监控是每个企业必须要走的路。那么什么是业务性能监控?性能对外是用户体验优化,是产品的性价比,对内是成本、可靠性。紧贴业务的性能监控,依据大数据获得业务特征,可以与 DevOps 和云原生结合,快速扩缩容,混合部署,优化程序,获得成本收益。可以与用户反馈平台、行为分析平台结合,快速定位客户问题,聚焦核心问题,获取体验优化、收入增长的收益。

6图片 1.png

在这个专场,阿里云资深技术专家-丁来强(成喆),为大家带来了《基于云产品可观测平台的业务监控技术实践》专题分享,希望能给大家更多相关的案例和启发,修炼内功,让企业自身更强韧更强大。

7图片 1.png

丁来强(成喆)认为:随着云原生时代的到来,云上资源愈发复杂,架构更加多样,如果缺乏有效的云管理能力,将不可避免造成巨大的资源浪费和成本支出。

同时云原生技术的快速发展,更多企业技术平台选择上云,随着使用云产品类型的不断增加,这也对业务系统的运维管理带来巨大挑战,所以“云产品”可观测对于云上企业构建全栈的业务可观测方案尤为重要。

8图片 1.png

我们希望通过阿里云观察到的数万用户的云上业务监控的挑战的思考,为大家拆解容器一体化监控、业务资源用量与成本分析等典型场景,深度解析云产品可观测平台的数据链路、存储分析平台的技术设计。通过实现紧贴业务的性能监控,能够帮助企业快速定位并聚焦核心问题,完成体验优化的同时实现降本增效。

9图片 1.png

为了帮助用户清晰地透视云产品的内部行为,阿里云日志服务 SLS 近期发布了云产品可观测平台 Alibaba Cloud Lens,让用云和管云变得更简单。
10图片 1.png

通过 Alibaba Cloud Lens,为客户提供云产品的用量分析、访问分析、异常检测、安全分析、性能监控、数据保护等服务,从成本、性能、安全、数据保护、稳定性、访问分析六个维度,提供云产品的精细化运维辅助分析能力,让企业在保障业务敏捷性的前提下,低门槛地实现对云产品可观测。

【智能汽车场景专场】

随着自动驾驶技术日趋成熟,量产车辆持续规模化交付,研发、测试、运营等阶段产生的数据量也呈现出几何倍数增长。其中,AI操作系统作为自动驾驶的核心技术,对于传感器每天收集到的海量数据都需反复进行模拟和深度学习,为存储的吞吐、时延和灵活性带来了更高挑战。

11图片 1.png

为此,阿里云高级技术专家-廖泽贤,将为大家带来《面向自动驾驶 AI 训练的统一存储最佳实践》主题分享,介绍AI对存储的要求与挑战,深入解读存储介质及存储网络对集群性能的影响,分享自动驾驶行业的最佳实践案例。

12图片 1.png

廖泽贤表示:在自动驾驶技术研发阶段,其对基础设施的核心要求是能快速且稳定地对海量数据进行采集和处理。在车联网AI和商业等智能汽车场景下,每天将会产生几十TB的数据,如何高效安全的采集这部分数据是一大难题。除此以外,在日常模型训练场景下,需要对百GB的数据进行集中训练,就需要文件系统提供低时延的文件访问能力,从而加速训练过程。在这些情况下,线下传统NAS存储存在单点性能瓶颈,并且容量和性能不支持弹性扩张,无法满足GPU的低延迟的文件访问需求。

13图片 1.png

针对传统自动驾驶方案中多业务数据存储使用效率低下的问题。通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案,满足从海量数据采集到清洗、标注、训练到归档的数据自动化,提供了自动驾驶研发云的统一数据平台,可以极大提升研发效率。

● 海量小文件承载能力:CPFS 单文件系统可提供40亿文件承载能力和百万OPS能力
● 超高性能:CPFS单文件系统提供亚ms级读写延迟、280W IOPS和几十万元数据操作OPS
● CPFS与OSS数据流动:数据块级别按需拉取OSS数据,无需预读,无需等待完整OSS对象导入完成即可开始计算。数据冷却后自动下沉至OSS,降低存储成本
● 容器大规模扩缩容:CPFS支持K8S CSI接口,可支持数万POD同时访问和大规模弹性扩缩容
● 统一数据底座OSS:一套系统实现数据处理,标注和持久化存储,数据0拷贝,时间节省30%;无缝对接EMR等多种计算引擎和Hadoop等多种开源生态

14图片 1.png

阿里云自动驾驶一体化数据解决方案,致力于帮助各研究自动驾驶的企业,在数据采集、运输、上传和计算全链条上进行时间、成本、安全以及计算效率等方面的改善。

小鹏汽车作为中国领先的智能汽车制造商,就使用了阿里云自动驾驶一体化数据解决方案。该方案不仅帮助其解决了日均几百TB的数据,还帮助AI系统迅速处理数据,加速汽车在复杂路况和驾驶技巧的训练速度,帮助小鹏汽车在自动驾驶模型训练提速170倍!

【总结】


随着技术、模式、业态创新成为数字经济的常态,需求端的常态化创新将向基础设施端传导,敏捷高效成为数字基础设施的刚需。在这样的背景下,云存储需要继续保持稳定安全可靠,需要持续的成本优化的能力,需要进一步提升 Serverless化能力,需要降低使用和管理的复杂度,需要充分释放云存储的弹性、按需所用、按量计费和资源精简分配的优势。唯有如此,才是真正的下一代云存储,才能真正帮助客户释放数据无限价值。

如需获取现场演讲PPT,可点击链接填写表单免费下载;如有任何问题或需求,可加入存储用户交流群咨询!

旭一 - 云原生数据湖实战之前世今生:
https://page.aliyun.com/form/act276874515/index.htm

成喆 - 基于云产品可观测平台的业务监控技术实践:
https://page.aliyun.com/form/act2054522917/index.htm

廖泽贤 - 面向自动驾驶的AI训练统一存储最佳实践:
https://page.aliyun.com/form/act1741137508/index.htm

15图片 1.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《阿里云云原生数据湖体系全解读》电子版下载地址
《阿里云云原生数据湖体系全解读》是阿里云首次发布云原生数据湖体系,基于对象存储OSS、数据湖构建Data Lake Formation和E-MapReduce产品的强强组合,提供存储与计算分离架构下,涵盖湖存储、湖加速、湖管理和湖计算的企业级数据湖解决方案。
0 0
阿里云国际版数据湖揭秘—Delta Lake
Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark,Flink,Hive,PrestoDB,Trino 等查询/计算引擎。作为一个开放格式的存储层,它在提供了批流一体的同时,为湖仓架构提供可靠的,安全的,高性能的保证。
0 0
技术内幕 | 阿里云EMR StarRocks 极速数据湖分析
本文为作者在 StarRocks Summit Asia 2022 上的分享
0 0
阿里云国际版数据湖存储
本文章介绍了 阿里云国际版数据湖存储
0 0
共话数据湖实战之前世今生,阿里云与您相约QCon全球软件开发大会·上海站
共话数据湖实战之前世今生,阿里云与您相约QCon全球软件开发大会·上海站
0 0
《阿里云云原生数据湖体系全解读》电子版地址
《阿里云云原生数据湖体系全解读》是阿里云首次发布云原生数据湖体系,基于对象存储OSS、数据湖构建Data Lake Formation和E-MapReduce产品的强强组合,提供存储与计算分离架构下,涵盖湖存储、湖加速、湖管理和湖计算的企业级数据湖解决方案。
0 0
阿里云【数智创新行(北京站)——云原生企业级数据湖专场】报名火热进行中
阿里云【数智创新行(北京站)——云原生企业级数据湖专场】报名火热进行中
0 0
重磅发布!阿里云全链路数据湖开发治理解决方案
阿里云重磅发布全链路数据湖解决方案,主要包含开源大数据平台E-MapReduce(EMR) + 一站式大数据数据开发治理平台DataWorks + 数据湖构建DLF + 对象存储OSS等核心产品。
0 0
阿里云ECS使用体验
在申请高校学生免费体验阿里云ECS云服务器后的一些使用体验和感受。
0 0
文章
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
阿里云云原生数据湖体系全解读
立即下载
阿里云AI产品必知必会系列电子书
立即下载
阿里云云原生 Serverless 案例集
立即下载