QCon大会精彩分享:数据湖、可观测、自动驾驶训练,阿里云存储独家技术详解与案例实践!

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
云拨测,每月3000次拨测额度
简介: QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。

近日,Qcon大会·上海站顺利闭幕,阿里云存储作为内容出品合作方受邀参会,有3名技术专家在【LakeHouse落地】、【业务性能监控】、【智能汽车场景】等专场中带来精彩分享;其中两个专场获得现场最受好评奖,并且阿里云资深技术专家-丁来强(成喆)获得明星讲师称号;接下来一起看看现场的精彩分享吧!

1图片.png


【LakeHouse落地专场】

随着云计算技术的飞速发展和日益成熟,大数据分析的系统架构也朝着云原生的方向逐步演进。利用云技术的便携,弹性,高性能特点,大数据分析完成了从开源 Hadoop 的存算一体,到基于云存储的存算分离分析模式升级,再到云原生数据湖和湖仓一体的 LakeHouse 分析架构升级,以此来帮助企业和客户使用较低的资源成本,充分挖掘数据的价值。

2图片.png

在该专场中,阿里云资深技术专家-梁明旭(旭一),带来了《云原生数据湖实战之前世今生》专题分享!详细介绍了数据湖的历史由来,和阿里云数据湖1.0到3.0的升级之路!

3图片.png

梁明旭(旭一)表示:对象存储OSS作为云原生数据湖的存储底座,在 LakeHouse 架构体系中扮演着重要的角色。基于数据湖的数据分析架构是云上部署的重要选择,开放的数据湖存储,可以大幅提高数据价值挖掘的效率。目前已经有10000+企业,在阿里云上构建数据湖方案,可以更好的进行大数据分析和智能决策。

4图片 1.png

近期,阿里云数据湖存储架构在四个方面进行了全面升级:
第一, 以更加开放的方式与开源系统对接,实现多协议、多引擎的支持。
第二, 访问带宽的全面提速,每PB 100Gbps 的高吞吐能力。
第三, 简化数据管理,统一命名空间,让云上云下数据便捷流动;WORM技术可有效防止数据被篡改。
第四, 数据的自动分层进一步降低成本;数据的共享实现一份数据多个引擎分析。

5图片 1.png

此外,阿里云近期还重磅发布了对象存储OSS的深度冷归档类型,价格仅为0.0075元 /GB/月,1TB一年仅需92元!是业界最低成本的存储,适用于对海量、访问频次低的数据进行归档和管理。低成本的背后,其实是高科技的加持,更是IT软硬件体系的一次完美重构。

【业务性能监控专场】
当今,ROI 和 ROI 的度量,是每个企业是必须考虑的核心问题,所以业务性能监控是每个企业必须要走的路。那么什么是业务性能监控?性能对外是用户体验优化,是产品的性价比,对内是成本、可靠性。紧贴业务的性能监控,依据大数据获得业务特征,可以与 DevOps 和云原生结合,快速扩缩容,混合部署,优化程序,获得成本收益。可以与用户反馈平台、行为分析平台结合,快速定位客户问题,聚焦核心问题,获取体验优化、收入增长的收益。

6图片 1.png

在这个专场,阿里云资深技术专家-丁来强(成喆),为大家带来了《基于云产品可观测平台的业务监控技术实践》专题分享,希望能给大家更多相关的案例和启发,修炼内功,让企业自身更强韧更强大。

7图片 1.png

丁来强(成喆)认为:随着云原生时代的到来,云上资源愈发复杂,架构更加多样,如果缺乏有效的云管理能力,将不可避免造成巨大的资源浪费和成本支出。

同时云原生技术的快速发展,更多企业技术平台选择上云,随着使用云产品类型的不断增加,这也对业务系统的运维管理带来巨大挑战,所以“云产品”可观测对于云上企业构建全栈的业务可观测方案尤为重要。

8图片 1.png

我们希望通过阿里云观察到的数万用户的云上业务监控的挑战的思考,为大家拆解容器一体化监控、业务资源用量与成本分析等典型场景,深度解析云产品可观测平台的数据链路、存储分析平台的技术设计。通过实现紧贴业务的性能监控,能够帮助企业快速定位并聚焦核心问题,完成体验优化的同时实现降本增效。

9图片 1.png

为了帮助用户清晰地透视云产品的内部行为,阿里云日志服务 SLS 近期发布了云产品可观测平台 Alibaba Cloud Lens,让用云和管云变得更简单。
10图片 1.png

通过 Alibaba Cloud Lens,为客户提供云产品的用量分析、访问分析、异常检测、安全分析、性能监控、数据保护等服务,从成本、性能、安全、数据保护、稳定性、访问分析六个维度,提供云产品的精细化运维辅助分析能力,让企业在保障业务敏捷性的前提下,低门槛地实现对云产品可观测。

【智能汽车场景专场】

随着自动驾驶技术日趋成熟,量产车辆持续规模化交付,研发、测试、运营等阶段产生的数据量也呈现出几何倍数增长。其中,AI操作系统作为自动驾驶的核心技术,对于传感器每天收集到的海量数据都需反复进行模拟和深度学习,为存储的吞吐、时延和灵活性带来了更高挑战。

11图片 1.png

为此,阿里云高级技术专家-廖泽贤,将为大家带来《面向自动驾驶 AI 训练的统一存储最佳实践》主题分享,介绍AI对存储的要求与挑战,深入解读存储介质及存储网络对集群性能的影响,分享自动驾驶行业的最佳实践案例。

12图片 1.png

廖泽贤表示:在自动驾驶技术研发阶段,其对基础设施的核心要求是能快速且稳定地对海量数据进行采集和处理。在车联网AI和商业等智能汽车场景下,每天将会产生几十TB的数据,如何高效安全的采集这部分数据是一大难题。除此以外,在日常模型训练场景下,需要对百GB的数据进行集中训练,就需要文件系统提供低时延的文件访问能力,从而加速训练过程。在这些情况下,线下传统NAS存储存在单点性能瓶颈,并且容量和性能不支持弹性扩张,无法满足GPU的低延迟的文件访问需求。

13图片 1.png

针对传统自动驾驶方案中多业务数据存储使用效率低下的问题。通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案,满足从海量数据采集到清洗、标注、训练到归档的数据自动化,提供了自动驾驶研发云的统一数据平台,可以极大提升研发效率。

● 海量小文件承载能力:CPFS 单文件系统可提供40亿文件承载能力和百万OPS能力
● 超高性能:CPFS单文件系统提供亚ms级读写延迟、280W IOPS和几十万元数据操作OPS
● CPFS与OSS数据流动:数据块级别按需拉取OSS数据,无需预读,无需等待完整OSS对象导入完成即可开始计算。数据冷却后自动下沉至OSS,降低存储成本
● 容器大规模扩缩容:CPFS支持K8S CSI接口,可支持数万POD同时访问和大规模弹性扩缩容
● 统一数据底座OSS:一套系统实现数据处理,标注和持久化存储,数据0拷贝,时间节省30%;无缝对接EMR等多种计算引擎和Hadoop等多种开源生态

14图片 1.png

阿里云自动驾驶一体化数据解决方案,致力于帮助各研究自动驾驶的企业,在数据采集、运输、上传和计算全链条上进行时间、成本、安全以及计算效率等方面的改善。

小鹏汽车作为中国领先的智能汽车制造商,就使用了阿里云自动驾驶一体化数据解决方案。该方案不仅帮助其解决了日均几百TB的数据,还帮助AI系统迅速处理数据,加速汽车在复杂路况和驾驶技巧的训练速度,帮助小鹏汽车在自动驾驶模型训练提速170倍!

【总结】


随着技术、模式、业态创新成为数字经济的常态,需求端的常态化创新将向基础设施端传导,敏捷高效成为数字基础设施的刚需。在这样的背景下,云存储需要继续保持稳定安全可靠,需要持续的成本优化的能力,需要进一步提升 Serverless化能力,需要降低使用和管理的复杂度,需要充分释放云存储的弹性、按需所用、按量计费和资源精简分配的优势。唯有如此,才是真正的下一代云存储,才能真正帮助客户释放数据无限价值。

如需获取现场演讲PPT,可点击链接填写表单免费下载;如有任何问题或需求,可加入存储用户交流群咨询!

旭一 - 云原生数据湖实战之前世今生:
https://page.aliyun.com/form/act276874515/index.htm

成喆 - 基于云产品可观测平台的业务监控技术实践:
https://page.aliyun.com/form/act2054522917/index.htm

廖泽贤 - 面向自动驾驶的AI训练统一存储最佳实践:
https://page.aliyun.com/form/act1741137508/index.htm

15图片 1.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
5天前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
12天前
|
存储 调度 块存储
阿里云连续两年斩获全球存储顶会FAST最佳论文
阿里云连续两年斩获全球存储顶会FAST最佳论文
253 0
|
6天前
|
云安全 人工智能 安全
|
6天前
|
弹性计算 算法 应用服务中间件
倚天使用|Nginx性能高27%,性价比1.5倍,基于阿里云倚天ECS的Web server实践
倚天710构建的ECS产品,基于云原生独立物理核、大cache,结合CIPU新架构,倚天ECS在Nginx场景下,具备强大的性能优势。相对典型x86,Http长连接场景性能收益27%,开启gzip压缩时性能收益达到74%。 同时阿里云G8y实例售价比G7实例低23%,是Web Server最佳选择。
|
6天前
|
弹性计算 NoSQL 测试技术
倚天使用|Redis性能高30%,阿里云倚天ECS性能摸底和迁移实践
Redis在倚天ECS环境下与同规格的基于 x86 的 ECS 实例相比,Redis 部署在基于 Yitian 710 的 ECS 上可获得高达 30% 的吞吐量优势。成本方面基于倚天710的G8y实例售价比G7实例低23%,总性价比提高50%;按照相同算法,相对G8a,性价比为1.4倍左右。
|
11天前
|
分布式计算 关系型数据库 OLAP
阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
32 0
|
14天前
|
弹性计算 缓存 数据库
2核4G服务器优惠价格,阿里云降价了,释放技术红利
2核4G服务器优惠价格,阿里云降价了,释放技术红利,2核4G配置1个月多少钱?2核4G服务器30元3个月、轻量应用服务器2核4G4M带宽165元一年、企业用户2核4G5M带宽199元一年
|
17天前
|
弹性计算 NoSQL 关系型数据库
还得是阿里云,在2024如此艰难的一年,百款产品直降,技术更优,规模更大,节省更多
还得是阿里云,在2024如此艰难的一年,百款产品直降,技术更优,规模更大,节省更多
|
17天前
|
弹性计算 NoSQL 关系型数据库
2024年将是最艰难的一年?不怕,阿里云带头降价,与百万客户共享技术红利!
2024年将是最艰难的一年?不怕,阿里云带头降价,与百万客户共享技术红利!
|
17天前
|
弹性计算 NoSQL 关系型数据库
阿里云降价:与百万全球客户共享阿里云15年技术突破与规模积累
阿里云降价:与百万全球客户共享阿里云15年技术突破与规模积累

相关产品

  • 应用实时监控服务
  • 性能测试
  • 可观测监控 Prometheus 版