阿里云推出业内首个云原生企业级数据湖解决方案:将在今年双11大规模应用

简介: 数据湖高峰论坛在京召开,阿里云宣布推出业内首个云原生企业级数据湖解决方案,提供EB级数据存储、分析能力,可一站式实现湖存储、湖加速、湖管理、湖计算,帮助企业对数据深入挖掘与分析,洞察其中蕴含的价值,更适合于人工智能、物联网、自动驾驶等拥有海量数据场景的新兴行业

10月23日,数据湖高峰论坛在京召开,阿里云宣布推出业内首个云原生企业级数据湖解决方案,提供EB级数据存储、分析能力,可一站式实现湖存储、湖加速、湖管理、湖计算,帮助企业对数据深入挖掘与分析,洞察其中蕴含的价值,更适合于人工智能、物联网、自动驾驶等拥有海量数据场景的新兴行业。

阿里云智能存储产品资深总监陈起鲲表示,云原生企业级数据湖解决方案将首次被大规模应用于今年双十一,支撑阿里巴巴经济体及百万客户全面上云,帮助其最大程度地释放数据价值。

1.jpg

据悉,阿里云云原生企业级数据湖解决方案采用了存储计算分离架构,基于阿里云对象存储OSS构建,并与阿里云数据湖分析Data Lake Analytics(DLA)、数据湖构建Data Lake Formation(DLF)、E-MapReduce(EMR)等计算引擎无缝对接,兼容丰富的开源计算引擎生态,可满足大数据系统统一存储、海量数据规模,更可靠、更灵活、更安全。

数据湖不是一个新的的概念,早在十年前的纽约Hadoop 大会上,就有人提出并定义:数据湖,就是把你以前在磁带上拥有的东西倒入到数据湖,然后开始探索这些数据。随着大数据、云存储、云计算日渐成熟,今天的数据湖已经从概念走向成熟,在各类企业中大规模落地。

与传统大数据解决方案不同的是,云原生数据湖基于下一代数据湖架构,可直接接入业务生产中心,如业务系统中的原始数据、日志数据等。数据可通过互联网直接入湖,无需经过中间处理,提升业务效率100%,驱动企业IT系统实现从成本中心转型为创新中心。

以某国内某知名社交游戏公司为例,基于阿里云数据湖方案,通过日志服务sls,将全球数据实时投递到OSS统一存储。利用OSS海量弹性能力冷热分层,通过EMR和DLA搭建存算分离的大数据架构,实现千万日活的玩家链路智能推荐实时分析,实时渠道统计,精细化运营,帮助公司提升了30%的用户留存率。目前,已有几千家企业在阿里云上构建云数据湖。

2.jpg

阿里巴巴集团副总裁、阿里云智能数据库产品事业部负责人李飞飞认为:“数据库与大数据一体化正在加速数据湖规模化落地。云原生数据湖让企业无需管理计算资源,更灵活、更敏捷、更高效、更易用地挖掘数据价值,赋能企业快速叠代、快速创新,让数据洞察成为企业核心竞争力。

3.jpg

阿里巴巴集团副总裁、阿里云智能计算平台事业部负责人贾扬清表示,基于阿里云数据湖OSS和数据仓库MaxCompute可以快速实现企业想要的湖仓一体方案,无须数据传输,一份数据智能流动,跨多平台计算,同时享受数据湖的灵活性和数据仓库的成长性,确保企业数据业务的连续性和时效性。

“数字经济时代,如果大数据是石油、算力是发动机,那么云原生企业级数据湖就是能将二者紧密结合的解决方案。不久的将来,数据湖将成为企业应用创新标配,帮助企业全面实现智慧化、数智化转型。”陈起鲲说。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
7月前
|
Kubernetes Cloud Native 安全
云原生机密计算新范式 PeerPods技术方案在阿里云上的落地和实践
PeerPods 技术价值已在阿里云实际场景中深度落地。
|
5月前
|
消息中间件 人工智能 监控
【云故事探索 | NO.15】:阿里云云原生加速鸣鸣很忙数字化
【云故事探索 | NO.15】:阿里云云原生加速鸣鸣很忙数字化
|
7月前
|
资源调度 Kubernetes 流计算
Flink在B站的大规模云原生实践
本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享,围绕Flink On K8S的实践展开。内容涵盖五个部分:背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战,包括资源池统一、环境一致性改进及隔离性提升,并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外,还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向,为Flink云原生化提供了全面的技术参考。
456 9
Flink在B站的大规模云原生实践
|
6月前
|
消息中间件 人工智能 监控
【云故事探索】NO.15:阿里云云原生加速鸣鸣很忙数字化
鸣鸣很忙集团作为中国最大休闲食品饮料连锁零售商,通过数字化与云原生技术实现快速扩张,4年完成其他企业10年的数字化进程。其采用阿里云全栈云原生方案,实现弹性扩容、智能补货、模块化开店等创新实践,支撑日均超430万交易数据稳定运行。未来将深化AI应用,推动供应链智能化与业务全面升级。
|
7月前
|
Cloud Native 关系型数据库 分布式数据库
客户说|知乎基于阿里云PolarDB,实现最大数据库集群云原生升级
近日,知乎最大的风控业务数据库集群,基于阿里云瑶池数据库完成了云原生技术架构的升级。此次升级不仅显著提升了系统的高可用性和性能上限,还大幅降低了底层资源成本。
|
8月前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 API 网关 2025 年 4 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
阿里云微服务引擎 MSE 及 API 网关 2025 年 4 月产品动态
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
421 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
5月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
本文内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。
563 16
|
5月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。
|
9月前
|
运维 Cloud Native 测试技术
极氪汽车云原生架构落地实践
随着极氪数字业务的飞速发展,背后的 IT 技术也在不断更新迭代。极氪极为重视客户对服务的体验,并将系统稳定性、业务功能的迭代效率、问题的快速定位和解决视为构建核心竞争力的基石。