阿里云推出业内首个云原生企业级数据湖解决方案:将在今年双11大规模应用

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 10月23日,数据湖高峰论坛在京召开,阿里云宣布推出业内首个云原生企业级数据湖解决方案,提供EB级数据存储、分析能力,可一站式实现湖存储、湖加速、湖管理、湖计算,帮助企业对数据深入挖掘与分析,洞察其中蕴含的价值,更适合于人工智能、物联网、自动驾驶等拥有海量数据场景的新兴行业。

阿里云云原生企业级数据湖解决方案采用了存储计算分离架构,基于阿里云对象存储OSS构建,并与阿里云数据湖分析Data Lake Analytics(DLA)、数据湖构建Data Lake Formation(DLF)、E-MapReduce(EMR)等计算引擎无缝对接,兼容丰富的开源计算引擎生态,可满足大数据系统统一存储、海量数据规模,更可靠、更灵活、更安全。

数据湖不是一个新的的概念,早在十年前的纽约Hadoop 大会上,就有人提出并定义:数据湖,就是把你以前在磁带上拥有的东西倒入到数据湖,然后开始探索这些数据。随着大数据、云存储、云计算日渐成熟,今天的数据湖已经从概念走向成熟,在各类企业中大规模落地。

与传统大数据解决方案不同的是,云原生数据湖基于下一代数据湖架构,可直接接入业务生产中心,如业务系统中的原始数据、日志数据等。数据可通过互联网直接入湖,无需经过中间处理,提升业务效率100%,驱动企业IT系统实现从成本中心转型为创新中心。

712fc288abe44d5da0d9b6a5e1730ed2.jpg

阿里巴巴集团副总裁、阿里云智能数据库产品事业部负责人李飞飞认为:“数据库与大数据一体化正在加速数据湖规模化落地。云原生数据湖让企业无需管理计算资源,更灵活、更敏捷、更高效、更易用地挖掘数据价值,赋能企业快速叠代、快速创新,让数据洞察成为企业核心竞争力。”

以某国内某知名社交游戏公司为例,基于阿里云数据湖方案,通过日志服务sls,将全球数据实时投递到OSS统一存储。利用OSS海量弹性能力冷热分层,通过EMR和DLA搭建存算分离的大数据架构,实现千万日活的玩家链路智能推荐实时分析,实时渠道统计,精细化运营,帮助公司提升了30%的用户留存率。目前,已有几千家企业在阿里云上构建云数据湖。

BJHY5091.JPG

阿里云智能存储产品资深总监陈起鲲表示,云原生企业级数据湖解决方案将首次被大规模应用于今年双十一,支撑阿里巴巴经济体及百万客户全面上云,帮助其最大程度地释放数据价值。

BJHY5134.JPG

阿里巴巴集团副总裁、阿里云智能计算平台事业部负责人贾扬清表示,基于阿里云数据湖OSS和数据仓库MaxCompute可以快速实现企业想要的湖仓一体方案,无须数据传输,一份数据智能流动,跨多平台计算,同时享受数据湖的灵活性和数据仓库的成长性,确保企业数据业务的连续性和时效性。

“数字经济时代,如果大数据是石油、算力是发动机,那么云原生企业级数据湖就是能将二者紧密结合的解决方案。不久的将来,数据湖将成为企业应用创新标配,帮助企业全面实现智慧化、数智化转型。”陈起鲲说。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
19天前
|
存储 SQL 大数据
从数据存储到分析:构建高效开源数据湖仓解决方案
今年开源大数据迈向湖仓一体(Lake House)时代,重点介绍Open Lake解决方案。该方案基于云原生架构,兼容开源生态,提供开箱即用的数据湖仓产品。其核心优势在于统一数据管理和存储,支持实时与批处理分析,打破多计算产品的数据壁垒。通过阿里云的Data Lake Formation和Apache Paimon等技术,用户可高效搭建、管理并分析大规模数据,实现BI和AI融合,满足多样化数据分析需求。
|
2月前
|
敏捷开发 Kubernetes Cloud Native
阿里云云原生技术为企业提供了一套高效、灵活的解决方案,支持跨云部署与管理
在多云环境中,阿里云云原生技术为企业提供了一套高效、灵活的解决方案,支持跨云部署与管理。通过容器化、服务网格等技术,实现了应用的一致性与可移植性,简化了多云环境下的资源管理和服务治理,帮助企业应对复杂的云环境挑战,加速数字化转型。
63 5
|
2月前
|
存储 Prometheus 运维
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案。该集成结合了ARMS的基础设施监控能力和Prometheus的灵活配置及社区支持,实现了全面、精准的系统状态、性能和错误监控,提升了应用的稳定性和管理效率。通过统一的数据视图和高级查询功能,帮助企业有效应对云原生挑战,促进业务的持续发展。
61 3
|
2月前
|
存储 分布式计算 算法
恭喜小红书!业界最大数据湖0故障迁上阿里云
恭喜小红书!业界最大数据湖0故障迁上阿里云
142 1
|
2月前
|
消息中间件 监控 Cloud Native
云原生架构下的数据一致性挑战与解决方案####
在数字化转型加速的今天,云原生架构以其轻量级、弹性伸缩和高可用性成为企业IT架构的首选。然而,在享受其带来的灵活性的同时,数据一致性问题成为了不可忽视的挑战。本文探讨了云原生环境中数据一致性的复杂性,分析了导致数据不一致的根本原因,并提出了几种有效的解决策略,旨在为开发者和企业提供实践指南,确保在动态变化的云环境中保持数据的完整性和准确性。 ####
|
3月前
|
人工智能 Serverless API
云原生应用开发平台CAP:一站式应用开发及生命周期管理解决方案
阿里云的云应用开发平台CAP(Cloud Application Platform)是一款一站式应用开发及应用生命周期管理平台。它提供丰富的Serverless与AI应用模板、高效的开发者工具链及企业级应用管理功能,帮助开发者快速构建、部署和管理云上应用,大幅提升研发、部署和运维效能。
300 1
|
5月前
|
存储 分布式计算 监控
揭秘阿里云EMR:如何巧妙降低你的数据湖成本,让大数据不再昂贵?
【8月更文挑战第26天】阿里云EMR是一种高效的大数据处理服务,助力企业优化数据湖的成本效益。它提供弹性计算资源,支持根据需求调整规模;兼容并优化了Hadoop、Spark等开源工具,提升性能同时降低资源消耗。借助DataWorks及Data Lake Formation等工具,EMR简化了数据湖构建与管理流程,实现了数据的统一化治理。此外,EMR还支持OSS、Table Store等多种存储选项,并配备监控优化工具,确保数据处理流程高效稳定。通过这些措施,EMR帮助企业显著降低了数据处理和存储成本。
203 3
|
5月前
|
安全 数据管理 大数据
数据湖的未来已来:EMR DeltaLake携手阿里云DLF,重塑企业级数据处理格局
【8月更文挑战第26天】在大数据处理领域,阿里云EMR与DeltaLake的集成增强了数据处理能力。进一步结合阿里云DLF服务,实现了数据湖的一站式管理,自动化处理元数据及权限控制,简化管理流程。集成后的方案提升了数据安全性、可靠性和性能优化水平,让用户更专注业务价值。这一集成标志着数据湖技术向着自动化、安全和高效的未来迈出重要一步。
109 2
|
5月前
|
存储 数据采集 数据挖掘
数据仓库VS数据湖:选择正确的数据存储解决方案
【8月更文挑战第23天】企业在选择数据存储解决方案时,应综合考虑业务需求、数据特性、技术实力及成本效益等多方面因素,以做出最符合自身发展的决策。
|
5月前
|
机器学习/深度学习 分布式计算 Cloud Native
云原生架构下的高性能计算解决方案:利用分布式计算资源加速机器学习训练
【8月更文第19天】随着大数据和人工智能技术的发展,机器学习模型的训练数据量和复杂度都在迅速增长。传统的单机训练方式已经无法满足日益增长的计算需求。云原生架构为高性能计算提供了新的可能性,通过利用分布式计算资源,可以在短时间内完成大规模数据集的训练任务。本文将探讨如何在云原生环境下搭建高性能计算平台,并展示如何使用 PyTorch 和 TensorFlow 这样的流行框架进行分布式训练。
152 2