“云湖共生 • 数智未来”数据湖应用实践白皮书重磅发布

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
日志服务 SLS,月写入数据量 50GB 1个月
简介: 《数据湖应用实践白皮书》涵盖了数据湖的定义与架构、数据湖核心组件与方案介绍、数据湖构建方案、应用实践等内容,希望为用户提供新的洞察。
+关注继续查看

在汹涌而至的信息化浪潮下,大数据技术不断更新迭代,数据管理工具得到飞速发展,相关概念也随之而生。数据湖(Data Lake)概念自2011年被推出后,其概念定位、架构设计和相关技术都得到了飞速发展和众多实践,数据湖也从单一数据存储池概念演进为支撑高效、安全、稳定企业级数据应用的下一代基础数据平台。

 

此次发布的《数据湖应用实践白皮书》涵盖了数据湖的定义与架构、数据湖核心组件与方案介绍、数据湖构建方案、应用实践等内容,希望为用户提供新的洞察。

 

点击免费下载

《“云湖共生 • 数智未来”数据湖应用实践白皮书》>>>

 

通过阅读本书,包括开发者、IT运维人员、企业数字化管理者等可以全面了解阿里云基于云原生技术的企业级数据湖解决方案和相关产品,也能明晰传统数据仓库和数据湖的差异。 

 

也可在PC端打开 https://developer.aliyun.com/topic/download?id=1164 下载


数据湖应用实践白皮书单页(1)_页面_01.png


在云计算和大数据时代,基于数据开展生产、运营、决策成为常态,根据Gartner报道,2019年数据基建方面的采购费用飙升到660亿美元,占据基础架构类软件费用的24%。数据的存储及应用体系是企业生态运转的中枢神经,数据湖已经成为海量数据存储与分析的重要承载方式。

 

市场调研机构Research and Markets发布的报告显示,2020年,全球数据湖市场的价值为37.4亿美元,预计到2026年将达到176亿美元,在2021年至2026年的预测期间的复合年增长率为29.9%。

 

云原生时代的到来,引领数据湖进入了“云湖共生”新的阶段。在此背景下,阿里云推出基于云原生技术的企业级数据湖解决方案,该方案采用了存储计算分离架构,存储层基于阿里云对象存储OSS构建,并与阿里云数据湖分析(Data Lake Analytics 简称 DLA)、数据湖构建(Data Lake Formation简称 DLF)、E-MapReduce(简称EMR)、DataWorks(简称DW)等计算引擎无缝对接,且兼容丰富的开源计算引擎生态。

 

十年踪迹十年心,结合先进的数据科学与机器学习技术,数据湖还能为企业提供预测分析,帮助企业构建、优化训练模型等。希望这本白皮书可以为企业和组织的数字化转型实践提供指引,为相关领域的业务决策者与实践者提供面向行业应用场景的重要参考。

  

—精彩章节抢先看—

海报.jpg


藏经阁系列电子书

 

阿里云开发者社区——藏经阁系列电子书,汇聚了一线大厂的技术沉淀精华,爆款不断。

 

点击链接获取海量免费电子书:https://developer.aliyun.com/ebook

相关文章
|
存储 人工智能 运维
QCon大会精彩分享:数据湖、可观测、自动驾驶训练,阿里云存储独家技术详解与案例实践!
QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。
QCon大会精彩分享:数据湖、可观测、自动驾驶训练,阿里云存储独家技术详解与案例实践!
|
存储 消息中间件 SQL
实时数据湖 Flink Hudi 实践探索
本文整理自阿里云技术专家陈玉兆在7月17日阿里云数据湖技术专场交流会的分享。
实时数据湖 Flink Hudi 实践探索
|
分布式计算 MaxCompute
《如何基于MaxCompute快速打通数仓和数据湖的湖仓一体实践-亦朵-529北京峰会-v1.3》电子版地址
【5】如何基于MaxCompute快速打通数仓和数据湖的湖仓一体实践-亦朵-529北京峰会-v1.3-to赵慧(格确定稿)
96 0
《如何基于MaxCompute快速打通数仓和数据湖的湖仓一体实践-亦朵-529北京峰会-v1.3》电子版地址
|
存储 安全
《“云湖共生·数智未来”数据湖应用实践白皮书》电子版地址
数据湖(Data Lake)概念自2011年被推出后,其概念定位、架构设计和相关技术都得到了飞速发展和众多实践,数据湖也从单一数据存储池概念演进为支撑高效、安全、稳定企业级数据应用的下一代基础数据平台。 此次发布的《数据湖应用实践白皮书》涵盖了数据湖的定义与架构、数据湖核心组件与方案介绍、数据湖构建方案介绍、数据湖构建方案、应用实践等内容,希望为用户提供新的洞察。
99 0
《“云湖共生·数智未来”数据湖应用实践白皮书》电子版地址
|
消息中间件 存储 分布式计算
Robinhood基于Apache Hudi的下一代数据湖实践
Robinhood 的使命是使所有人的金融民主化。 Robinhood 内部不同级别的持续数据分析和数据驱动决策是实现这一使命的基础。 我们有各种数据源——OLTP 数据库、事件流和各种第 3 方数据源。需要快速、可靠、安全和以隐私为中心的数据湖摄取服务来支持各种报告、关键业务管道和仪表板。
162 0
Robinhood基于Apache Hudi的下一代数据湖实践
|
存储 分布式计算 安全
Uber基于Apache Hudi构建PB级数据湖实践
从确保准确预计到达时间到预测最佳交通路线,在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。2016年,Uber开发了增量处理框架Apache Hudi,以低延迟和高效率为关键业务数据管道赋能。一年后,我们开源了该解决方案,以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年,我们履行承诺,进一步将其捐赠给了Apache Software Foundation,差不多一年半之后,Apache Hudi毕业成为Apache Software Foundation顶级项目。为纪念这一里程碑,我们想分享Apache Hudi的构建、发布、优化和毕业之旅
182 0
Uber基于Apache Hudi构建PB级数据湖实践
|
存储 消息中间件 大数据
OPPO 数仓与数据湖融合架构升级的实践与思考
过去几年,数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时,二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构,而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下,2021 年我们将会看到更多“湖仓一体”的实际落地案例。InfoQ 希望通过选题的方式对数据湖和数仓融合架构在不同企业的落地情况、实践过程、改进优化方案等内容进行呈现。本文,InfoQ 采访了 OPPO 云数架构部部长鲍永成,请他与我们分享 OPPO 引入数据湖和数仓融合架构的探索工作和实践中的一些思考。
468 0
OPPO 数仓与数据湖融合架构升级的实践与思考
|
存储 弹性计算 Cloud Native
开发者社区精选直播合集(三十八)| 数据湖最新实践
当前数据量爆发式增长,企业面临数字化转型,如何挖掘更深度的挖掘数据价值成为关键,但受到开源软件本身能力的限制,传统开源数据湖技术无法满足企业用户在数据规模、存储成本、查询性能以及弹性计算架构升级等方面的需求。
开发者社区精选直播合集(三十八)|  数据湖最新实践
|
消息中间件 分布式计算 前端开发
Apache Hudi 在 B 站构建实时数据湖的实践
B 站选择 Flink + Hudi 的数据湖技术方案,以及针对其做出的优化。
Apache Hudi 在 B 站构建实时数据湖的实践
相关产品
对象存储
文件存储NAS
日志服务
推荐文章
更多