企业数据湖构建之旅
随着互联网的发展,数据的规模和类型都呈现一个爆炸性的增长,对于这么多类型的数据,如何进行有效的管理和存储,包括数据的分析,这是大家要面临的一个问题。在武汉云栖大会上,阿里云高级产品专家吴华剑做了名为“企业数据创新之旅-构建自己的数据湖”的精彩演讲。
数据湖架构及概念简介
本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。
阿里云数据湖构建DLF完整对接指南:从元数据管理到多引擎集成实践
本文系统介绍了阿里云数据湖构建(DLF)的核心功能与对接使用方法。DLF作为全托管统一元数据管理平台,提供了元数据管理、权限控制、数据入湖、存储优化等核心能力。文章详细阐述了DLF的架构设计、Catalog/数据库/表的三层元数据模型,以及如何与EMR、Flink、MaxCompute、Hologres、DataWorks等主流计算引擎无缝对接。重点涵盖:DLF服务开通与角色授权、Catalog创建与配置、EMR集群切换DLF元数据的具体配置步骤、Flink通过DLF Catalog实现数据入湖的完整流程与代码示例、DataWorks数据集成同步至DLF的配置方法、MaxCompute湖仓一体
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析,介绍数据湖构建DLF产品的数据发现和数据探索功能。
数据湖构建—如何构建湖上统一的数据权限
阿里云数据湖构建产品(DLF)提供的统一元数据服务,通过完善各种引擎/表格式生态解决了数据湖场景下多引擎面临的数据孤岛和元数据一致性问题,实现了开源大数据引擎及数据湖格式元数据的统一视图,避免了各引擎访问湖上数据其中额外的ETL成本并降低了业务处理链路的延时。