数据湖架构及概念简介
本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。
阿里云数据湖构建DLF完整对接指南:从元数据管理到多引擎集成实践
本文系统介绍了阿里云数据湖构建(DLF)的核心功能与对接使用方法。DLF作为全托管统一元数据管理平台,提供了元数据管理、权限控制、数据入湖、存储优化等核心能力。文章详细阐述了DLF的架构设计、Catalog/数据库/表的三层元数据模型,以及如何与EMR、Flink、MaxCompute、Hologres、DataWorks等主流计算引擎无缝对接。重点涵盖:DLF服务开通与角色授权、Catalog创建与配置、EMR集群切换DLF元数据的具体配置步骤、Flink通过DLF Catalog实现数据入湖的完整流程与代码示例、DataWorks数据集成同步至DLF的配置方法、MaxCompute湖仓一体
官宣!阿里云重磅发布云原生数据湖体系
介绍如何基于阿里云 OSS 、JindoFS 和数据湖构建(Data Lake Formation,DLF)等基础服务,同时结合阿里云上丰富的计算引擎,打造一个全新云原生数据湖体系。
数禾云上数据湖最佳实践
数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的Cloudera Hadoop集群。但随着公司互联网金融业务的快速扩张发展,大数据团队承担的责任也越来越重,实时数仓需求,日志分析需求,即席查询需求,数据分析需求等,每个业务提出的需求都极大的考验这个Cloudera Hadoop集群的能力。为了减轻Cloudera集群的压力,我们结合自身业务情况,在阿里云上落地一个适合数禾当前现实状况的数据湖。
数据湖统一元数据与权限
本文整理自阿里云数据湖构建与分析研发熊佳树在7月17日阿里云数据湖技术专场交流会的分享。