开发者社区精选直播合集(三十八)| 数据湖最新实践

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 当前数据量爆发式增长,企业面临数字化转型,如何挖掘更深度的挖掘数据价值成为关键,但受到开源软件本身能力的限制,传统开源数据湖技术无法满足企业用户在数据规模、存储成本、查询性能以及弹性计算架构升级等方面的需求。

往期精选合集包(戳我前往)

囊括了:架构师、 Serverless 、AIoT、DevOps、容器化、机器学习、云计算、K8s、微服务、云原生、视觉AI、大数据、小程序、物联网等各种主题直播合集。



如何快速搭建云原生企业级数据湖架构及实践分享

image.png

>>戳我去观看


直播简介

众所周知,数据湖技术在大数据领域炙手可热,随着在云上的广泛部署和应用,其业务价值逐渐获得业界共识。如何快搭建数据湖架构被越来越多的企业探讨。本次演讲主要分享快速搭建云原生企业级数据湖架构及实践分享。

讲师介绍

王震 -- 阿里云计算平台事业部 开源大数据平台 技术专家


如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践

image.png

>>戳我去观看


直播简介

一、湖仓融合的趋势分析

二、阿里云湖仓一体

三、客户案例分析

四、湖仓一体演示

讲师介绍

孙莉莉 - 阿里云智能 高级技术专家


构建新一代云上数据湖

image.png

>>戳我去观看


直播简介

当前数据量爆发式增长,企业面临数字化转型,如何挖掘更深度的挖掘数据价值成为关键,但受到开源软件本身能力的限制,传统开源数据湖技术无法满足企业用户在数据规模、存储成本、查询性能以及弹性计算架构升级等方面的需求。

企业在这个时期需要更低廉的数据存储成本、更精细的数据资产管理、可共享的数据湖元数据、更实时的数据更新频率以及更强大的数据接入工具。基于此,阿里云推出新一代云原生数据湖,由对象存储OSS、数据湖构建Data Lake Formation、E-MapReduce产品强强组合,提供存储与计算分离架构下,湖存储、湖加速、湖管理、湖计算的企业级数据湖解决方案,助力企业转型升级。

讲师介绍

巴真 - 阿里云高级产品专家


基于数据湖构建高可用大数据平台最佳实践

image.png

>>戳我去观看


直播介绍

通过数据湖、EMR数据湖方案、EMR JindoFS 数据湖文件系统、数据湖JindoFS混合云方案、EMR计算弹性伸缩方案、在线教育数据湖实践等多方面介绍如何构建高可用大数据平台

讲师介绍

子关  阿里云智能产品专家


数据湖-在线学习场景数据分析最佳实践

image.png

>>戳我去观看


直播介绍

本场景以在线教育中一个答题闯关类的应用为例,使用WebServer来模拟演示这类日志数据的分析处理。通过Nginx和Pythonflask搭建WebServer,模拟应用中的关键页面,比如登录、课程内容等,之后构造若干用户使用的模拟日志数据,投递到数据湖进行分析后获取应用PV、UV、课程内容访问排行、平均得分等等。

讲师介绍

期会 - 解决方案架构师


数据湖分析在海量游戏日志分析中的应用

image.png

>>戳我去观看


直播简介

通过阿里云数据湖产品,实现低成本的海量日志实时分析,助力业务发展

讲师介绍

高洋  玩蟹科技大数据负责人




欢迎持续关注!将持续更新开发者社区精品直播内容!

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
8月前
|
存储 运维 监控
飞书深诺基于Flink+Hudi+Hologres的实时数据湖建设实践
通过对各个业务线实时需求的调研了解到,当前实时数据处理场景是各个业务线基于Java服务独自处理的。各个业务线实时能力不能复用且存在计算资源的扩展性问题,而且实时处理的时效已不能满足业务需求。鉴于当前大数据团队数据架构主要解决离线场景,无法承接更多实时业务,因此我们需要重新设计整合,从架构合理性,复用性以及开发运维成本出发,建设一套通用的大数据实时数仓链路。本次实时数仓建设将以游戏运营业务为典型场景进行方案设计,综合业务时效性、资源成本和数仓开发运维成本等考虑,我们最终决定基于Flink + Hudi + Hologres来构建阿里云云原生实时湖仓,并在此文中探讨实时数据架构的具体落地实践。
飞书深诺基于Flink+Hudi+Hologres的实时数据湖建设实践
|
8月前
|
SQL 关系型数据库 HIVE
KLOOK客路旅行基于Apache Hudi的数据湖实践
KLOOK客路旅行基于Apache Hudi的数据湖实践
140 2
KLOOK客路旅行基于Apache Hudi的数据湖实践
|
8月前
|
存储 人工智能 运维
数据湖建设实践:使用AWS S3与LakeFormation构建灵活数据存储
【4月更文挑战第8天】本文分享了使用AWS S3和LakeFormation构建数据湖的经验。选择S3作为数据湖存储,因其无限容量、高可用性和持久性,以及与多种系统的兼容性。LakeFormation则负责数据治理和权限管理,包括元数据管理、简化数据接入、细粒度权限控制和审计。通过这种方式,团队实现了敏捷开发、成本效益和数据安全。未来,数据湖将融合更多智能化元素,如AI和ML,以提升效能和体验。此实践为数据驱动决策和企业数字化转型提供了有力支持。
431 2
|
8月前
|
存储 分布式计算 分布式数据库
字节跳动基于Apache Hudi构建EB级数据湖实践
字节跳动基于Apache Hudi构建EB级数据湖实践
111 2
|
8月前
|
消息中间件 监控 Kafka
Yotpo构建零延迟数据湖实践
Yotpo构建零延迟数据湖实践
134 0
|
8月前
|
消息中间件 存储 数据采集
在线房产公司Zillow数据迁移至数据湖实践
在线房产公司Zillow数据迁移至数据湖实践
117 0
|
8月前
|
存储 分布式计算 关系型数据库
初创电商公司Drop的数据湖实践
初创电商公司Drop的数据湖实践
98 0
|
8月前
|
存储 SQL 分布式计算
Apache Hudi在Linkflow构建实时数据湖的生产实践
Apache Hudi在Linkflow构建实时数据湖的生产实践
91 0
|
8月前
|
存储 SQL 数据管理
字节跳动基于Apache Hudi构建实时数据湖平台实践
字节跳动基于Apache Hudi构建实时数据湖平台实践
343 0
|
消息中间件 存储 分布式计算
SmartNews 基于 Flink 的 Iceberg 实时数据湖实践
SmartNews 数据平台架构师 Apache Iceberg Contributor 戢清雨,在 Flink Forward Asia 2022 实时湖仓专场的分享。
1497 0
SmartNews 基于 Flink 的 Iceberg 实时数据湖实践