本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享，围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术，解决当前流批存储不统一、实时数据可见性差等痛点，实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率，降低了使用门槛与成本，并规划未来在集团内推广湖仓一体架构，探索更多技术创新场景。

灵杰开发者

1994 3 6

实时数仓Hologres团队

存储消息中间件分布式计算

Hologres实时数仓在B站游戏的建设与实践

本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求，采用了Hologres作为核心组件优化传统Lambda架构，实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计（ODS、DWD、DIM、ADS）及关键技术挑战的解决方法，如高QPS点查、数据乱序重写等。目前，该实时数仓已广泛应用于运营分析、广告投放等多个场景，并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。

实时数仓Hologres团队

931 0 0

实时数仓Hologres团队

存储分布式计算 MaxCompute

Hologres实时湖仓能力入门实践

本文由武润雪（栩染）撰写，介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体，极大提升数据开发效率。文章详细解析了两种湖仓架构：MaxCompute + Hologres实现离线实时一体化，以及Hologres + DLF + OSS构建开放湖仓架构，并深入探讨元数据抽象、权限互通等重点功能，同时提供具体使用说明与Demo演示。

实时数仓Hologres团队

872 8 8

实时数仓Hologres团队

SQL 弹性计算运维

Hologres计算组实例&分时弹性入门实践

本文由骆撷冬（Hologres PD）撰写，围绕Hologres计算组实例与分时弹性的入门实践展开。内容分为三部分：第一部分介绍Hologres计算组实例的原理与架构，解决负载隔离、资源浪费、大任务和运维难题；第二部分演示计算组实例的入门实践，包括管理、授权、连接及监控等操作；第三部分讲解分时弹性的使用，涵盖配置方法、成本优化及监控告警。通过具体案例与操作步骤，帮助用户更好地理解和应用Hologres的弹性计算能力。

实时数仓Hologres团队

460 2 2

游客7wkr3y7oxyt7a

11月前

存储传感器数据采集

什么是实时数仓？实时数仓又有哪些应用场景？

实时数仓是一种能实现秒级数据更新和分析的系统，适用于电商、金融、物流等需要快速响应的场景。相比传统数仓，它具备更高的时效性和并发处理能力，能够帮助企业及时捕捉业务动态，提升决策效率。本文详细解析了其实现架构与核心特点，并结合实际案例说明其应用价值。

游客7wkr3y7oxyt7a

1388 9 9

穿过生命散发芬芳

11月前

SQL DataWorks 关系型数据库

DataWorks+Hologres：打造企业级实时数仓与高效OLAP分析平台

本方案基于阿里云DataWorks与实时数仓Hologres，实现数据库RDS数据实时同步至Hologres，并通过Hologres高性能OLAP分析能力，完成一站式实时数据分析。DataWorks提供全链路数据集成与治理，Hologres支持实时写入与极速查询，二者深度融合构建离在线一体化数仓，助力企业加速数字化升级。

穿过生命散发芬芳

712 3 3

灵杰开发者

存储消息中间件 Java

抖音集团电商流量实时数仓建设实践

本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享，围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化，实现效率、质量、成本和稳定性全面提升，数据质量达99%以上，任务性能提升70%。未来将聚焦自动化、低代码化与成本优化，探索更高效的流批一体化方案。

灵杰开发者

828 12 12

灵杰开发者

SQL 消息中间件 Kafka

Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计

本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享，涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进，以及总结。文章通过三代实时数仓架构的演变，详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案，并探讨了未来从实时数仓到实时湖仓的演进方向。最后，结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用，帮助用户根据业务需求选择合适的方案。

灵杰开发者

1948 20 21

Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计

灵杰开发者

SQL 监控关系型数据库

用友畅捷通在Flink上构建实时数仓、挑战与最佳实践

本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享，介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长，公司面临数据库性能瓶颈及实时数据处理需求，通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题，并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。

灵杰开发者

991 25 26

大数据与机器学习

「FFA 动手实践」Flink+Hologres 搭建实时数仓

■ 报名方式：

■ 实验资源领取：

实时计算 Flink

热门文章

最新文章

相关产品

相关课程

相关电子书