本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享，围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术，解决当前流批存储不统一、实时数据可见性差等痛点，实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率，降低了使用门槛与成本，并规划未来在集团内推广湖仓一体架构，探索更多技术创新场景。

灵杰开发者

1733 3 6

灵杰开发者

11月前

存储监控数据挖掘

京东物流基于Flink & StarRocks的湖仓建设实践

本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享，聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程，解决复杂业务场景下的数据分析挑战，如多维OLAP分析、大屏监控等。同时，文章详细介绍了基于StarRocks的湖仓一体方案，优化存储成本并提升查询效率，以及存算分离的应用实践。最后，对未来数据服务的发展方向进行了展望，计划推广长周期数据存储服务和原生数据湖建设，进一步提升数据分析能力。

灵杰开发者

987 1 1

实时数仓Hologres团队

11月前

存储消息中间件分布式计算

Hologres实时数仓在B站游戏的建设与实践

本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求，采用了Hologres作为核心组件优化传统Lambda架构，实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计（ODS、DWD、DIM、ADS）及关键技术挑战的解决方法，如高QPS点查、数据乱序重写等。目前，该实时数仓已广泛应用于运营分析、广告投放等多个场景，并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。

实时数仓Hologres团队

742 0 0

实时数仓Hologres团队

12月前

存储分布式计算 MaxCompute

Hologres实时湖仓能力入门实践

本文由武润雪（栩染）撰写，介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体，极大提升数据开发效率。文章详细解析了两种湖仓架构：MaxCompute + Hologres实现离线实时一体化，以及Hologres + DLF + OSS构建开放湖仓架构，并深入探讨元数据抽象、权限互通等重点功能，同时提供具体使用说明与Demo演示。

实时数仓Hologres团队

662 8 8

实时数仓Hologres团队

12月前

SQL 弹性计算运维

Hologres计算组实例&分时弹性入门实践

本文由骆撷冬（Hologres PD）撰写，围绕Hologres计算组实例与分时弹性的入门实践展开。内容分为三部分：第一部分介绍Hologres计算组实例的原理与架构，解决负载隔离、资源浪费、大任务和运维难题；第二部分演示计算组实例的入门实践，包括管理、授权、连接及监控等操作；第三部分讲解分时弹性的使用，涵盖配置方法、成本优化及监控告警。通过具体案例与操作步骤，帮助用户更好地理解和应用Hologres的弹性计算能力。

实时数仓Hologres团队

346 2 2

灵杰开发者

9月前

资源调度 Kubernetes 流计算

Flink在B站的大规模云原生实践

本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享，围绕Flink On K8S的实践展开。内容涵盖五个部分：背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战，包括资源池统一、环境一致性改进及隔离性提升，并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外，还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向，为Flink云原生化提供了全面的技术参考。

灵杰开发者

503 9 9

穿过生命散发芬芳

8月前

SQL DataWorks 关系型数据库

DataWorks+Hologres：打造企业级实时数仓与高效OLAP分析平台

本方案基于阿里云DataWorks与实时数仓Hologres，实现数据库RDS数据实时同步至Hologres，并通过Hologres高性能OLAP分析能力，完成一站式实时数据分析。DataWorks提供全链路数据集成与治理，Hologres支持实时写入与极速查询，二者深度融合构建离在线一体化数仓，助力企业加速数字化升级。

穿过生命散发芬芳

500 3 3

灵杰开发者

10月前

SQL 存储 NoSQL

Flink x Paimon 在抖音集团生活服务的落地实践

本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享，聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分：背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon，解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题，显著提升了开发运维效率、节省资源并增强了任务稳定性。同时，文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用，并介绍了其核心技术优化与未来规划。

灵杰开发者

976 10 10

灵杰开发者

10月前

资源调度 Kubernetes 调度

网易游戏 Flink 云原生实践

本文分享了网易游戏在Flink实时计算领域的资源管理与架构演进经验，从Yarn到K8s云原生，再到混合云的实践历程。文章详细解析了各阶段的技术挑战与解决方案，包括资源隔离、弹性伸缩、自动扩缩容及服务混部等关键能力的实现。通过混合云架构，网易游戏显著提升了资源利用率，降低了30%机器成本，小作业计算成本下降40%，并为未来性能优化、流批一体及智能运维奠定了基础。

灵杰开发者

590 9 9

灵杰开发者

11月前

存储消息中间件 Java

抖音集团电商流量实时数仓建设实践

本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享，围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化，实现效率、质量、成本和稳定性全面提升，数据质量达99%以上，任务性能提升70%。未来将聚焦自动化、低代码化与成本优化，探索更高效的流批一体化方案。

灵杰开发者

673 12 12

大数据与机器学习

「FFA 动手实践」Flink+Hologres 搭建实时数仓

■ 报名方式：

■ 实验资源领取：

实时计算 Flink

热门文章

最新文章

相关产品

相关课程

相关电子书