Flink 与 TiDB 联合发布实时数仓最佳实践白皮书

简介: 点击链接,动动手指获取白皮书~另外,实时数仓 Meetup 议题征集中!

GitHub 地址

https://github.com/apache/flink

欢迎大家给 Flink 点赞送 star~


7 月 24 日,Apache Flink 社区与 PingCAP 在 DevCon 2021 技术峰会上联合发布了「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」,为企业用户构建实时数仓,应对实时洞察挑战提供最佳实践指南。


封面.jpg


「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」下载


https://flink-learning.org.cn/


随着数字化进程的加速,越来越多的企业正面临前所未有的数据规模挑战;日趋加剧的商业竞争,也使得外部用户和公司内部决策者都无法依赖传统时效性不佳的离线数据分析;海量,实时,在线的数字化新常态需要更实时的数据分析,甚至是对正在发生的交易数据进行分析,以支撑更加敏捷的商业决策。


Apache Flink PMC & 阿里巴巴资深技术专家杨克特受邀出席,并在白皮书发布仪式上表示,Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台,可以支持低延迟、高吞吐、高性能的流处理,广泛应用于高实时性场景下的实时计算。


PingCAP 社区事业部总经理姚维表示,TiDB 是一款领先的具备完整 HTAP 能力的企业级分布式数据库,可以在一份数据源上同时支撑在线事务处理 (OLTP) 和在线分析处理 (OLAP) 场景,不但能良好地支持实时数据落地存储,也可以提供一体化的分析能力。


image.png


借助 Flink 出色的流批一体技术,TiDB 与 Flink 一起探索为用户构建一个实时数仓最佳实践方案,满足了用户实时洞察实时决策的分析需求。本次发布的 「TiDB & Flink 实时数仓最佳实践白皮书」,融合了双方的技术优势,可以为用户提供一栈式实时数据仓库最佳实践,支持企业进行实时数据分析,助力敏捷的商业决策。


开源是当前全球化背景下基础软件领域成功的最佳路径。Flink 连续 3 年蝉联全球最活跃的 Apache 开源项目,拥有超过 20W 开发者关注。不仅如此,Flink GitHub 的星数和 Flink 的社区代码贡献者数量,在过去数年中一直保持年均 30%+ 的增长。


未来,无论是 Apache Flink 社区还是 PingCAP,都将继续与更多开源技术社区探索技术合作,构建有生命力的开放生态体系。


「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」下载


https://flink-learning.org.cn/




实时数仓 Meetup 议题征集:


8 月 29 日左右 (时间暂定),Flink 社区计划举办 Meetup 实时数仓专场,现征集议题中!


关于实时数仓,大家的关注度一直很高,目前业界也有许多落地的公司。在 Meetup 实时数仓专场, 我们将更加注重 “交流”,希望将大家聚集在一起相互探讨关于实时数仓的话题,重点在踩过的坑、碰到的痛点都是怎样解决的~


现征集实时数仓 Meetup 的议题,围绕 “实时数仓踩坑痛点和避坑经验”,欢迎各位老师和同学带上贵公司的介绍,以及议题的初步大纲来找小松鼠。


公司不议大小,经验才论足缺。我们会选取其中最具代表性的议题,邀请您参加实时数仓 Meetup 专场~ 你们的经验对于其他技术开发者和 Flink 社区都很重要!


▼ 扫码添加小松鼠微信 ▼

image.png



更多 Flink 相关技术问题,可扫码加入社区钉钉交流群~

image.png

活动推荐


阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动:

99元试用实时计算Flink版(包年包月、10CU)即有机会获得 Flink 独家定制T恤;另包3个月及以上还有85折优惠!

了解活动详情:https://www.aliyun.com/product/bigdata/sc

image.png

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
SQL 缓存 分布式计算
【跨国数仓迁移最佳实践5】MaxCompute近线查询解决方案助力物流电商等实时场景实现高效查询
本系列文章将围绕东南亚头部科技集团的真实迁移历程展开,逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第5篇,解析跨国数仓迁移背后的性能优化技术。 注:客户背景为东南亚头部科技集团,文中用 GoTerra 表示。
475 8
|
存储 消息中间件 OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。
2258 3
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
|
消息中间件 存储 监控
Lalamove基于Flink实时湖仓演进之路
本文由货拉拉国际化技术部资深数据仓库工程师林海亮撰写,围绕Flink在实时数仓中的应用展开。文章首先介绍了Lalamove业务背景,随后分析了Flink在实时看板、数据服务API、数据监控及数据分析中的应用与挑战,如多数据中心、时区差异、上游改造频繁及高成本问题。接着阐述了实时数仓架构从无分层到引入Paimon湖仓的演进过程,解决了数据延迟、兼容性及资源消耗等问题。最后展望未来,提出基于Fluss+Paimon优化架构的方向,进一步提升性能与降低成本。
593 11
Lalamove基于Flink实时湖仓演进之路
|
SQL 分布式计算 运维
【跨国数仓迁移最佳实践3】资源消耗减少50%!解析跨国数仓迁移至MaxCompute背后的性能优化技术
本系列文章将围绕东南亚头部科技集团的真实迁移历程展开,逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第3篇,解析跨国数仓迁移背后的性能优化技术。 注:客户背景为东南亚头部科技集团,文中用 GoTerra 表示。
528 0
|
存储 监控 数据挖掘
京东物流基于Flink & StarRocks的湖仓建设实践
本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享,聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程,解决复杂业务场景下的数据分析挑战,如多维OLAP分析、大屏监控等。同时,文章详细介绍了基于StarRocks的湖仓一体方案,优化存储成本并提升查询效率,以及存算分离的应用实践。最后,对未来数据服务的发展方向进行了展望,计划推广长周期数据存储服务和原生数据湖建设,进一步提升数据分析能力。
1588 1
京东物流基于Flink & StarRocks的湖仓建设实践
|
存储 JSON 数据处理
Flink基于Paimon的实时湖仓解决方案的演进
本文源自Apache CommunityOverCode Asia 2025,阿里云专家苏轩楠分享Flink与Paimon构建实时湖仓的演进实践。深度解析Variant数据类型、Lookup Join优化等关键技术,提升半结构化数据处理效率与系统可扩展性,推动实时湖仓在生产环境的高效落地。
1401 1
Flink基于Paimon的实时湖仓解决方案的演进
|
存储 人工智能 监控
淘宝闪购基于Flink&Paimon的Lakehouse生产实践:从实时数仓到湖仓一体化的演进之路
本文整理自淘宝闪购(饿了么)大数据架构师王沛斌在 Flink Forward Asia 2025 上海站的分享,深度解析其基于 Apache Flink 与 Paimon 的 Lakehouse 架构演进与落地实践,涵盖实时数仓发展、技术选型、平台建设及未来展望。
1935 0
淘宝闪购基于Flink&Paimon的Lakehouse生产实践:从实时数仓到湖仓一体化的演进之路
|
存储 缓存 分布式计算
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术,详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划,为您提供全面的技术解读。 作者:杨关锁,北京镜舟科技研发工程师
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践

相关产品

  • 实时计算 Flink版