Flink 与 TiDB 联合发布实时数仓最佳实践白皮书

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 点击链接,动动手指获取白皮书~另外,实时数仓 Meetup 议题征集中!

GitHub 地址

https://github.com/apache/flink

欢迎大家给 Flink 点赞送 star~


7 月 24 日,Apache Flink 社区与 PingCAP 在 DevCon 2021 技术峰会上联合发布了「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」,为企业用户构建实时数仓,应对实时洞察挑战提供最佳实践指南。


封面.jpg


「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」下载


https://flink-learning.org.cn/


随着数字化进程的加速,越来越多的企业正面临前所未有的数据规模挑战;日趋加剧的商业竞争,也使得外部用户和公司内部决策者都无法依赖传统时效性不佳的离线数据分析;海量,实时,在线的数字化新常态需要更实时的数据分析,甚至是对正在发生的交易数据进行分析,以支撑更加敏捷的商业决策。


Apache Flink PMC & 阿里巴巴资深技术专家杨克特受邀出席,并在白皮书发布仪式上表示,Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台,可以支持低延迟、高吞吐、高性能的流处理,广泛应用于高实时性场景下的实时计算。


PingCAP 社区事业部总经理姚维表示,TiDB 是一款领先的具备完整 HTAP 能力的企业级分布式数据库,可以在一份数据源上同时支撑在线事务处理 (OLTP) 和在线分析处理 (OLAP) 场景,不但能良好地支持实时数据落地存储,也可以提供一体化的分析能力。


image.png


借助 Flink 出色的流批一体技术,TiDB 与 Flink 一起探索为用户构建一个实时数仓最佳实践方案,满足了用户实时洞察实时决策的分析需求。本次发布的 「TiDB & Flink 实时数仓最佳实践白皮书」,融合了双方的技术优势,可以为用户提供一栈式实时数据仓库最佳实践,支持企业进行实时数据分析,助力敏捷的商业决策。


开源是当前全球化背景下基础软件领域成功的最佳路径。Flink 连续 3 年蝉联全球最活跃的 Apache 开源项目,拥有超过 20W 开发者关注。不仅如此,Flink GitHub 的星数和 Flink 的社区代码贡献者数量,在过去数年中一直保持年均 30%+ 的增长。


未来,无论是 Apache Flink 社区还是 PingCAP,都将继续与更多开源技术社区探索技术合作,构建有生命力的开放生态体系。


「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」下载


https://flink-learning.org.cn/




实时数仓 Meetup 议题征集:


8 月 29 日左右 (时间暂定),Flink 社区计划举办 Meetup 实时数仓专场,现征集议题中!


关于实时数仓,大家的关注度一直很高,目前业界也有许多落地的公司。在 Meetup 实时数仓专场, 我们将更加注“交流”希望将大家聚集在一起相互探讨关于实时数仓的话题,重点在踩过的坑、碰到的痛点都是怎样解决的~


现征集实时数仓 Meetup 的议题,围绕 “实时数仓踩坑痛点和避坑经验”,欢迎各位老师和同学带上贵公司的介绍,以及议题的初步大纲来找小松鼠。


公司不议大小,经验才论足缺。我们会选取其中最具代表性的议题,邀请您参加实时数仓 Meetup 专场~ 你们的经验对于其他技术开发者和 Flink 社区都很重要!


扫码添加小松鼠微信

image.png



更多 Flink 相关技术问题,可扫码加入社区钉钉交流群~

image.png

活动推荐


阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动:

99元试用实时计算Flink版(包年包月、10CU)即有机会获得 Flink 独家定制T恤;另包3个月及以上还有85折优惠!

了解活动详情:https://www.aliyun.com/product/bigdata/sc

image.png

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
6月前
|
存储 消息中间件 OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。
1342 3
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
|
9月前
|
SQL 消息中间件 Kafka
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。
1344 20
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
|
8月前
|
存储 SQL Java
Flink CDC + Hologres高性能数据同步优化实践
本文整理自阿里云高级技术专家胡一博老师在Flink Forward Asia 2024数据集成(二)专场的分享,主要内容包括:1. Hologres介绍:实时数据仓库,支持毫秒级写入和高QPS查询;2. 写入优化:通过改进缓冲队列、连接池和COPY模式提高吞吐量和降低延迟;3. 消费优化:优化离线场景和分区表的消费逻辑,提升性能和资源利用率;4. 未来展望:进一步简化用户操作,支持更多DDL操作及全增量消费。Hologres 3.0全新升级为一体化实时湖仓平台,提供多项新功能并降低使用成本。
637 1
Flink CDC + Hologres高性能数据同步优化实践
|
10月前
|
SQL 监控 关系型数据库
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享,介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长,公司面临数据库性能瓶颈及实时数据处理需求,通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题,并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。
735 25
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
|
8月前
|
SQL 消息中间件 Serverless
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
237 4
|
10月前
|
存储 消息中间件 OLAP
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
本次分享由阿里云产品经理骆撷冬(观秋)主讲,主题为“Hologres+Flink企业级实时数仓核心能力”,是2024实时数仓Hologres线上公开课的第三期。课程详细介绍了Hologres与Flink结合搭建的企业级实时数仓的核心能力,包括解决实时数仓分层问题、基于Flink Catalog的Streaming Warehouse实践,并通过典型客户案例展示了其应用效果。
306 10
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
|
9月前
|
存储 SQL 分布式计算
Hologres RoaringBitmap在Lazada选品平台的最佳实践
Hologres RoaringBitmap在Lazada选品平台的最佳实践
110 0
|
12月前
|
运维 数据挖掘 网络安全
场景实践 | 基于Flink+Hologres搭建GitHub实时数据分析
基于Flink和Hologres构建的实时数仓方案在数据开发运维体验、成本与收益等方面均表现出色。同时,该产品还具有与其他产品联动组合的可能性,能够为企业提供更全面、更智能的数据处理和分析解决方案。
|
3月前
|
存储 分布式计算 数据处理
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
阿里云实时计算Flink团队,全球领先的流计算引擎缔造者,支撑双11万亿级数据处理,推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才,地点覆盖北京、杭州、上海。技术深度参与开源核心,打造企业级实时计算解决方案,助力全球企业实现毫秒洞察。
456 0
「48小时极速反馈」阿里云实时计算Flink广招天下英雄

相关产品

  • 实时计算 Flink版