Flink 与 TiDB 联合发布实时数仓最佳实践白皮书

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 点击链接,动动手指获取白皮书~另外,实时数仓 Meetup 议题征集中!

GitHub 地址

https://github.com/apache/flink

欢迎大家给 Flink 点赞送 star~


7 月 24 日,Apache Flink 社区与 PingCAP 在 DevCon 2021 技术峰会上联合发布了「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」,为企业用户构建实时数仓,应对实时洞察挑战提供最佳实践指南。


封面.jpg


「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」下载


https://flink-learning.org.cn/


随着数字化进程的加速,越来越多的企业正面临前所未有的数据规模挑战;日趋加剧的商业竞争,也使得外部用户和公司内部决策者都无法依赖传统时效性不佳的离线数据分析;海量,实时,在线的数字化新常态需要更实时的数据分析,甚至是对正在发生的交易数据进行分析,以支撑更加敏捷的商业决策。


Apache Flink PMC & 阿里巴巴资深技术专家杨克特受邀出席,并在白皮书发布仪式上表示,Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台,可以支持低延迟、高吞吐、高性能的流处理,广泛应用于高实时性场景下的实时计算。


PingCAP 社区事业部总经理姚维表示,TiDB 是一款领先的具备完整 HTAP 能力的企业级分布式数据库,可以在一份数据源上同时支撑在线事务处理 (OLTP) 和在线分析处理 (OLAP) 场景,不但能良好地支持实时数据落地存储,也可以提供一体化的分析能力。


image.png


借助 Flink 出色的流批一体技术,TiDB 与 Flink 一起探索为用户构建一个实时数仓最佳实践方案,满足了用户实时洞察实时决策的分析需求。本次发布的 「TiDB & Flink 实时数仓最佳实践白皮书」,融合了双方的技术优势,可以为用户提供一栈式实时数据仓库最佳实践,支持企业进行实时数据分析,助力敏捷的商业决策。


开源是当前全球化背景下基础软件领域成功的最佳路径。Flink 连续 3 年蝉联全球最活跃的 Apache 开源项目,拥有超过 20W 开发者关注。不仅如此,Flink GitHub 的星数和 Flink 的社区代码贡献者数量,在过去数年中一直保持年均 30%+ 的增长。


未来,无论是 Apache Flink 社区还是 PingCAP,都将继续与更多开源技术社区探索技术合作,构建有生命力的开放生态体系。


「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」下载


https://flink-learning.org.cn/




实时数仓 Meetup 议题征集:


8 月 29 日左右 (时间暂定),Flink 社区计划举办 Meetup 实时数仓专场,现征集议题中!


关于实时数仓,大家的关注度一直很高,目前业界也有许多落地的公司。在 Meetup 实时数仓专场, 我们将更加注“交流”希望将大家聚集在一起相互探讨关于实时数仓的话题,重点在踩过的坑、碰到的痛点都是怎样解决的~


现征集实时数仓 Meetup 的议题,围绕 “实时数仓踩坑痛点和避坑经验”,欢迎各位老师和同学带上贵公司的介绍,以及议题的初步大纲来找小松鼠。


公司不议大小,经验才论足缺。我们会选取其中最具代表性的议题,邀请您参加实时数仓 Meetup 专场~ 你们的经验对于其他技术开发者和 Flink 社区都很重要!


扫码添加小松鼠微信

image.png



更多 Flink 相关技术问题,可扫码加入社区钉钉交流群~

image.png

活动推荐


阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动:

99元试用实时计算Flink版(包年包月、10CU)即有机会获得 Flink 独家定制T恤;另包3个月及以上还有85折优惠!

了解活动详情:https://www.aliyun.com/product/bigdata/sc

image.png

相关实践学习
基于Hologres+PAI+计算巢,5分钟搭建企业级AI问答知识库
本场景采用阿里云人工智能平台PAI、Hologres向量计算和计算巢,搭建企业级AI问答知识库。通过本教程的操作,5分钟即可拉起大模型(PAI)、向量计算(Hologres)与WebUI资源,可直接进行对话问答。
相关文章
|
2月前
|
存储 消息中间件 监控
基于 Hologres+Flink 的曹操出行实时数仓建设
本文主要介绍曹操出行实时计算负责人林震,基于 Hologres+Flink 的曹操出行实时数仓建设的解决方案分享。
109319 1
基于 Hologres+Flink 的曹操出行实时数仓建设
|
2月前
|
SQL 存储 数据库
Flink + Paimon 数据 CDC 入湖最佳实践
Flink + Paimon 数据 CDC 入湖最佳实践
196 1
|
11天前
|
存储 分布式计算 Apache
万字长文:基于Apache Hudi + Flink多流拼接(大宽表)最佳实践
万字长文:基于Apache Hudi + Flink多流拼接(大宽表)最佳实践
65 3
|
21天前
|
SQL 消息中间件 Kafka
flink问题之做实时数仓sql保证分topic区有序如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
685 3
|
22天前
|
存储 运维 监控
飞书深诺基于Flink+Hudi+Hologres的实时数据湖建设实践
通过对各个业务线实时需求的调研了解到,当前实时数据处理场景是各个业务线基于Java服务独自处理的。各个业务线实时能力不能复用且存在计算资源的扩展性问题,而且实时处理的时效已不能满足业务需求。鉴于当前大数据团队数据架构主要解决离线场景,无法承接更多实时业务,因此我们需要重新设计整合,从架构合理性,复用性以及开发运维成本出发,建设一套通用的大数据实时数仓链路。本次实时数仓建设将以游戏运营业务为典型场景进行方案设计,综合业务时效性、资源成本和数仓开发运维成本等考虑,我们最终决定基于Flink + Hudi + Hologres来构建阿里云云原生实时湖仓,并在此文中探讨实时数据架构的具体落地实践。
飞书深诺基于Flink+Hudi+Hologres的实时数据湖建设实践
|
2月前
|
数据采集 存储 数据管理
flink实时数仓保障体系
flink实时数仓保障体系
|
2月前
|
供应链 算法 新能源
基于 Flink 的实时数仓在曹操出行运营中的应用
本文整理自曹操出行基础研发部负责人史何富,在 Flink Forward Asia 2023 主会场的分享。
90387 2
基于 Flink 的实时数仓在曹操出行运营中的应用
|
2月前
|
存储 消息中间件 Kafka
流式湖仓增强,Hologres + Flink 构建企业级实时数仓
2023 年 12 月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时数仓 Hologres 研发负责人姜伟华现场分享 Hologres+Flink 构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新、实时查询。
120027 107
流式湖仓增强,Hologres + Flink 构建企业级实时数仓
|
存储 SQL 消息中间件
美团点评基于 Flink 的实时数仓平台实践
数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
美团点评基于 Flink 的实时数仓平台实践
|
存储 SQL 消息中间件
美团点评基于 Flink 的实时数仓平台实践
数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。

热门文章

最新文章

相关产品

  • 实时计算 Flink版