Flink 与 TiDB 联合发布实时数仓最佳实践白皮书

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 点击链接,动动手指获取白皮书~另外,实时数仓 Meetup 议题征集中!

GitHub 地址

https://github.com/apache/flink

欢迎大家给 Flink 点赞送 star~


7 月 24 日,Apache Flink 社区与 PingCAP 在 DevCon 2021 技术峰会上联合发布了「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」,为企业用户构建实时数仓,应对实时洞察挑战提供最佳实践指南。


封面.jpg


「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」下载


https://flink-learning.org.cn/


随着数字化进程的加速,越来越多的企业正面临前所未有的数据规模挑战;日趋加剧的商业竞争,也使得外部用户和公司内部决策者都无法依赖传统时效性不佳的离线数据分析;海量,实时,在线的数字化新常态需要更实时的数据分析,甚至是对正在发生的交易数据进行分析,以支撑更加敏捷的商业决策。


Apache Flink PMC & 阿里巴巴资深技术专家杨克特受邀出席,并在白皮书发布仪式上表示,Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台,可以支持低延迟、高吞吐、高性能的流处理,广泛应用于高实时性场景下的实时计算。


PingCAP 社区事业部总经理姚维表示,TiDB 是一款领先的具备完整 HTAP 能力的企业级分布式数据库,可以在一份数据源上同时支撑在线事务处理 (OLTP) 和在线分析处理 (OLAP) 场景,不但能良好地支持实时数据落地存储,也可以提供一体化的分析能力。


image.png


借助 Flink 出色的流批一体技术,TiDB 与 Flink 一起探索为用户构建一个实时数仓最佳实践方案,满足了用户实时洞察实时决策的分析需求。本次发布的 「TiDB & Flink 实时数仓最佳实践白皮书」,融合了双方的技术优势,可以为用户提供一栈式实时数据仓库最佳实践,支持企业进行实时数据分析,助力敏捷的商业决策。


开源是当前全球化背景下基础软件领域成功的最佳路径。Flink 连续 3 年蝉联全球最活跃的 Apache 开源项目,拥有超过 20W 开发者关注。不仅如此,Flink GitHub 的星数和 Flink 的社区代码贡献者数量,在过去数年中一直保持年均 30%+ 的增长。


未来,无论是 Apache Flink 社区还是 PingCAP,都将继续与更多开源技术社区探索技术合作,构建有生命力的开放生态体系。


「基于 TiDB 与 Flink 的实时数仓最佳实践白皮书」下载


https://flink-learning.org.cn/




实时数仓 Meetup 议题征集:


8 月 29 日左右 (时间暂定),Flink 社区计划举办 Meetup 实时数仓专场,现征集议题中!


关于实时数仓,大家的关注度一直很高,目前业界也有许多落地的公司。在 Meetup 实时数仓专场, 我们将更加注“交流”希望将大家聚集在一起相互探讨关于实时数仓的话题,重点在踩过的坑、碰到的痛点都是怎样解决的~


现征集实时数仓 Meetup 的议题,围绕 “实时数仓踩坑痛点和避坑经验”,欢迎各位老师和同学带上贵公司的介绍,以及议题的初步大纲来找小松鼠。


公司不议大小,经验才论足缺。我们会选取其中最具代表性的议题,邀请您参加实时数仓 Meetup 专场~ 你们的经验对于其他技术开发者和 Flink 社区都很重要!


扫码添加小松鼠微信

image.png



更多 Flink 相关技术问题,可扫码加入社区钉钉交流群~

image.png

活动推荐


阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动:

99元试用实时计算Flink版(包年包月、10CU)即有机会获得 Flink 独家定制T恤;另包3个月及以上还有85折优惠!

了解活动详情:https://www.aliyun.com/product/bigdata/sc

image.png

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
2天前
|
运维 监控 安全
选择主题1:实时计算Flink版最佳实践测评
本文介绍了使用实时计算Flink版进行用户行为分析的实践,涵盖用户行为趋势、留存分析、用户画像构建及异常检测等方面。与自建Flink集群相比,实时计算Flink版在稳定性、性能、开发运维和安全能力上表现更优,且显著降低了企业的IT支出和运维成本,提升了业务决策效率和系统可靠性,是企业级应用的理想选择。
51 32
|
5天前
|
存储 数据采集 大数据
Flink实时湖仓,为汽车行业数字化加速!
本文由阿里云计算平台产品专家李鲁兵(云觉)分享,聚焦汽车行业大数据应用。内容涵盖市场趋势、典型大数据架构、产品市场地位及能力解读,以及典型客户案例。文章详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势,以及Flink和Paimon在车联网中的应用案例。
Flink实时湖仓,为汽车行业数字化加速!
|
3天前
|
运维 监控 安全
实时计算 Flink 版最佳实践测评
本文介绍了结合电商平台用户行为数据的实时计算Flink版实践,涵盖用户行为分析、标签画像构建、业务指标监控和数据分析预测等场景。文章还对比了实时计算Flink版与其他引擎及自建Flink集群在稳定性、性能、开发运维和安全能力方面的差异,分析了其成本与收益。最后,文章评估了实时计算Flink版的产品内引导、文档帮助、功能满足情况,并提出了针对不同业务场景的改进建议和与其他产品的联动可能性。
13 2
|
1月前
|
存储 数据采集 OLAP
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构,随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据,但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统,提升了数据一致性和研发效率,但仍面临新业务适应性等问题。最终,饿了么选择Paimon和StarRocks作为实时湖仓方案,显著降低了存储成本并提高了系统稳定性。未来,将进一步优化带宽瓶颈、小文件问题及权限控制,实现更多场景的应用。
203 7
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
|
2天前
|
消息中间件 运维 分布式计算
实时计算Flink版最佳实践测评
本文介绍了使用阿里云实时计算Flink版进行用户行为分析的实践,详细探讨了其在性能、稳定性和成本方面的优势,以及与自建Flink集群的对比。通过实时计算,能够快速发现用户行为模式,优化产品功能,提升用户体验和市场竞争力。文章还提到了产品的易用性、功能满足度及改进建议,并与其他Flink实时计算产品进行了对比,强调了Flink在实时处理方面的优势。
|
1月前
|
SQL 运维 监控
实时计算Flink版最佳实践测评报告
本报告旨在评估阿里云实时计算Flink版在实际应用中的表现,通过一系列的测试和分析来探讨其在稳定性、性能、开发运维及安全性方面的优势。同时,我们将结合具体的业务场景,如用户行为分析、标签画像构建等,来说明其实时数据处理能力,并对比自建Flink集群以及其他实时计算引擎。最后,从成本效益的角度出发,讨论采用全托管服务对企业运营的影响。
54 13
|
29天前
|
存储 运维 监控
实时计算Flink版最佳实践测评
实时计算Flink版最佳实践测评
56 1
|
1月前
|
消息中间件 Java 数据库连接
Hologres 数据导入与导出的最佳实践
【9月更文第1天】Hologres 是一款高性能的实时数仓服务,旨在提供快速的数据分析能力。无论是从外部数据源导入数据还是将数据导出至其他系统,都需要确保过程既高效又可靠。本文将详细介绍如何有效地导入数据到 Hologres 中,以及如何从 Hologres 导出数据。
78 1
|
2月前
|
SQL 关系型数据库 MySQL
实时数仓 Hologres操作报错合集之Flink CTAS Source(Mysql) 表字段从可空改为非空的原因是什么
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
2月前
|
搜索推荐 OLAP 流计算
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
48 1

相关产品

  • 实时计算 Flink版