《Apache Flink 案例集（2022版）》——2.数据分析——快手-Flink SQL 在快手的扩展和实践（1）

2023-05-25 457

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 《Apache Flink 案例集（2022版）》——2.数据分析——快手-Flink SQL 在快手的扩展和实践（1）

作者：张静、张芒

用户背景

快手作为领先的内容社区及社交平台，其使命是成为全球最痴迷于为客户创造价值的公司，快手提供的产品和服务可满足用户自然产生的各种需求，包括娱乐、线上营销服务、电商、网络游戏、在线知识共享等。

平台现状

快手从2018年开始对Flink进行深度整合，经过4年发展，实时计算平台逐渐完善并赋能周边各种组件。

2018 年针对 Flink 1.4 进行了平台化建设并大幅提升运维管理能力，达到了生产可用；

2019 年开始基于 1.6 版本进行迭代开发，很多业务都开始实时化，比如优化 interval join 为商业化等平台带来显著收益、开发实时多维分析加速超大多维报表的实时化，这一年我们的 Flink SQL 平台也投入使用；

2020 年升级Flink内核到 1.10，对 sql 的功能进行了非常多的完善，同时进一步优化 Flink 的核心引擎，保障了 Flink 的易用性、稳定性、可维护性；

2021 年开始发力离线计算，支持湖仓一体的建设，进一步完善 Flink 生态。

目前快手内部用户对 Flink SQL 的认可度稳步提高，2021年新增的 Flink 作业中SQL 作业达到了 60%，与2020相比有了一倍的提升，峰值吞吐达到了 6 亿条/秒。

《Apache Flink 案例集（2022版）》——2.数据分析——快手-Flink SQL 在快手的扩展和实践（2） https://developer.aliyun.com/article/1228372

相关实践学习

基于Hologres+Flink搭建GitHub实时数据大屏

通过使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（以DataV为例），实现海量数据实时分析.

实时计算 Flink 实战课程

如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 极客训练营产品、技术专家齐上阵，从开源 Flink功能介绍到实时计算 Flink 优势详解，现场实操，5天即可上手！欢迎开通实时计算 Flink 版： https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍： Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与，一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况，Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。