作者:张静、张芒
用户背景
快手作为领先的内容社区及社交平台,其使命是成为全球最痴迷于为客户创造价值的公司,快手提供的产品和服务可满足用户自然产生的各种需求,包括娱乐、线上营销服务、电商、网络游戏、在线知识共享等。
平台现状
快手从2018年开始对Flink进行深度整合,经过4年发展,实时计算平台逐渐完善并赋能周边各种组件。
2018 年针对 Flink 1.4 进行了平台化建设并大幅提升运维管理能力,达到了生产可用;
2019 年开始基于 1.6 版本进行迭代开发,很多业务都开始实时化,比如优化 interval join 为商业化等平台带来显著收益、开发实时多维分析加速超大多维报表的实时化,这一年我们的 Flink SQL 平台也投入使用;
2020 年升级Flink内核到 1.10,对 sql 的功能进行了非常多的完善,同时进一步优化 Flink 的核心引擎,保障了 Flink 的易用性、稳定性、可维护性;
2021 年开始发力离线计算,支持湖仓一体的建设,进一步完善 Flink 生态。
目前快手内部用户对 Flink SQL 的认可度稳步提高,2021年新增的 Flink 作业中SQL 作业达到了 60%,与2020相比有了一倍的提升,峰值吞吐达到了 6 亿条/秒。
《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(2) https://developer.aliyun.com/article/1228372