开发者社区> 问答> 正文

Flink 在快手是如何发展的?

已解决

Flink 在快手是如何发展的?

展开
收起
詹姆斯邦德00 2022-06-29 15:36:14 441 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    Flink 在快手的发展历程,总的来说可以分为四个阶段:

    我们是从17年开始使用 Flink 的,17年我们主要是初步试用,当时接入的业务是直播与短视频的质量监控业务。

    其次,Flink 有丰富的窗口计算模式,且自带状态存储引擎以及精准一次的语义,这个能力极大简化了数据的处理复杂度,显著提升了研发的速度。

    进入到2018年之后,在能力上,我们开始对 Flink 进行成周边体系的建设,例如,构建引擎内部 metric 的采集,监控与报警流程、作业托管平台上线等。与此同时,我们也在不断的加深对 Flink 的理解,修炼内功;在业务上,开始接入直播 CDN 流量调度,日志实时拆分、投放分析、客户端 Crash 分析等场景。

    进入到2019年后,在能力上,随着对 Flink 引擎的掌控力的加强,我们开始进行一些稳定性与性能相关的改进,主要包括防雪崩,流控、分级保障、参数热更新、自研状态存储引擎 Slimbase、实时多维建模等。在业务上,开始支撑春节活动大屏、实时多维分析、曝光/点击流实时 Join 等场景。 到2020年后,在能力上,我们除了持续关注稳定性性能之外,也在推进效率改进的,例如调研并开始试用 Flink SQL,以及流批一体能力。在业务上,采用 Flink SQL 支撑活动大屏、开始通过 Flink 以及流批一体能力建设 AI 数据流、实时报表、直播精彩时刻等业务场景。

    以上内容摘自《开源大数据前瞻与应用实战》电子书,点击https://developer.aliyun.com/topic/download?id=1153可下载完成版

    2022-06-30 16:25:16
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载