在不久前结束的Flink Forward Asia 2022中,米哈游大数据实时计算团队负责人分享了其在Flink应用实践方面的一些经验。
与大多数发展历程类似,米哈游的Flink平台经过了以DatastreamApi为主的1.0阶段。2020年以后,开始了以SQL为主的一站式开发平台2.0阶段。
2022年至今,为一站式开发平台的功能深化和场景覆盖3.0阶段。
以DatastreamApi为主的1.0阶段,主要是使用了Flink的毫秒延迟,窗口计算,状态存储和容错恢复机制。
以SQL为主的一站式开发平台2.0阶段,平台SQL化达到了90%。并构建了元数据和血缘,指标和日志体系。
一站式开发平台的功能深化和场景覆盖3.0阶段则更强调效率的提升与近实时数仓的概念。
在应用方面,米哈游依赖Flink,ClickHouse,Doris等组件,支撑起了全球游戏日志标准化采集加工,实时报表及实时大屏展示,玩家战绩,实时风控等场景的实现。
而未来,将基于TableStore和IceBerg不断的向近实时数仓进行探索和实践。
具体PPT整理如下: