大数据运维在阿里云实时计算集群的落地实践：以数智为内核驱动的实时计算运维体系，解决稳定性、成本、效率三大运维领域需求。
摘要：本文整理自阿里云计算平台事业部实时计算高级运维专家王华（尚付）在FlinkForward Asia 2021生产实践专场的演讲。
一、 演进历史和运维挑战
阿里的实时计算经历了近10年的快速发展，总体来说可以分成三大时代：
• 1.0时代：2013年到2017年，三大实时计算引擎并存。大家熟悉的Jstorm和Blink当时都还叫做流式计算。
• 2.0时代：2017年集团合并了三大实时计算引擎，Blink凭借着出色的性能、高效的吞吐成为唯一的实时计算引擎，实现了大一统。在接下来的4年里，集团所有实时计算业务全部迁移到Blink，阿里的实时计算业务经历了最飞速的增长，平台规模体量也从千级别增长到万级别，实时计算all on Blink。
• 3.0时代：随着前两年阿里收购了德国Flink母公司，阿里中国和德国团队联手打造了基于云原生新底座、搭载Flink开源新引擎的VVP新平台。在2021年双11，VVP新平台以大幅度的性能提升平稳支撑了双11，宣告着阿里实时计算进入了全新的3.0时代。
目前，阿里的实时计算已经拥有了几百万核算力，几万台物理机，几万个作业，真正形成了一个超大规模的实时计算平台。而且在业务飞速发展过程中，平台整体的架构从云下的Hadoop Flink正在全面往云原生K8s加Flink大规模演进中。
面对这样一个实时计算的庞然大物，运维也随着时代变迁面临了不同的挑战：
• 第一阶段是平台运维，核心是帮助SRE解决超大规模体量的平台运维，也就是Flink Cluster集群运维的难题。
• 第二阶段是应用运维，核心是帮助集群上大量的实时计算用户解决应用侧Flink作业运维复杂的难题。
• 第三阶段是随着3.0时代的到来，集群底座全面云原生化，全域数据也随着云原生而标准化，运维能力如何向云原生和智能化快速演进和提升，成为我们新的挑战。
