作者：金风

用户背景

小米科技有限责任公司成立于2010年3月3日，是一家专注于智能硬件和电子产品研发的全球化移动互联网企业，同时也是一家专注于智能手机、互联网电视及智能家居生态链建设的创新型科技企业。 小米公司创造了用互联网模式开发手机操作系统、发烧友参与开发改进的模式。

业务需求

小米的大数据发展演变史大概如下：  

2019 年之前，小米的实时计算主要以 SparkStreaming 为主，少部分 Storm，离线计算以 Spark 为主； 2019 年，开始接入 Flink，并广泛应用于信息流搜索推荐、广告实时样本、实时 ETL 等场景，逐步替换了原来的 SparkStreaming 作业，得益于 Flink 框架的各种优秀特性，在作业的正确性，实时性，资源使用效率方面都有较大提升；

2020 年，开始接入使用 FlinkSQL，并广泛用于实时数仓的建设和实时 ETL 作业的开发。FlinkSQL 的实时数仓将数据链路由 T+1 降低到了秒级；

2021 年，开始接入数据湖 Iceberg，基于 Flink 和 Iceberg 来构建流批一体的实时数仓解决方案，并在小米内部的部分业务进行了落地，证明流批一体在赋能业务、提升作业开发效率、简化链路节省资源的方面是可行的。

上图是小米当前的实时和离线框架，目前是多种框架并存的状态。业务开发人员无论是写 SQL 作业还是写 Jar 包作业，都至少要维护两套代码。公司内部的计算引擎团队也需要花两拨人力分别去维护不同的计算框架，同时平台层也需要对不同的计算引擎去做不同的适配。  

基于上述情况，小米开始致力于流批一体的改造，实现实时和离线维护同一套计算框架，为业务开发人员、平台提供方和计算引擎的支持方最大化节省人力资源。

平台建设

对于流批一体的平台化建设，主要分为 4 个方面，分别是元数据管理、权限管理、作业调度以及 Flink 的生态建设。  

1、元数据管理

小米基于 Metacat 做了统一的元数据管理，由 Metacat 统一对接下游不同的存储系统和上游的计算引擎

基于 Metacat，内部的所有系统都被统一划分成三级结构，与 FlinkSQL 的三级结构相对应。  

第一级 Catalog，主要由服务名和集群名拼接而成。

第二级 Database，它与大部分系统的 Database 保持一致。没有 Database 的系统默认使用 default 来代替。

第三级 Table，也与系统的 Table 保持一致，比如消息队列的 topic 名， Elasticsearch 的索引名。  

在构建好统一的元数据管理之后，只需要写一条 DML 语句即可完成一个实时将消息队列数据入湖作业的开发。

2、授权管理

在实现了统一的元数据管理后，在开发 Flink SQL 作业时， 所有系统都被抽象为一个三级的结构表， 业务可以使用三级表名引用任意一个系统的表。同时小米基于 Ranger 也做了统一的权限管理，在 SQL 层统一管理所有的资源权限。  

小米在计算引擎层做了统一的权限管理，同时覆盖了 Flink SQL 和 Flink Jar。Flink SQL 作业可以在生成物理执行计划时获取到 SQL 引用的的 Source 和 Sink 表，以及 select 的 Source 表的字段名。基于以上信息，即可实现字段级别的鉴权。同时小米为 Flink Jar 用户提供了统一的工具类，同时也对接了 Flink Catalog，因此可以做到 Jar 包作业的权限校验。

如上图所示，统一管理了元数据和权限之后，业务开发人员在开发FlinkSQL作业时就可以非常方便地选择不同系统的表，包括Doris、Kudu、Hive等，作业由后端统一进行提交并鉴权。在作业提交时，也能非常方便得获取到作业的血缘。

《Apache Flink 案例集（2022版）》——1.数据集成——小米-Flink 流批一体在小米的实践（2）：https://developer.aliyun.com/article/1228470