第3章
实战：打造数据闭环
道生一，一生二，二生三，三生万物。万物负阴而抱阳，冲气以为和。
—老子《道德经》
你不能两次踏进同一条河流，因为新的水不断地流过你的身旁。
—柏拉图《泰阿泰德》
前面两章已经介绍了数据闭环的各个主要环节和涉及的技术，本章将基于前文提出的理念和技术来实现数据闭环。按照数据的流转过程以及主要负责人的职责，整个数据闭环将由三个环节组成，如图3-1所示。
图3-1 数据流转过程及主要负责人职责示意图
1）生产数据→原始数据。这个环节的主要负责人为生产系统的软件开发工程师，软件开发工程师按照数据抽取需求，将生产数据转换为原始数据，并将原始数据按照要求传至数据缓冲区。
2）原始数据→分析数据。这个环节的主要负责人为数据团队的数据工程师，该节点实际上是解决分析数据的入口问题，是数据闭环中的关键环节。
3）分析数据→生产数据。该环节的负责人为数据工程师和软件开发工程师，需要两者合作，将分析数据转化为生产数据，供生产系统使用，是数据系统化应用的过程。
在上述第一个环节，开发团队接收来自数据团队的数据抽取需求，在需求中需要明确定义原始数据的格式要求和更新方式等，并且需要产出的数据文件满足文件命名规则。软件开发工程师根据数据需求周期性产出数据文件，并自动上传至数据缓冲区。
在第二个环节，数据团队需要按照一定的规则将数据文件批量加载到数据平台中。该环节是数据闭环中的关键，也是全部由数据团队负责完成的环节。大量原始数据文件已经存放于数据缓冲区中，保证大量数据高效且稳定地流入分析系统，显然无法通过人力完成，因此该环节的系统化实现是本章的重点内容。
在第三个环节，负责人为数据工程师和软件开发工程师。数据工程师负责数据预处理、提供数据接口、将数据模型系统化等，在此过程中，需要软件开发工程师的积极配合。该环节是数据由分析环境进入生产环境的环节，是数据应用于生产系统的过程，本书在应用篇将着重介绍数据的系统化应用过程。
以下将围绕第二个环节详细展开，该环节的关键在于大量数据文件的自动加载。为了实现该目标，需要先制定数据缓冲区的基本规则，然后设计文件自动加载的基本流程，并在此基础上使用Java多线程实现数据的高效加载。
3.1 数据缓冲区的基本规则
数据缓冲区由一个或多个FTP文件服务器组成，接收来自各个生产系统的原始数据，每天会有成百上千的数据文件传入数据缓冲区，为了对众多周期性产生的数据文件进行管理和系统化处理，需要为数据缓冲区制定相应规范。表3-1列出的三个规则可以让程序的自动化处理变得更加容易。
表3-1 数据缓冲区的三个规则
序 号 规范内容 说 明
1 文件存储规则 按照统一的存储方式对文件进行存储
2 文件命名规则 通过文件名称自动匹配更新规则
3 文件清理规则 定期自动清理文件，保证数据缓冲区有足够的可用空间
数据的自动加载将依赖于这三个规则，数据缓冲区的上下游只需遵守这三个规则即可通过增加配置信息，实现数据的自动对接。为了使规则具有可操作性，下面对这三个规则分别进行细化。
3.1.1 文件存储规则
文件存储规则为数据缓冲区定义了数据文件的存储方式，例如，规定传入数据缓冲区中的文件必须使用.zip的格式进行压缩。该规则简单易行，且至少具有以下显而易见的优点。
1）压缩文件可以节省存储空间。当数据文件众多时，压缩文件可以大量节省存储空间，从而提升数据缓冲区的存储利用率。
2）压缩文件在传输时节省带宽。压缩文件占用更少字节，这在内网带宽紧张时尤其有用。
3）统一的压缩方式方便程序自动解压。统一使用某种压缩格式，便于后续程序的自动解压，因为程序无需考虑多种压缩格式。
文件存储规则确定后，所有上传数据缓冲区的文件都需要遵守该规则，否则将被监护程序删除。
3.1.2 文件命名规则
文件命名规则是表3-1三个规则中最重要的一个，因为程序需要根据文件名称识别该文件的后续处理流程。例如，我们给出如下的文件命名规则范例：
1）文件名称由“名称前缀+文件日期+中间字符串+名称后缀”构成。
2）中间字符串可以为空。
3）名称前缀+中间字符串唯一标示一个文件。
4）文件日期标示同一个文件的不同批次。
5）名称后缀用于标记该文件的压缩存储格式。
图3-2是符合该命名规则的示例，其中一个文件名称的中间字符串为空。
图3-2 文件命名规则示例
3.1.3 文件清理规则
文件清理规则是为了保证数据缓冲区的可用空间而制定的，满足清理规则的数据文件将会被程序自动清理，以腾出空间为新数据文件使用。
通常数据缓冲区会保留同一个文件前缀的不同文件日期的数据文件，如图3-3所示。
图3-3 数据缓冲区中的文件列表（部分）
数据缓冲区中的文件如果不进行清理，则会耗尽磁盘空间，导致数据缓冲区无法继续提供服务。清理规则可能非常简单，例如，每日23:00自动清除一个月前的数据文件。
根据上述清理规则，每天在23:00时，程序将根据数据缓冲区中文件名称的文件日期，自动删除一个月前的历史数据，腾出的存储空间将用于次日凌晨接收新的数据文件。
