基于DataFlux进行养猪场实时数据模拟生成和分析实践

一、 养猪场的数据分析需求
现代化养猪场具有如下特点：规模化、工业化、跨界养猪、周期较长、对安全重视、管理精细化、信息化程度较高。
注重各项经济指标，如：提高生猪综合成活率、降低饲料消耗与增重比（即料肉比）、节省饲料、节能降耗。
大型猪场具备较完整的信息化系统，具体如下图所示：

猪场数据分析需求如下：
1、 业务需求：
A. 老板：
 价格分析：各地猪肉价格，猪粮比=猪肉价格/饲料价格
 本月可出售量分析：超过一定重量的猪的数量
 资产分析：不同类别生猪价格*存栏生猪总重量总和
B. 场长
 存栏量分析：据此制定经营生产计划
C. 生产线主管：
 关心猪是否生病：猪体温超标预警，避免猪瘟等疾病爆发
 检验检疫记录分析
2、 技术需求：
A. 自动采集多个不同数据源的数据，包括：
 自动监控系统
 信息管理系统
 来自于互联网上的各种价格数据
B. 实时采集、实时分析、实时展示、实时告警
C. 能预测相关指标
D. 如有问题能通过各种方式进行提醒、预警
E. 数据分析相关系统投入不能太大
以下为主要分析需求示例：
1、 猪价分析
A. 全国或不同省份、不同生猪类型的猪价实时分析图
B. 全国或不同省份玉米价格的实时分析图
C. 全国或不同省份猪粮比实时分析图
猪粮比为重要经济指标，超过或低于特定门限需要预警，如下图所示：

2、 存栏量分析
A. 全国三个猪场存栏量实时展示
B. 超过或低于正常存栏量20%视为异常，进行预警
3、 猪体温分析（疫情分析）
根据资料，猪的体温有以下特点：

本案例中简单起见，分为三种生猪：
1、小猪：正常体温 39.3 度
2、母猪：正常体温 38.7 度
3、公猪：正常体温 38.4 度
生猪体温超过正常体温0.5度即视为不正常体温，进行预警。
4、 资产分析
各猪场存栏生猪总资产实时展示
总资产 V = ∑（Pi * ∑Wi）

i：        生猪类别，包括外三元、内三元、土杂猪
Pi：   不同类型生猪价格
∑Wi：为存栏不同种类的生猪体重之和

5、 本月可出售量分析
生猪养殖超过6个月可以出栏销售。根据猪的出生日期，超过6个月为本月可出售数量、重量、总价格。对这些指标进行实时展示
6、 检验检疫分析
疫苗接种，每头猪接种一次（按以下顺序，前一种疫苗接种了才能接种后续疫苗）：
 SF1 猪瘟疫苗
 FMD 口蹄疫疫苗
 SF2 猪瘟疫苗 AR1 萎鼻疫苗
 JE 乙脑疫苗（前序疫苗为AR1，不需要SF2）
 PPV 细小病毒疫苗
 AD 伪狂犬疫苗
二、 如何使用DataFlux进行养猪场数据分析
DataFlux是实时大数据分析平台。通过对任何来源、类型、规模的实时数据进行监控、分析和处理，释放数据价值，帮助企业从数据中洞察业务并有效预测，进而做出决策并采取行动，助力商业决策。
DataFlux的功能如下：
1、 多渠道数据采集和实时处理：支持云端数据采集、应用数据采集、日志数据采集、时序数据上报、常用数据库的数据汇聚；数据存储可无限扩展，实时处理和分析海量数据
2、 灵活构建面向不同业务场景的数据洞察：支持云产品性能监控、IT 设备监控、用户行为分析等数据洞察，并支持通过自定义 SQL 查询和检索实时数据，提供丰富的可视化监控视图
3、 简单易用的告警触发器和基线：支持自定义基线和触发动作，快速定位业务异常发生的时间范围，同时支持多个检测指标和触发条件的实时数据监测告警
4、 预测和数据交叉分析：对于任何来源的实时数据进行多维度交叉分析，基于智能算法进行预测，实现数据洞察和科学的业务决策
DataFlux功能全图如下：

猪场分析事实数据源可能来自于：
 自动监控系统数据
 管理信息系统数据
 来自互联网的价格数据
 手工录入数据
本案例中由DataMock模拟数据源生成数据，并实施上报数据到数据网关DataWay。最终在DataFlux中完成数据统一存储、处理、数据洞察，支持各应用场景的实现。如下图所示：

三、 基于DataMock模拟生成养猪场数据
通过 DataMock 数据模拟器，用户可以：
• 生成模拟数据上报到 DataFlux 中心
• 基于模拟数据可以快速构建和验证自身的数据洞察场景，即 DataKit 和 DataWay 是否正常工作。
DataMock数据模拟器的使用：
1、 下载安装
在DataFlux的主页的“集成”页面获得DataMock的下载地址（Windows、Linux、Mac版本），解压即可，获得两个文件：
 可执行文件 datamock
 配置文件 config.yaml
2、 配置
写配置文件config.yaml是非常重要的环节。配置文件主要包括两个部分：
 DataWay网关地址，可以是云端DataWay或本地Dataway。
 Measurement指标集配置
本案例中模拟的指标集有四个：
 价格指标集
 生猪库存指标集
 疫苗接种指标集
 体检指标集
具体如下：

具体配置如下：

3、 启动
赋予DataMock可执行权限后直接启动即可，生成样例数据如下：

四、 养猪场数据洞察
在 DataFlux 中，用户可以根据不同的视角构建不同的洞察「场景」，通过查看场景下的数据可视化图表分析，从而满足不同业务的场景需求和数据分析。
步骤如下：
1、 添加场景
2、 添加节点
3、 可视化的分析和检索

最终的洞察结果可以通过图表和数据集展现。
其中数据的计算有三种方式，按照从易到难排序：

1、 UI直接处理数据
2、 使用SQL处理
3、 使用函数平台进行实时数据处理开发。
处理步骤：
1、 创建场景

2、 添加节点

3、 添加图表
 UI直接添加
 价格分析

 体温分析

 体检检疫流程分析

 时序数据库SQL语句计算
 猪粮比分析

 存栏量分析

 利用DataFlux.f(x)，它是DataFlux 附带的基于Python 3的可编程数据处理组件，主要目的在于进一步拓展DataFlux在数据处理、展示方面的能力，在统一的平台上实现针对不同场景、行业、领域的专业化进阶功能。
 资产分析

 可出售量分析

并且可以配置自动触发设置，如下：

4、 告警触发设置

 “体温超标“触发规则设置步骤

采用钉钉告警：

 “猪粮比超限”触发规则设置步骤

五、 总结
本文首先介绍了DataMock生成养猪场模拟数据，然后基于DataFlux进行养猪场数据实时分析。初步熟悉了这两个产品的情况下，1天即可完成全流程的模拟和分析，DataFlux具有门槛低、速度快、实时性强、功能全面的特点。