基于DataFlux进行养猪场实时数据模拟生成和分析实践-阿里云开发者社区

开发者社区> telyn> 正文

基于DataFlux进行养猪场实时数据模拟生成和分析实践

简介: 摘要:DataFlux是驻云科技的实时大数据分析平台。经过对养猪场的数据分析需求,使用DataMock数据模拟器模拟生成原始数据并上传至DataFlux,快速实现了对养猪场数据的分析全流程。 注:本次业务分析、模拟数据分析生成和实践主要为培训和演示用途,旨在快速了解DataMock和DataFlux进行实时数据分析的功能和流程。
+关注继续查看

一、 养猪场的数据分析需求
现代化养猪场具有如下特点:规模化、工业化、跨界养猪、周期较长、对安全重视、管理精细化、信息化程度较高。
注重各项经济指标,如:提高生猪综合成活率、降低饲料消耗与增重比(即料肉比)、节省饲料、节能降耗。
大型猪场具备较完整的信息化系统,具体如下图所示:
image.png

猪场数据分析需求如下:
1、 业务需求:
A. 老板:
 价格分析:各地猪肉价格,猪粮比=猪肉价格/饲料价格
 本月可出售量分析:超过一定重量的猪的数量
 资产分析:不同类别生猪价格*存栏生猪总重量总和
B. 场长
 存栏量分析:据此制定经营生产计划
C. 生产线主管:
 关心猪是否生病:猪体温超标预警,避免猪瘟等疾病爆发
 检验检疫记录分析
2、 技术需求:
A. 自动采集多个不同数据源的数据,包括:
 自动监控系统
 信息管理系统
 来自于互联网上的各种价格数据
B. 实时采集、实时分析、实时展示、实时告警
C. 能预测相关指标
D. 如有问题能通过各种方式进行提醒、预警
E. 数据分析相关系统投入不能太大
以下为主要分析需求示例:
1、 猪价分析
A. 全国或不同省份、不同生猪类型的猪价实时分析图
B. 全国或不同省份玉米价格的实时分析图
C. 全国或不同省份猪粮比实时分析图
猪粮比为重要经济指标,超过或低于特定门限需要预警,如下图所示:
image.png

2、 存栏量分析
A. 全国三个猪场存栏量实时展示
B. 超过或低于正常存栏量20%视为异常,进行预警
3、 猪体温分析(疫情分析)
根据资料,猪的体温有以下特点:
image.png
本案例中简单起见,分为三种生猪:
1、小猪:正常体温 39.3 度
2、母猪:正常体温 38.7 度
3、公猪:正常体温 38.4 度
生猪体温超过正常体温0.5度即视为不正常体温,进行预警。
4、 资产分析
各猪场存栏生猪总资产实时展示
总资产 V = ∑(Pi * ∑Wi)

i:        生猪类别,包括外三元、内三元、土杂猪
Pi:   不同类型生猪价格
∑Wi:为存栏不同种类的生猪体重之和

5、 本月可出售量分析
生猪养殖超过6个月可以出栏销售。根据猪的出生日期,超过6个月为本月可出售数量、重量、总价格。对这些指标进行实时展示
6、 检验检疫分析
疫苗接种,每头猪接种一次(按以下顺序,前一种疫苗接种了才能接种后续疫苗):
 SF1 猪瘟疫苗
 FMD 口蹄疫疫苗
 SF2 猪瘟疫苗 AR1 萎鼻疫苗
 JE 乙脑疫苗(前序疫苗为AR1,不需要SF2)
 PPV 细小病毒疫苗
 AD 伪狂犬疫苗
二、 如何使用DataFlux进行养猪场数据分析
DataFlux是实时大数据分析平台。通过对任何来源、类型、规模的实时数据进行监控、分析和处理,释放数据价值,帮助企业从数据中洞察业务并有效预测,进而做出决策并采取行动,助力商业决策。
DataFlux的功能如下:
1、 多渠道数据采集和实时处理:支持云端数据采集、应用数据采集、日志数据采集、时序数据上报、常用数据库的数据汇聚;数据存储可无限扩展,实时处理和分析海量数据
2、 灵活构建面向不同业务场景的数据洞察:支持云产品性能监控、IT 设备监控、用户行为分析等数据洞察,并支持通过自定义 SQL 查询和检索实时数据,提供丰富的可视化监控视图
3、 简单易用的告警触发器和基线:支持自定义基线和触发动作,快速定位业务异常发生的时间范围,同时支持多个检测指标和触发条件的实时数据监测告警
4、 预测和数据交叉分析:对于任何来源的实时数据进行多维度交叉分析,基于智能算法进行预测,实现数据洞察和科学的业务决策
DataFlux功能全图如下:
image.png
猪场分析事实数据源可能来自于:
 自动监控系统数据
 管理信息系统数据
 来自互联网的价格数据
 手工录入数据
本案例中由DataMock模拟数据源生成数据,并实施上报数据到数据网关DataWay。最终在DataFlux中完成数据统一存储、处理、数据洞察,支持各应用场景的实现。如下图所示:
image.png

三、 基于DataMock模拟生成养猪场数据
通过 DataMock 数据模拟器,用户可以:
• 生成模拟数据上报到 DataFlux 中心
• 基于模拟数据可以快速构建和验证自身的数据洞察场景,即 DataKit 和 DataWay 是否正常工作。
DataMock数据模拟器的使用:
1、 下载安装
在DataFlux的主页的“集成”页面获得DataMock的下载地址(Windows、Linux、Mac版本),解压即可,获得两个文件:
 可执行文件 datamock
 配置文件 config.yaml
2、 配置
写配置文件config.yaml是非常重要的环节。配置文件主要包括两个部分:
 DataWay网关地址,可以是云端DataWay或本地Dataway。
 Measurement指标集配置
本案例中模拟的指标集有四个:
 价格指标集
 生猪库存指标集
 疫苗接种指标集
 体检指标集
具体如下:
image.png
具体配置如下:
image.png

3、 启动
赋予DataMock可执行权限后直接启动即可,生成样例数据如下:
image.png

四、 养猪场数据洞察
在 DataFlux 中,用户可以根据不同的视角构建不同的洞察「场景」,通过查看场景下的数据可视化图表分析,从而满足不同业务的场景需求和数据分析。
步骤如下:
1、 添加场景
2、 添加节点
3、 可视化的分析和检索
image.png

最终的洞察结果可以通过图表和数据集展现。
其中数据的计算有三种方式,按照从易到难排序:

1、 UI直接处理数据
2、 使用SQL处理
3、 使用函数平台进行实时数据处理开发。
处理步骤:
1、 创建场景
image.png

2、 添加节点
image.png

3、 添加图表
 UI直接添加
 价格分析
image.png

 体温分析
image.png

 体检检疫流程分析
image.png
image.png

 时序数据库SQL语句计算
 猪粮比分析
image.png

 存栏量分析
image.png

 利用DataFlux.f(x),它是DataFlux 附带的基于Python 3的可编程数据处理组件,主要目的在于进一步拓展DataFlux在数据处理、展示方面的能力,在统一的平台上实现针对不同场景、行业、领域的专业化进阶功能。
 资产分析
image.png

 可出售量分析
image.png

并且可以配置自动触发设置,如下:
image.png

4、 告警触发设置
image.png

 “体温超标“触发规则设置步骤
image.png

采用钉钉告警:
image.png

 “猪粮比超限”触发规则设置步骤
image.png
image.png

五、 总结
本文首先介绍了DataMock生成养猪场模拟数据,然后基于DataFlux进行养猪场数据实时分析。初步熟悉了这两个产品的情况下,1天即可完成全流程的模拟和分析,DataFlux具有门槛低、速度快、实时性强、功能全面的特点。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
ML之FE:基于load_mock_customer数据集(模拟客户)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于load_mock_customer数据集(模拟客户)利用featuretools工具实现自动特征生成/特征衍生
38 0
css3中的关键帧技术分析应用
最近在研究网页加载进度效果的时候发现可以使用css3实现这个效果。 使用css3实现完全不需要图片,相比使用loading.gif的实现来说可能更快。 使用css3实现动态加载的效果,主要会涉及到几个关键的css3属性和概念:animate属性,keyframes关键帧概念。
907 0
为什么往dataGridView中添加数据会多一行
1、案例代码 this.dataGridView1.Rows.Clear(); if (Get_One_User(Convert.
730 0
基于DataFlux进行养猪场实时数据模拟生成和分析实践
摘要:DataFlux是驻云科技的实时大数据分析平台。经过对养猪场的数据分析需求,使用DataMock数据模拟器模拟生成原始数据并上传至DataFlux,快速实现了对养猪场数据的分析全流程。 注:本次业务分析、模拟数据分析生成和实践主要为培训和演示用途,旨在快速了解DataMock和DataFlux进行实时数据分析的功能和流程。
805 0
人工智能如何改变医疗保健 实时数据分析对医疗保健至关重要
科学家认为,人工智能可以使人类摆脱许多领域的例行任务。医疗保健似乎是最需要这些更改的领域。
484 0
DataWorks实时同步/实时ETL/批同步ETL灰度邀测中
DataWorks实时同步功能可以支持多种实时数据源(Kafka、MySQL Binlog,Oracle CDC等),可以将实时消息数据经过一些列处理后再写入目的数据源。同时在此前DataWorks数据集成强大EL(Extract-Load)能力基础之上,增加了数据处理能力(Transform),实现了完整了ETL链路。
2090 0
+关注
6
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载