开发者社区> 倔强的土豆> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

规则引擎在数据分析中的作用

简介:
+关注继续查看

前言:规则引擎通过将业务规则和开发者的技术决策分离实现了动态管理和修改业务规则而又不影响软件系统的需求。以下通过实例对基于SQL 查询、自定义规则等一系列场景来说明规则引擎在数据分析中的应用。

在现代的企业级项目开发中商业决策逻辑或业务规则往往是硬编码嵌入在系统各处代码中的。但是外部市场业务规则是随时可能发生变化的这样开发人员必须时刻准备修改、更新系统,降低了效率。在这种背景下规则引擎应运而生,它通过将业务规则和开发者的技术决策分离实现了动态管理和修改业务规则而又不影响软件系统的需求。规则引擎具有广泛的应用领域同样也适用于数据分析和清洗。

 

假设我们有以下所示的一个表结构:

字段名

字段类型

说明

Name

Varchar50

姓名

Sex

Int

性别(1:男,0:女)

Department

Varchar50

部门

Salary

Int

工资

 

我们可能需要判断工资(Salary)字段不超过5000,按照此规则对该表中的数据进行清洗分析。

 

在数据分析中数据通常存储在如上所示的数据库表中,并且数据量也是比较大的。不可能一次性地导入到内存中供规则引擎使用。因此我们将通过规则引擎来分批读取并导入数据到内存中。

 

通过规则引擎进行数据分析将遵从以下所示的结构步骤:

1:需分析的数据

2:数据读取

3:将数据写入内存

4:规则库

5:规则引擎

6:分析结果

工作原理:

首先从需要分析的数据库中按照批次读取数据,然后将读取的数据放入内存中,再按照规则对内存中的数据进行过滤分析,当内存中的数据分析完成后,清空内存中的数据,再读取下一批数据进来进行新一轮的分析,知道所有的数据处理完毕为止。

 

规则库

用于判断工资的业务内容我们用旗正规则引擎提供的自然语言来进行表示,从而构成规则库,如下图所示:

fded9d90291559a22134b9e56c139c5fedd49e38

上面的例子中,我们主要做的工作就是不停的判断人员的工资情况,大于5000就发出警告信息,并把该条数据提取出来,存放其他指定的地方。

 

下面我们再用一个实际的例子来做一个规则引擎的示例,说明如何用旗正规则引擎来表示数据分析中的业务规则

在车管所电子档案系统中存在如下所示的数据表:PF_Table,用于记录档案图片的基本信息,我们对该表进行数据分析,忽略数据的完整性和有效性,我们只看有多少数据违反了以下说明的业务规则

 

fNo(指标)

paNo(页号)

Path(存放路径)

caNo(文件)

baNo(业务)

0217233

1

\2008032403\0217233\1.jpg

406101

2008032403

0217233

2

\2008032403\0217233\2.jpg

406102

2008032403

0217233

3

\2008032403\0217233\3.jpg

406105

2008032403

0217233

4

\2008032403\0217233\4.jpg

406108

2008032401

 

业务规则

1path由三部分组成:业务类型,指标档案,页号。

业务类型:必须与baNo一致

指标档案:必须与fNo一致

页号:必须与paNo一致

我们可以把旗正规则引擎对数据的分析简单概括为3个步骤

1:规则引擎从数据库中读取数据,并将读取的数据加载到内存中

2:取出内存中的数据进行分析,校验,处理

3:返回结果数据,将脏数据存储到指定的地方或者输出其他的文件和信息

 

第一步:取出数据

这个过程主要是通过规则引擎从数据库中读取数据,并把数据存放到内存中,旗正规则引擎规则引擎提供一个独特的功能,就是允许规则引擎直接访问数据库,而不需要其他任何外部程序代码来协助。过程和传统的编码方式一样,编写SQL查询语句,然后执行查询,将结果存入内存。

对一个数据库进行分析的过程中,数据量肯定是巨大的,所以在编写SQL语句读取数据这个环节,我们要做一个说明:它可能需要DBA或者是专业的数据库操作人员来完成,这个和规则引擎没有关系,规则引擎只负责执行查询,以及后续动作。

在这里我仅用一个简单的查询语句来说明旗正规则引擎提供的这个功能:

select top(10) * fromPF_Table

这表示我只读取PF_Table数据表的前10条数据来进行处理

c8bf7bb5cef1147777372807691795d01086894c

 

通过规则引擎对象库中添加test.dbs数据库连接对象,然后通过该连接就可以直接访问数据库,编写查询,插入,删除,更新等语句

SQL语句编写完成后,我们就可以在规则中执行该语句

33966f961b047f4c98edee5db185143833f5fe88

 

在规则包中添加一条规则,然后将复制的执行SQL的方法粘贴到规则的那么

c8bf7bb5cef1147777372807691795d01086894c

 

这样,当规则运行的时候就会执行该查询,同时会把查询得到的数据放入到内存中,在这里我们定义了内存表这个规则对象,可以直观的看到内存中的数据

第二步:数据分析处理

数据加载到内存中以后,我们需要取出来用配置好的规则来进行分析过滤

因为path3部分组成,每个部分都有对应的规则,所以我们先把这3部分按照特定的字符来分开,然后看第一部分是否与业务类型一致,第二部分是否与指标档案,第三部分的数字是否与页号一致,如果任何一个不一致,那么该条数据是错误的数据

d621d6da71f9a88f8aaa0142402b7c7526bd6384

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
数据清洗中的正则
数据清洗中经常使用的正则表达式
15 0
mysql数据库(9):常用查询的例子(下)
mysql数据库(9):常用查询的例子
50 0
mysql数据库(9):常用查询的例子(上)
mysql数据库(9):常用查询的例子
49 0
规则引擎
我是阿里巴巴做规则引擎相关工作多年的java工程师一枚,本职工作就是通过规则引擎、规则管理平台等技术输出,来应对阿里巴巴复杂多变的上层规则相关业务的支持。限于技术保密、安全等因素,本文只讲一些个人对“规则引擎”的看法,欢迎大家一起探讨。
21788 0
数据同步中的误导
今天同事让我帮一个忙,说现在有两个环境中的一张表数据不一致,已经造成了一些数据问题,他们已经排查了一圈,最后发现是一张表的数据问题导致,希望我来帮忙协助一下。 他们提供了详细的源库,目标库的链接,看起来一起都明确了,那DBA需要做的事情就很明朗了。
672 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
实时数据分析演示
立即下载
《实时数据分析演示)》
立即下载
大数据驱动的实时信贷业务实践
立即下载