数据集成模块转换组件之过滤组件介绍

作者：坚乃

在数据集成的过程中，在一些场景下，需要对原始数据进行转换操作，过滤组件可对上游数据根据配置条件进行过滤，本文将介绍如何进行过滤组件的配置。

1 组件说明

用于对上游数据根据配置条件进行过滤。

2 原理说明

系统内置一些常用的用于比较的算子，支持对上游一个或多个字段进行预设组合逻辑判断

3 使用说明

如上图所示、分别可以配置步骤名称、筛选条件、其中输入字段与输出字段不可配置

• 步骤名称

• 步骤名称为组件步骤名称，必填且根据实际情况进行命名。对实际运行无影响。

• 筛选条件

• 脚本模式

• 点击界面上的脚本模式即可切换到脚本模式，根据业务情况进行预设的逻辑配置。

• 不需要写 where，直接填写 where 语句后的内容
• 操作符支持：=、!=、>、>=、<、<=、like、is null、is not null
• 写法示例： user_id is not null and name != 'xxx'

• 配置模式

• 字段处配置需要过滤的字段
• 操作符支持：=、 !=、 >、 >=、 <、 <=、 LIKE、 IS NULL、 IS NOT NULL
• 内容 在选择操作符之后，会弹出选项 表字段 或者 自定义，如果是选择表字段，那么字段内容只能选择上游输入组件的表字段。如果有自定义参数需求，那么选择自定义，且在后面的数据框中输入自定义内容

4 配置说明

[
 {
   "func": ">",   //枚举类型 >,>=,==,!=,<=,< ,CONTAINS,NOT_CONTAINS,START_WITH,END_WITH,IS_NULL,IS_NOT_NULL
   "leftValue": "id", // 字段名
   "rightValue": {
                "text": "0",
                "type": "Number"  // Column ,Number , String(支持单，双引号)
              }
  },
  {
    "func": "=",
    "leftValue": "name",
    "rightValue": {},
    "operator": "AND" // 枚举类型 AND , OR 
   }
]

• condition

• 描述：条件表达式，例如 id>0
• 必选：是

• conditionObject

• 描述： 条件表达式对象
• 必选：是

5 特别注意

脚本模式需要特别注意不需要写WHERE