作者:坚乃
在数据集成的过程中,在一些场景下,需要新增一些字段,字段计算组件可用于增加自定义字段,本文将介绍如何进行字段计算组件的配置。
1 组件说明
用于增加自定义字段。
2 原理说明
系统内置较为丰富的函数算子,包括日期类、字符串类、数学函数等常用的算子。可基于上游字段衍生新的字段,也可以生成常量等。
3 使用说明
当字段计算组件链接下游输出组件时,点击属性配置进行设置
如上图所示、分别可以配置步骤名称、输出字段、新建字段
- 步骤名称
- 步骤名称为组件步骤名称,必填且根据实际情况进行命名。对实际运行无影响。
- 输出字段
- 输出的字段为上游输出组件的字段,需要输出的字段和字段数量可以根据需要进行删除或者调整位置
- 新建字段
- 如上图所示,新建字段中可以配置名称、表达式、数据类型、函数*
- 名称 名称为字段名称,由字母、数字、下划线组成,长度应为64个字符以内。
- 表达式 系统内预设大量可供使用的函数算子、可在表达式输入框内编写表达式来满足业务相关需求。
- 数据类型数据类型为pipeline映射类型并非数据库实际类型,为数据库类型抽象而来,根据实际情况选择需要的类型。
- 函数*
- 系统内预设大量的函数算子可供使用,可根据实际情况进行选取使用
- 使用方式可查询对应的函数的说明和示例来使用
4 配置说明
- calculateColumns
- 描述:新增的字段,JSON对象数组
{ "columnType":"Long/Double/Date/String/Boolean", "expression":"计算表达式,参考算子使用说明", "function":"算子名称", "outputColumnName":"输出字段名称", --optional "dateFormat":"yyyy-MM-dd/yyyyMMdd", --optional "sensitiveType":"ID_CARD/PERSONAL_NAME/MOBILE_PHONE/EMAILBANK_CARD/IP_V4_ADDRESS/LICENSE_PLATE_NUMBER" }
- 必选:是
- originalColumns
- 描述:上游的原始字段列表
- 必选:是
4 特别注意
字段计算组件中的数据类型为pipeline映射类型并非数据库实际类型,为数据库类型抽象而来。根据实际情况选择需要的类型。