数据集成模块转换组件之字段计算介绍

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在数据集成的过程中,在一些场景下,需要新增一些字段,字段计算组件可用于增加自定义字段,本文将介绍如何进行字段计算组件的配置。

作者:坚乃


在数据集成的过程中,在一些场景下,需要新增一些字段,字段计算组件可用于增加自定义字段,本文将介绍如何进行字段计算组件的配置。


1 组件说明

用于增加自定义字段。

2 原理说明

系统内置较为丰富的函数算子,包括日期类、字符串类、数学函数等常用的算子。可基于上游字段衍生新的字段,也可以生成常量等。

3 使用说明

当字段计算组件链接下游输出组件时,点击属性配置进行设置

81.png

如上图所示、分别可以配置步骤名称、输出字段、新建字段

  • 步骤名称
  • 步骤名称为组件步骤名称,必填且根据实际情况进行命名。对实际运行无影响。
  • 输出字段
  • 输出的字段为上游输出组件的字段,需要输出的字段和字段数量可以根据需要进行删除或者调整位置
  • 新建字段

82.png

  • 如上图所示,新建字段中可以配置名称表达式数据类型函数*
  • 名称 名称为字段名称,由字母、数字、下划线组成,长度应为64个字符以内。
  • 表达式 系统内预设大量可供使用的函数算子、可在表达式输入框内编写表达式来满足业务相关需求。
  • 数据类型数据类型为pipeline映射类型并非数据库实际类型,为数据库类型抽象而来,根据实际情况选择需要的类型。
  • 函数*

83.png

  • 系统内预设大量的函数算子可供使用,可根据实际情况进行选取使用
  • 使用方式可查询对应的函数的说明和示例来使用


4 配置说明

  • calculateColumns
  • 描述:新增的字段,JSON对象数组
{
              "columnType":"Long/Double/Date/String/Boolean",
              "expression":"计算表达式,参考算子使用说明",
              "function":"算子名称",
              "outputColumnName":"输出字段名称",
             --optional "dateFormat":"yyyy-MM-dd/yyyyMMdd",
              --optional "sensitiveType":"ID_CARD/PERSONAL_NAME/MOBILE_PHONE/EMAILBANK_CARD/IP_V4_ADDRESS/LICENSE_PLATE_NUMBER"
}


  • 必选:是
  • originalColumns
  • 描述:上游的原始字段列表
  • 必选:是

4 特别注意

字段计算组件中的数据类型为pipeline映射类型并非数据库实际类型,为数据库类型抽象而来。根据实际情况选择需要的类型。

目录
相关文章
|
4月前
|
Java
SpringBoot集成RestTemplate组件
SpringBoot集成RestTemplate组件
42 0
|
2月前
|
消息中间件 监控 安全
【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 & 高效协同
【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 & 高效协同
|
2月前
|
小程序 IDE 定位技术
【社区每周】小程序支持预拉取地理位置;验收工具组件集成至“商家券”等产品文档(11月第五期)
【社区每周】小程序支持预拉取地理位置;验收工具组件集成至“商家券”等产品文档(11月第五期)
37 0
|
4月前
|
Java API
SpringBoot集成Swagger2组件
SpringBoot集成Swagger2组件
28 1
|
4月前
|
Oracle Java 关系型数据库
Generator【SpringBoot集成】代码生成+knife4j接口文档(2种模板设置、逻辑删除、字段填充 含代码粘贴可用)保姆级教程(注意事项+建表SQL+代码生成类封装+测试类)
Generator【SpringBoot集成】代码生成+knife4j接口文档(2种模板设置、逻辑删除、字段填充 含代码粘贴可用)保姆级教程(注意事项+建表SQL+代码生成类封装+测试类)
27 0
|
4月前
|
DataWorks 索引
DataWorks数据集成的时候,字段怎么自动截取了?
DataWorks数据集成的时候,字段怎么自动截取了?
33 1
|
4月前
|
分布式计算 Hadoop Java
hadoop sdk 优化小结(裁剪、集成kerberos组件、定制等)
hadoop sdk 优化小结(裁剪、集成kerberos组件、定制等)
40 0
|
5月前
|
Cloud Native Serverless 计算机视觉
Docker与Serverless计算的集成: Docker容器如何与Serverless计算结合。
集成Docker容器和Serverless计算是一种强大的方式,它结合了容器的可移植性和Serverless的自动伸缩性。在本文中,我们将深入探讨如何将这两种技术结合使用,以实现更灵活的应用程序部署方式。
152 0
|
7月前
|
容器
.NET Core - 选项框架:服务组件集成配置的最佳实践
.NET Core - 选项框架:服务组件集成配置的最佳实践
|
8月前
|
人工智能 监控 Java
SpringBoot实战(十五):Spring Boot Admin 集成告警模块
SpringBoot实战(十五):Spring Boot Admin 集成告警模块
169 0