数据集成模块转换组件之字段计算介绍

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在数据集成的过程中,在一些场景下,需要新增一些字段,字段计算组件可用于增加自定义字段,本文将介绍如何进行字段计算组件的配置。

作者:坚乃


在数据集成的过程中,在一些场景下,需要新增一些字段,字段计算组件可用于增加自定义字段,本文将介绍如何进行字段计算组件的配置。


1 组件说明

用于增加自定义字段。

2 原理说明

系统内置较为丰富的函数算子,包括日期类、字符串类、数学函数等常用的算子。可基于上游字段衍生新的字段,也可以生成常量等。

3 使用说明

当字段计算组件链接下游输出组件时,点击属性配置进行设置

81.png

如上图所示、分别可以配置步骤名称、输出字段、新建字段

  • 步骤名称
  • 步骤名称为组件步骤名称,必填且根据实际情况进行命名。对实际运行无影响。
  • 输出字段
  • 输出的字段为上游输出组件的字段,需要输出的字段和字段数量可以根据需要进行删除或者调整位置
  • 新建字段

82.png

  • 如上图所示,新建字段中可以配置名称表达式数据类型函数*
  • 名称 名称为字段名称,由字母、数字、下划线组成,长度应为64个字符以内。
  • 表达式 系统内预设大量可供使用的函数算子、可在表达式输入框内编写表达式来满足业务相关需求。
  • 数据类型数据类型为pipeline映射类型并非数据库实际类型,为数据库类型抽象而来,根据实际情况选择需要的类型。
  • 函数*

83.png

  • 系统内预设大量的函数算子可供使用,可根据实际情况进行选取使用
  • 使用方式可查询对应的函数的说明和示例来使用


4 配置说明

  • calculateColumns
  • 描述:新增的字段,JSON对象数组
{
              "columnType":"Long/Double/Date/String/Boolean",
              "expression":"计算表达式,参考算子使用说明",
              "function":"算子名称",
              "outputColumnName":"输出字段名称",
             --optional "dateFormat":"yyyy-MM-dd/yyyyMMdd",
              --optional "sensitiveType":"ID_CARD/PERSONAL_NAME/MOBILE_PHONE/EMAILBANK_CARD/IP_V4_ADDRESS/LICENSE_PLATE_NUMBER"
}


  • 必选:是
  • originalColumns
  • 描述:上游的原始字段列表
  • 必选:是

4 特别注意

字段计算组件中的数据类型为pipeline映射类型并非数据库实际类型,为数据库类型抽象而来。根据实际情况选择需要的类型。

目录
相关文章
|
1月前
|
移动开发 数据可视化 小程序
可视化集成相当优秀ucharts图表组件
可视化集成相当优秀ucharts图表组件
47 3
|
3月前
|
缓存 负载均衡 Java
OpenFeign最核心组件LoadBalancerFeignClient详解(集成Ribbon负载均衡能力)
文章标题为“OpenFeign的Ribbon负载均衡详解”,是继OpenFeign十大可扩展组件讨论之后,深入探讨了Ribbon如何为OpenFeign提供负载均衡能力的详解。
OpenFeign最核心组件LoadBalancerFeignClient详解(集成Ribbon负载均衡能力)
|
3月前
【Azure Function】Function App和Powershell 集成问题, 如何安装PowerShell的依赖模块
【Azure Function】Function App和Powershell 集成问题, 如何安装PowerShell的依赖模块
|
4月前
|
应用服务中间件 Linux nginx
FFmpeg开发笔记(四十)Nginx集成rtmp模块实现RTMP推拉流
《FFmpeg开发实战》书中介绍了如何使用FFmpeg向网络推流,简单流媒体服务器MediaMTX不适用于复杂业务。nginx-rtmp是Nginx的RTMP模块,提供基本流媒体服务。要在Linux上集成rtmp,需从官方下载nginx和nginx-rtmp-module源码,解压后在nginx目录配置并添加rtmp模块,编译安装。配置nginx.conf启用RTMP服务,监听1935端口。使用ffmpeg推流测试,如能通过VLC播放,表明nginx-rtmp运行正常。更多详情见书本。
116 0
FFmpeg开发笔记(四十)Nginx集成rtmp模块实现RTMP推拉流
|
4月前
|
安全 JavaScript
2. 集成 uni-ui 组件库
2. 集成 uni-ui 组件库
37 0
|
5月前
|
分布式计算 DataWorks 调度
DataWorks操作报错合集之DataX访问MaxCompute(原ODPS)突然无法读取到字段数据,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
5月前
|
分布式计算 运维 大数据
MaxCompute产品使用问题之数据集成任务有脏数据,如何快速定位哪些字段有问题
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5月前
|
XML Java 应用服务中间件
在Web Application中集成CAS登录模块
在Web Application中集成CAS登录模块
41 0
|
6月前
|
缓存 Java Spring
单体项目中资源管理模块集成Spring Cache
该内容是关于将Spring Cache集成到资源管理模块以实现缓存同步的说明。主要策略包括:查询时添加到缓存,增删改时删除相关缓存。示例代码展示了@Service类中使用@Transactional和@Cacheable注解进行缓存操作,以及在RedisTemplate中处理缓存的示例。
46 5
|
6月前
|
机器学习/深度学习 移动开发 数据挖掘
如何在python 深度学习Keras中计算神经网络集成模型
如何在python 深度学习Keras中计算神经网络集成模型

热门文章

最新文章