ETL(四):LOOKUP查找转换组件的使用(一)

简介: ETL(四):LOOKUP查找转换组件的使用(一)

1、在我的ETL(三)这篇文章中,我们使用“汇总转换”组件和“表达式转换”组件,将items中的源数据,按照供应商分组,求出了产品的最大价格、最小价格…如下图所示;

image.png


学习本篇文章可以参考我的上一篇文章:https://blog.csdn.net/weixin_41261833/article/details/103639918

2、本篇文章需求:在上述结果的基础上,使用lookup查找转换组件进行匹配查找,找出每个供应商id对应的供应商的名称,每个供应商id和供应商的名称对应关系如下图所示;

image.png


3、开发步骤

我们直接在以前开发步骤上添加、修改某些步骤,即可完成上述需求,因此我们还是在文件夹test_aggregation中进行开发;

image.png


2)重新定义目标表

① 给原来的目标表新增一个字段MANUFACTURER_NAME;

image.png

② 生成并执行sql,新的目标表才能真正被创建;

image.png

③ 在上述基础上,进行如下操作;

image.png

④ 此时,可以去edw用户下查看重新生成的目标表;

image.png


3)重新定义映射

① 当我们重新定义目标表后,映射也会跟着改变,如下图所示;

image.png

② 添加一个“lookup查找转换组件”;

image.png

效果如下:

image.png

③ 将“汇总转换”组件中的MANUFACTURER_ID拖拉到“LOOKUP查找转换组件”,效果如下;

image.png

④ 下面进行“LOOKUP查找转换组件”的操作;

image.png

⑤ 还有一个需要注意的地方,如下所示;

image.png

相关文章
|
数据库 索引
elasticsearch中join类型数据如何进行父子文档查询?
elasticsearch中join类型数据如何进行父子文档查询?
|
SQL JavaScript 关系型数据库
API接口获得数据后处理JS数组(包含字符串对象)分组、过滤和筛选的解决方案
API接口获得数据后处理JS数组(包含字符串对象)分组、过滤和筛选的解决方案
158 0
|
缓存 自然语言处理 数据挖掘
白话Elasticsearch50-深入聚合数据分析之基于doc values正排索引的聚合内部原理
白话Elasticsearch50-深入聚合数据分析之基于doc values正排索引的聚合内部原理
108 0
|
存储 分布式计算 资源调度
MapReduce框架--InputFormat数据输入--切片优化(11)
MapReduce框架--InputFormat数据输入--切片优化(11)
295 0
MapReduce框架--InputFormat数据输入--切片优化(11)
|
运维 Kubernetes 安全
DO447使用过滤器和插件转换器--使用查找模板化外部数据
DO447使用过滤器和插件转换器--使用查找模板化外部数据
238 1
DO447使用过滤器和插件转换器--使用查找模板化外部数据
ETL(四):LOOKUP查找转换组件的使用(二)
ETL(四):LOOKUP查找转换组件的使用(二)
ETL(四):LOOKUP查找转换组件的使用(二)
|
Oracle 关系型数据库 数据库
ETL(六):筛选器转换组件的使用(一)
ETL(六):筛选器转换组件的使用(一)
ETL(六):筛选器转换组件的使用(一)