Kettle查询与连接(七)

简介: Kettle查询与连接(七)

查询

流查询

  • 字典数据完全加载到内存后,在内存中查询,速度快,占内存。
  • 只支持“等于”的查询。 (不支持大于,小于等方式)
  • 如果匹配上多条,只保留最后一条。
  • 如果没有匹配上,新增的字段值为NULL。
  • 如果字典key和要查询的value都是integer,可以选中Key
    and value are exactly one integer field,节省内存。
  • Use sorted list:当比较的字符串比较长的,使用hash方式:

2019050616270083.png

20190506162857505.png

模糊匹配

  • 只支持单列的查询
  • 匹配相似度最大的字符串
  • 自定义匹配的取值范围
  • 支持模糊匹配算法

数据库查询

  • 只返回一行
  • 如果有多行结果: a只返回第-行,b失败
  • 对数据流里的每条记录都要做一次数据库查询,效率低。
  • 数据库查询(加载所有数据到缓存)=表输入+流查询

数据库连接

和单参数的表输入类型,但更灵活:

  • 可以自定义参数位置
  • 参数也可以输出

web查询

2019050621330867.png

记录集连接

20190506213012935.png

相关文章
|
6月前
|
缓存 监控
遇到Hologres慢查询列表的导出功能出现问题,无法下载查询结果的情况
【2月更文挑战第20天】遇到Hologres慢查询列表的导出功能出现问题,无法下载查询结果的情况
87 1
|
6月前
|
SQL 关系型数据库 MySQL
Flink数据问题之连接mysql无数据输出如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
6月前
|
数据库
kettle开发篇-记录集连接
kettle开发篇-记录集连接
151 0
|
6月前
|
数据库连接 数据库
kettle开发篇-流查询
kettle开发篇-流查询
157 0
|
6月前
|
Java 数据库连接 对象存储
实时计算 Flink版操作报错之表可以自动建,但数据无法导入,连接Starrocks 的be时候,报错,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用问题之连接到MySQL的从库时遇到其他服务也连接到了从库,该如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
关系型数据库 MySQL 数据库
实时计算 Flink版产品使用问题之如何排除某个列进行同步MySQL数据
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之数据源同步时,使用脚本模式采集mysql数据到odps中,使用querySql方式采集数据,在脚本中删除了Reader中的column,但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误。如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
6月前
|
SQL Oracle 关系型数据库
实时计算 Flink版操作报错合集之连接器换成2.4.2之后,mysql作业一直报错如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
172 3
|
6月前
|
JSON NoSQL MongoDB
mongodb导出聚合查询的数据
mongodb导出聚合查询的数据