开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬们知道Flink 采用lookup join 3张维表第一二张表on条件和主表等值?

大佬们知道Flink 采用lookup join 3张维表第一二张表on条件和主表等值,第三张表和第二张表字段等值,这样写有什么不妥?第三张加上for system和不加有区别?

展开
收起
真的很搞笑 2023-09-28 12:13:45 132 0
1 条回答
写回答
取消 提交回答
  • 首先,我们需要知道什么是维表 join。维表 join 是指在一个数据库查询中,使用维表作为表连接的一部分。维表通常包含一些有关主表中记录的信息,例如记录的名称或类别。利用维表可以让我们在查询主表时轻松地添加一些额外的上下文信息。

    在 Flink 中,我们可以使用 lookup join 来实现维表 join。lookup join 是指在对主表进行查询时,从维表中查找与主表中记录匹配的记录。这可以让我们在查询主表时轻松地添加一些额外的上下文信息。

    要使用 lookup join,我们需要创建一个维表对象。维表对象可以使用 Java 中的 Map 或 HashMap 来表示。维表对象中的每个键都对应于维表中的一行记录。每个值都对应于主表中的一行记录。

    创建维表对象后,我们可以使用 Flink 的 lookupJoin 函数来执行维表 join。lookupJoin 函数接受主表、维表和一个 on 条件作为参数。on 条件是主表和维表中用于匹配记录的列的名称。

    当我们调用 lookupJoin 函数时,Flink 会遍历主表中的每一行记录。对于每行记录,Flink 都会在维表中查找与该记录匹配的记录。如果找到了匹配的记录,Flink 就会将主表中的记录和维表中的记录连接起来。如果没有找到匹配的记录,Flink 就会将主表中的记录作为输出。

    2023-10-12 11:27:48
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载