openGauss向量化Merge Join--semi join

简介: openGauss向量化Merge Join--semi join

openGauss向量化执行引擎的Merge Join


1 什么是semi join


Semi join语义:对于外表一行值,只要内表有一行与之相等,即满足join条件,就输出外表值。这里需要注意,仅输出外表值,而不和对应内表值合并输出。


2 openGauss VecMergeJoin状态机


VecMergeJoin状态机如下图所示:

下面我们以一个例子为例,解释各个join的执行情况。

t30和t31的结构及数据如下:

    postgres=# select * from t30
    id1 | id2
    ----|----
    1  | 1
    2  | 3
    2  | 3
    (3 rows)
    postgres=# select * from t31
    id1 | id2
    ----|----
    1  | 1
    5  | 5
    2  | 3
    (3 rows)

    t30作为外表,t31作为内表,join条件为t30.id1=t31.id1。


    3 semi join


    SEMI JOIN的状态转换和INNER JOIN相同,参考上篇:

    https://mp.weixin.qq.com/s?__biz=MzU1OTgxMjA4OA==&mid=2247484966&idx=1&sn=acca9c99807d339394ef00c3bd6cfeb1&chksm=fc10dab1cb6753a70f7e8f20563a52a6927f5e4b3fe1b8f572fbc38f5a3044b2a4b4f86a67f5&token=71514095&lang=zh_CN#rd

    这里不再赘述。不同之处在于JOIN结果Produce的过程。即ProduceResultBatchT函数完成的功能,这里针对ProduceResultBatchT函数说明semi join最后的处理过程。

    在执行ProduceResultBatchT函数前,m_pInnerMatch和m_pOuterMatch的值分别为:


    m_pInnerMatch m_pOuterMatch
        1             1
        2             2
        2             2

    需要对上面的值进行处理:

    1)更新m_pInnerMatch和m_pOuterMatch每列的行值为m_pInnerMatch的m_rows。因为对于NULL,他没有更新对应列行数

    2)pSelection[]数组都置为true,表示:上面两个batch选取哪行,哪行就为true。这里先置为true,方便下面计算

    3)针对每一行,都需要判断当前一行和下一行匹配的值是否在同一个位置,也就是源batch的第几行。如果在同一个位置,就表示后面的一个需要取消,即置为false。

    4)假设一个batch仅能容纳2行,下图的例子,红线上面:外表的4和内表2个4匹配,需要join,此时第2个匹配的根据SEMI JOIN语义需要去掉,即将对应的pSelect[]数组值置为false。

    5)红线上面的输出后,需要循环再次进入ExecVecMergeJoinT函数接着EXEC_MJ_NEXTINNER状态进行处理。此时已经跨了batch,则需要另外一个条件来判断是否重复。

    4)5)的条件为:

    第一个if针对跨batch的,第二个for循环的条件针对同一个batch的。这里详细解释下第一个条件:

    当跨batch时输出时,m_prevOuterOffset为外表当前扫描位置。再次循环进来比较时外表值是clause->ldatum,他的位置仍然保持是m_prevOuterOffset的位置,所以此时使用第一个条件即可更新pSelect[]数组。

    那么为什么同样使用第2个条件呢?因为如上图例子,第二次进来后处理第一个值是需要和上一个batch的最后一个记录比较,而不是本次的下一个比较(当然本次也没有下一个值)。

    以上即使SEMI JOIN向量化机制。比较晦涩,希望能够给大家抛砖引玉,带来方便。

    目录
    相关文章
    |
    10月前
    openGauss向量化Merge Join--inner join
    openGauss向量化Merge Join--inner join
    59 0
    openGauss向量化Merge Join--inner join
    |
    10月前
    |
    OLAP Serverless
    openGauss向量化引擎--hash join
    openGauss向量化引擎--hash join
    91 0
    Hive中的in、exists和left semi join
    Hive中的in、exists和left semi join
    Hive中的in、exists和left semi join
    |
    SQL 关系型数据库 MySQL
    MySQL - LEFT JOIN、RIGHT JOIN、INNER JOIN、CROSS JOIN、FULL JOIN
    MySQL - LEFT JOIN、RIGHT JOIN、INNER JOIN、CROSS JOIN、FULL JOIN
    353 0
    MySQL - LEFT JOIN、RIGHT JOIN、INNER JOIN、CROSS JOIN、FULL JOIN
    |
    SQL 分布式计算 并行计算
    PostgreSQL 并行计算解说 之11 - parallel gather, gather merge
    标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan parallel index sc
    1586 0
    |
    SQL 分布式计算 并行计算
    PostgreSQL 并行计算解说 之18 - parallel merge join
    标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan
    844 0
    |
    SQL 存储 弹性计算
    PostgreSQL sharding extensino citus 优化器 Query Processing 之 - Subquery/CTE Push-Pull Execution
    标签 PostgreSQL , citus , sharding , push , pull , 优化器 背景 citus 是postgresql的sharding 开源中间件,2018年被微软收购,插件依旧开源。 在处理非常复杂的SQL时,CITUS使用推拉模型,支持跨节点的数据交换,用以处理复杂SQL。 中间结果的push,pull过程: push : shard ->
    248 0
    |
    SQL 人工智能 分布式计算
    PostgreSQL 并行计算解说 之20 - parallel partition table wise join
    标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan
    403 0
    |
    关系型数据库 PostgreSQL