openGauss向量化Merge Join--semi join

简介: openGauss向量化Merge Join--semi join

openGauss向量化执行引擎的Merge Join


1 什么是semi join


Semi join语义:对于外表一行值,只要内表有一行与之相等,即满足join条件,就输出外表值。这里需要注意,仅输出外表值,而不和对应内表值合并输出。


2 openGauss VecMergeJoin状态机


VecMergeJoin状态机如下图所示:

下面我们以一个例子为例,解释各个join的执行情况。

t30和t31的结构及数据如下:

    postgres=# select * from t30
    id1 | id2
    ----|----
    1  | 1
    2  | 3
    2  | 3
    (3 rows)
    postgres=# select * from t31
    id1 | id2
    ----|----
    1  | 1
    5  | 5
    2  | 3
    (3 rows)

    t30作为外表,t31作为内表,join条件为t30.id1=t31.id1。


    3 semi join


    SEMI JOIN的状态转换和INNER JOIN相同,参考上篇:

    https://mp.weixin.qq.com/s?__biz=MzU1OTgxMjA4OA==&mid=2247484966&idx=1&sn=acca9c99807d339394ef00c3bd6cfeb1&chksm=fc10dab1cb6753a70f7e8f20563a52a6927f5e4b3fe1b8f572fbc38f5a3044b2a4b4f86a67f5&token=71514095&lang=zh_CN#rd

    这里不再赘述。不同之处在于JOIN结果Produce的过程。即ProduceResultBatchT函数完成的功能,这里针对ProduceResultBatchT函数说明semi join最后的处理过程。

    在执行ProduceResultBatchT函数前,m_pInnerMatch和m_pOuterMatch的值分别为:


    m_pInnerMatch m_pOuterMatch
        1             1
        2             2
        2             2

    需要对上面的值进行处理:

    1)更新m_pInnerMatch和m_pOuterMatch每列的行值为m_pInnerMatch的m_rows。因为对于NULL,他没有更新对应列行数

    2)pSelection[]数组都置为true,表示:上面两个batch选取哪行,哪行就为true。这里先置为true,方便下面计算

    3)针对每一行,都需要判断当前一行和下一行匹配的值是否在同一个位置,也就是源batch的第几行。如果在同一个位置,就表示后面的一个需要取消,即置为false。

    4)假设一个batch仅能容纳2行,下图的例子,红线上面:外表的4和内表2个4匹配,需要join,此时第2个匹配的根据SEMI JOIN语义需要去掉,即将对应的pSelect[]数组值置为false。

    5)红线上面的输出后,需要循环再次进入ExecVecMergeJoinT函数接着EXEC_MJ_NEXTINNER状态进行处理。此时已经跨了batch,则需要另外一个条件来判断是否重复。

    4)5)的条件为:

    第一个if针对跨batch的,第二个for循环的条件针对同一个batch的。这里详细解释下第一个条件:

    当跨batch时输出时,m_prevOuterOffset为外表当前扫描位置。再次循环进来比较时外表值是clause->ldatum,他的位置仍然保持是m_prevOuterOffset的位置,所以此时使用第一个条件即可更新pSelect[]数组。

    那么为什么同样使用第2个条件呢?因为如上图例子,第二次进来后处理第一个值是需要和上一个batch的最后一个记录比较,而不是本次的下一个比较(当然本次也没有下一个值)。

    以上即使SEMI JOIN向量化机制。比较晦涩,希望能够给大家抛砖引玉,带来方便。

    目录
    打赏
    0
    0
    0
    0
    353
    分享
    相关文章
    PostgreSQL SQL扩展 ---- C语言函数(三)
    可以用C(或者与C兼容,比如C++)语言编写用户自定义函数(User-defined functions)。这些函数被编译到动态可加载目标文件(也称为共享库)中并被守护进程加载到服务中。“C语言函数”与“内部函数”的区别就在于动态加载这个特性,二者的实际编码约定本质上是相同的(因此,标准的内部函数库为用户自定义C语言函数提供了丰富的示例代码)
    通俗易懂理解三次握手、四次挥手(TCP)
    这篇文章用通俗的语言解释了TCP协议中的三次握手和四次挥手过程,通过比喻和详细的状态变化描述,帮助读者理解建立和断开连接的原理和原因。
    通俗易懂理解三次握手、四次挥手(TCP)
    PostgreSQL函数管理接口
    学习PostgreSQL服务端开发必须要对函数管理接口有比较深入的了解
    |
    12月前
    |
    stm32f407探索者开发板(二十一)——窗口看门狗
    stm32f407探索者开发板(二十一)——窗口看门狗
    511 0
    彻底理解Hive中的锁
    前面遇到过一次因为Hive中表被锁住了,导致定时任务一直失败。这两天又出现了表被锁,原因是连接hiveserver2过于频繁,mysql连接被打满,引发的连锁反应,导致我们的小时任务一直失败,下午重点注意到这个问题,才解决好。
    1625 0
    彻底理解Hive中的锁
    解决Tortoise git没有红色、绿色勾勾的问题
    网上搜了好多,感觉这个挺好用的(亲测有效)
    3030 0
    解决Tortoise git没有红色、绿色勾勾的问题
    PostgreSQL SQL扩展 ---- C语言函数(二)
    可以用C(或者与C兼容,比如C++)语言编写用户自定义函数(User-defined functions)。这些函数被编译到动态可加载目标文件(也称为共享库)中并被守护进程加载到服务中。“C语言函数”与“内部函数”的区别就在于动态加载这个特性,二者的实际编码约定本质上是相同的(因此,标准的内部函数库为用户自定义C语言函数提供了丰富的示例代码)
    PostgreSQL SQL扩展 ---- C语言函数(一)
    可以用C(或者与C兼容,比如C++)语言编写用户自定义函数(User-defined functions)。这些函数被编译到动态可加载目标文件(也称为共享库)中并被守护进程加载到服务中。“C语言函数”与“内部函数”的区别就在于动态加载这个特性,二者的实际编码约定本质上是相同的(因此,标准的内部函数库为用户自定义C语言函数提供了丰富的示例代码)
    AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等

    登录插画

    登录以查看您的控制台资源

    管理云资源
    状态一览
    快捷访问