PostgreSQL gin索引的部分匹配

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: 1. gin索引的部分匹配实现 gin除了可以做某个Key的精确匹配查询,但也能支持匹配一个Key范围的查询。  手册的说明如下: http://www.

1. gin索引的部分匹配实现

gin除了可以做某个Key的精确匹配查询,但也能支持匹配一个Key范围的查询。 
手册的说明如下:

http://www.postgres.cn/docs/9.3/gin-implementation.html#GIN-PARTIAL-MATCH

===========================================================================================

57.3.2. 部分匹配算法

GIN可以支持"部分匹配"查询。即:查询并不决定单个或多个键的一个精确的匹配, 而是, 可能的匹配落在一个合理的狭窄键值范围内(根据compare支持函数决定的键值排序顺序)。 此时,extractQuery方法并不返回一个用于精确匹配的键值,取而代之的是, 返回一个 要被搜索的键值范围的下边界,并且设置pmatch为true。 然后,这个键值范围被使用 comparePartial进行扫描。 comparePartial必须为一个相匹配的索引键返回0, 不匹配但依然在被搜索范围内时返回小于0的值,对超过可以匹配的范围的索引键则返回大于0的值。

===========================================================================================

2. btree-gin的例子

手册中的描述结合例子会更好理解。下面就看看btree-gin扩展中如何通过部分匹配支持比较操作符的。 
相关代码如下:

contrib/btreegin/btreegin--1.0.sql

CREATE OPERATOR CLASS int4_ops
DEFAULT FOR TYPE int4 USING gin
AS
    OPERATOR        1       <,
    OPERATOR        2       <=,
    OPERATOR        3       =,
    OPERATOR        4       >=,
    OPERATOR        5       >,
    FUNCTION        1       btint4cmp(int4,int4),
    FUNCTION        2       gin_extract_value_int4(int4, internal),
    FUNCTION        3       gin_extract_query_int4(int4, internal, int2, internal, internal),
    FUNCTION        4       gin_btree_consistent(internal, int2, anyelement, int4, internal, internal),
    FUNCTION        5       gin_compare_prefix_int4(int4,int4,int2, internal),
STORAGE         int4; 

以"<"操作符为例,实现"<"部分匹配的关键是ginextractqueryint4()和gincompareprefixint4()函数。下面是这两个函数的实现。

contrib/btreegin/btreegin.c

GIN_SUPPORT(int4) 

这是个复杂的宏,展开后就是下面的东西(注意里面的中文注释)。

...
Datum                                                                       \
gin_extract_query_int4(FunctionCallInfo fcinfo)                                 \
{                                                                           \
    Datum       datum = (fcinfo->arg[0]);                                   \
    int32      *nentries = (int32 *) ((Pointer) ((fcinfo->arg[1])));                    \
    StrategyNumber strategy = ((uint16) (((Datum) ((fcinfo->arg[2]))) & 0x0000ffff));                           \
    bool      **partialmatch = (bool **) ((Pointer) ((fcinfo->arg[3])));                \
    Pointer   **extra_data = (Pointer **) ((Pointer) ((fcinfo->arg[4])));               \
    Datum      *entries = (Datum *) palloc(sizeof(Datum));                  \
    QueryInfo  *data = (QueryInfo *) palloc(sizeof(QueryInfo));             \
    bool       *ptr_partialmatch;                                           \
                                                                            \
    *nentries = 1;                                                          \
    ptr_partialmatch = *partialmatch = (bool *) palloc(sizeof(bool));       \
    *ptr_partialmatch = ((bool) 0);                                             \
    if ( TypeInfo_int4.is_varlena )                                     \
        datum = ((Datum) (pg_detoast_datum((struct varlena *) ((Pointer) (datum)))));                   \
    data->strategy = strategy;                                              \
    data->datum = datum;                                                    \
    *extra_data = (Pointer *) palloc(sizeof(Pointer));                      \
    **extra_data = (Pointer) data;                                          \
                                                                            \
    switch (strategy)                                                       \
    {                                                                       \
        case 1:                                         \
        case 2:                                     \
            /* 在处理"<"和"<="操作符时,设置扫描的起始范围是int4的最小值,并在前面将比较值作为extra_data保存。 */
            entries[0] = TypeInfo_int4.leftmostvalue();                 \
            *ptr_partialmatch = ((bool) 1);                                     \
            break;                                                          \
        case 4:                                 \
        case 5:                                     \
            *ptr_partialmatch = ((bool) 1);                                     \
        case 3:                                         \
            entries[0] = datum;                                             \
            break;                                                          \
        default:                                                            \
            elog_start("E:\\OSSSrc\\postgresql-9.4.2\\postgresql-9.4.2\\contrib\\btree_gin\\btree_gin.c", 207, ((void *) 0)), \
    elog_finish(20, "unrecognized strategy number: %d", strategy);      \
    }                                                                       \
                                                                            \
    return ((Datum) (entries));                                             \
}           \
...
Datum                                                                       \
gin_compare_prefix_int4(FunctionCallInfo fcinfo)                                    \
{                                                                           \
    Datum       a = (fcinfo->arg[0]);                                       \
    Datum       b = (fcinfo->arg[1]);                                       \
    QueryInfo  *data = (QueryInfo *) ((Pointer) ((fcinfo->arg[3])));                    \
    int32       res,                                                        \
                cmp;                                                        \
                                                                            \
    cmp = ((int32) (((Datum) (DirectFunctionCall2Coll(                          \
                TypeInfo_int4.typecmp,                                  \
                (fcinfo->fncollation),                                          \
                (data->strategy == 1 ||                 \
                 data->strategy == 2)               \
                 ? data->datum : a,                                         \
                b))) & 0xffffffff));                                                        \
                                                                            \
    switch (data->strategy)                                                 \
    {                                                                       \
        case 1:                                         \
            /* If original datum > indexed one then return match */         \
            /* 在处理"<"操作符时,当extra_data中保存的比较值大于索引中的key时,返回0(匹配)并继续扫描,否则返回1(不匹配)退出扫描。 */
            if (cmp > 0)                                                    \
                res = 0;                                                    \
            else                                                            \
                res = 1;                                                    \
            break;                                                          \
        case 2:                                     \
            /* The same except equality */                                  \
            if (cmp >= 0)                                                   \
                res = 0;                                                    \
            else                                                            \
                res = 1;                                                    \
            break;                                                          \
        case 3:                                         \
            if (cmp != 0)                                                   \
                res = 1;                                                    \
            else                                                            \
                res = 0;                                                    \
            break;                                                          \
        case 4:                                 \
            /* If original datum <= indexed one then return match */        \
            if (cmp <= 0)                                                   \
                res = 0;                                                    \
            else                                                            \
                res = 1;                                                    \
            break;                                                          \
        case 5:                                     \
            /* If original datum <= indexed one then return match */        \
            /* If original datum == indexed one then continue scan */       \
            if (cmp < 0)                                                    \
                res = 0;                                                    \
            else if (cmp == 0)                                              \
                res = -1;                                                   \
            else                                                            \
                res = 1;                                                    \
            break;                                                          \
        default:                                                            \
            elog_start("E:\\OSSSrc\\postgresql-9.4.2\\postgresql-9.4.2\\contrib\\btree_gin\\btree_gin.c", 207, ((void *) 0)), \
    elog_finish(20, "unrecognized strategy number: %d",                 \
                 data->strategy);                                           \
            res = 0;                                                        \
    }                                                                       \
                                                                            \
    return ((Datum) (((Datum) (res)) & 0xffffffff));
}
...
相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
18天前
|
关系型数据库 MySQL 索引
mysql 分析5语句的优化--索引添加删除
mysql 分析5语句的优化--索引添加删除
14 0
|
24天前
|
存储 关系型数据库 MySQL
轻松入门MySQL:优化进销存管理,掌握MySQL索引,提升系统效率(11)
轻松入门MySQL:优化进销存管理,掌握MySQL索引,提升系统效率(11)
|
29天前
|
存储 自然语言处理 关系型数据库
ElasticSearch索引 和MySQL索引那个更高效实用那个更合适
ElasticSearch索引 和MySQL索引那个更高效实用那个更合适
38 0
|
30天前
|
SQL 存储 关系型数据库
MySQL not exists 真的不走索引么
MySQL not exists 真的不走索引么
25 0
|
1月前
|
SQL 存储 关系型数据库
对线面试官 - 如何理解MySQL的索引覆盖和索引下推
索引下推是MySQL 5.6引入的优化,允许部分WHERE条件在索引中处理,减少回表次数。例如,对于索引(zipcode, lastname, firstname),查询`WHERE zipcode=&#39;95054&#39; AND lastname LIKE &#39;%etrunia%&#39;`时,索引下推先过滤zipcode,然后在索引中应用lastname条件,降低回表需求。索引下推可在EXPLAIN的`Using index condition`中看到。
对线面试官 - 如何理解MySQL的索引覆盖和索引下推
|
1月前
|
关系型数据库 分布式数据库 数据库
PolarDB常见问题之加了索引但是查询没有使用如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
监控 关系型数据库 MySQL
MySQL创建索引的注意事项
在数据库设计和优化中,索引的合理使用是提高查询性能和加速数据检索的关键因素之一。通过选择适当的列、了解数据分布、定期维护和监控索引性能,我们能够最大程度地发挥索引的优势,提高数据库的效率和响应速度。
30 0
|
1月前
|
关系型数据库 MySQL 数据库
MySQL索引和查询优化
MySQL索引和查询优化
35 1
|
1月前
|
存储 关系型数据库 MySQL
最全MySQL面试60题(含答案):存储引擎+数据库锁+索引+SQL优化等
最全MySQL面试60题(含答案):存储引擎+数据库锁+索引+SQL优化等
179 0
|
18天前
|
SQL 缓存 关系型数据库
mysql性能优化-慢查询分析、优化索引和配置
mysql性能优化-慢查询分析、优化索引和配置
83 1