【★】KMP算法完整教程

简介: KMP算法完整教程全称:                          Knuth_Morris_PrattAlgorithm(KMP算法)类型:                          高级检索算法功能: ...

KMP算法完整教程



全称:                               Knuth_Morris_Pratt Algorithm(KMP算法)

类型:                               高级检索算法

功能:                               字符串匹配查找

提出者:                           D.E.Knuth(克努兹),J.H.Morris(莫瑞斯),V.R.Pratt(普莱特)

所属领域:                        数据结构学

应用场景:                        统计软件

时间复杂度:                    O(m+n)





一。原始匹配字符串方法


        以前,我们要肉眼在一个长字符串中寻找一个关键字词,比如在word文档中找一个单词,我们的世界观决定的方法论就是穷举法:挨个搜寻单词的第一个字母,每找到一个就定位然后匹配下一个字母,当匹配错误时就会放弃之前的匹配,沿着刚才的进度继续搜索首字母.


       这种方法也叫作”暴力字符匹配”,和早期计算机检索算法共享着同样的思想,其中被检索的字符串数据库叫做”主串”,检索的字符串叫”模式串”.名字很怪异我也没办法.

        于是依照这种算法我们可以编写一个程序来实现它:


int Index(SString S,SString T,int pos)

{

  i=pos;j=1;

  while(i<=S[0]&&j<=T[0])

  {

    if(S[i]==T[j]){++i;++j;}

    else{i=i-j+2;j=1;}//主串指针回溯重新开始下一趟匹配.

  }

  if(j>T[0])return i-T[0];

  else return 0;

}

//返回模式串T在主串S第pos之后部分中的位置,若不存在则函数值为0.

这里要注意i和j的指针回溯问题,注意细节,具体如下图:

【】KMP算法完整教程

然后问题就来了,这种算法在特定的情况下暴露出一些问题,在时间效率上不是很完美,因为它毕竟是一种穷举法,也符合人们的第一感觉,但是并不是最优的解决方案。比如说当在模式串中比较到第5个字符时才发现不匹配,那么之前四个字符都完全匹配,下一步就不需要再把模式串一位一位的向后移,而很可能直接把模式串向后移动四位就可以了,省去了三次比较,比如模式串是“aceddfaa”,主串是“acedabcd”的情况。





二。初代KMP算法



       针对上面那个例子,我们可以展开思考,如果模式串匹配到第j个字符不匹配的话,接下来只需要在主串中这个位置从模式串中第f(j)的字符开始比较就行了,而不需要从第一个开始。而且f(j)只与模式串中第j个字符以前的所有字符有关。好了,这个f(j)我们用一个数组来存放,就是next【j】。求出next【j】就是KMP算法的核心。可以看出next【j】的值越小越好,优化的效率越高。

KMP的next数组求法是很不容易搞清楚的一部分,也是最重要的一部分。我这篇文章就以我自己的感悟来慢慢推导一下吧!保证你看完过后是知其然,也知其所以然。

如果你还不知道KMP是什么,请先阅读上面的链接,先搞懂KMP是要干什么。

下面我们就来说说KMP的next数组求法。

KMP的next数组简单来说,假设有两个字符串,一个是待匹配的字符串strText,一个是要查找的关键字strKey。现在我们要在strText中去查找是否包含strKey,用i来表示strText遍历到了哪个字符,用j来表示strKey匹配到了哪个字符。

如果是暴力的查找方法,当strText[i]和strKey[j]匹配失败的时候,i和j都要回退,然后从i-j的下一个字符开始重新匹配。

而KMP就是保证i永远不回退,只回退j来使得匹配效率有所提升。它用的方法就是利用strKey在失配的j为之前的成功匹配的子串的特征来寻找j应该回退的位置。而这个子串的特征就是前后缀的相同程度。

所以next数组其实就是查找strKey中每一位前面的子串的前后缀有多少位匹配,从而决定j失配时应该回退到哪个位置。

我知道上面那段废话很难懂,下面我们看一个彩图:

【】KMP算法完整教程

这个图画的就是strKey这个要查找的关键字字符串。假设我们有一个空的next数组,我们的工作就是要在这个next数组中填值。

下面我们用数学归纳法来解决这个填值的问题。

这里我们借鉴数学归纳法的三个步骤(或者说是动态规划?):

1、初始状态

2、假设第j位以及第j位之前的我们都填完了

3、推论第j+1位该怎么填

初始状态我们稍后再说,我们这里直接假设第j位以及第j位之前的我们都填完了。也就是说,从上图来看,我们有如下已知条件:

next[j] == k;

next[k] == 绿色色块所在的索引;

next[绿色色块所在的索引] == 黄色色块所在的索引;

这里要做一个说明:图上的色块大小是一样的(没骗我?好吧,请忽略色块大小,色块只是代表数组中的一位)。

我们来看下面一个图,可以得到更多的信息:

【】KMP算法完整教程

1.由"next[j] == k;"这个条件,我们可以得到A1子串 == A2子串(根据next数组的定义,前后缀那个)。

2.由"next[k] == 绿色色块所在的索引;"这个条件,我们可以得到B1子串 == B2子串

3.由"next[绿色色块所在的索引] == 黄色色块所在的索引;"这个条件,我们可以得到C1子串 == C2子串

4.由1和2(A1 == A2,B1 == B2)可以得到B1 == B2 == B3

5.由2和3(B1 == B2, C1 == C2)可以得到C1 == C2 == C3

6.B2 == B3可以得到C3 == C4 == C1 == C2

上面这个就是很简单的几何数学,仔细看看都能看懂的。我这里用相同颜色的线段表示完全相同的子数组,方便观察。

 

接下来,我们开始用上面得到的条件来推导如果第j+1位失配时,我们应该填写next[j+1]为多少?

next[j+1]即是找strKey从0到j这个子串的最大前后缀:

#:(#:在这里是个标记,后面会用)我们已知A1 == A2,那么A1和A2分别往后增加一个字符后是否还相等呢?我们得分情况讨论:

(1)如果str[k] == str[j],很明显,我们的next[j+1]就直接等于k+1。

  用代码来写就是next[++j] = ++k;

(2)如果str[k] != str[j],那么我们只能从已知的,除了A1,A2之外,最长的B1,B3这个前后缀来做文章了。

那么B1和B3分别往后增加一个字符后是否还相等呢?

由于next[k] == 绿色色块所在的索引,我们先让k = next[k],把k挪到绿色色块的位置,这样我们就可以递归调用"#:"标记处的逻辑了。

 

由于j+1位之前的next数组我们都是假设已经求出来了的,因此,上面这个递归总会结束,从而得到next[j+1]的值。

 

我们唯一欠缺的就是初始条件了:

next[0] = -1,  k = -1, j = 0

另外有个特殊情况是k为-1时,不能继续递归了,此时next[j+1]应该等于0,即把j回退到首位。

即 next[j+1] = 0; 也可以写成next[++j] = ++k;

 这里我们用Java来描述:

public static int[] getNext(String ps)

{

    char[] strKey = ps.toCharArray();

    int[] next = new int[strKey.length];


    // 初始条件

    int j = 0;

    int k = -1;

    next[0] = -1;

 

    // 根据已知的前j位推测第j+1位

    while (j < strKey.length - 1)

    {

        if (k == -1 || strKey[j] == strKey[k])

        {

            next[++j] = ++k;

        }

        else

        {

            k = next[k];

        }

    }


     return next;

}

 



三。KMP算法的优化和改进


KMP算法是可以被进一步优化的。

我们以一个例子来说明。譬如我们给的P字符串是“abcdaabcab”,经过KMP算法,应当得到“特征向量”如下表所示:

【】KMP算法完整教程

但是,如果此时发现p(i) == p(k),那么应当将相应的next[i]的值更改为next[k]的值。经过优化后可以得到下面的表格:

【】KMP算法完整教程


(1)next[0]= -1 意义:任何串的第一个字符的模式值规定为-1。

(2)next[j]= -1 意义:模式串T中下标为j的字符,如果与首字符

相同,且j的前面的1—k个字符与开头的1—k

个字符不等(或者相等但T[k]==T[j])(1≤k

如:T=”abCabCad” 则 next[6]=-1,因T[3]=T[6]

(3)next[j]=k 意义:模式串T中下标为j的字符,如果j的前面k个

字符与开头的k个字符相等,且T[j] != T[k] (1≤k

即T[0]T[1]T[2]。。。T[k-1]==

T[j-k]T[j-k+1]T[j-k+2]…T[j-1]

且T[j] != T[k].(1≤k

(4) next[j]=0 意义:除(1)(2)(3)的其他情况。


于是乎我们修正的NEXT数组的求法如下:

public static int[] getNext(String ps)

{

    char[] strKey = ps.toCharArray();

    int[] next = new int[strKey.length];


    // 初始条件

    int j = 0;

    int k = -1;

    next[0] = -1;

 

    // 根据已知的前j位推测第j+1位

    while (j < strKey.length - 1)

    {

        if (k == -1 || strKey[j] == strKey[k])

        {

            // 如果str[j + 1] == str[k + 1],回退后仍然失配,所以要继续回退

            if (str[j + 1] == str[k + 1])

            {

                next[++j] = next[++k];

            }

            else

            {

                next[++j] = ++k;

            }

        }

        else

        {

            k = next[k];

        }

    }


     return next;

}


       好了,以上就是KMP算法的所有内容,我们可以看出,KMP算法的关键就是:利用匹配失败后的信息,利用递归的思想为每一个字符算出一个“特征值”。最后,KMP算法适合在字符种类很稀疏的情况下适用:仅当模式与主串之间存在许多“部分匹配”的情况下才显得比“暴力匹配”快,但是如果模式串中有太多相同的字符,就会略微降低KMP的优化效果。KMP算法还有一个进步特点就是:指示主串的指针不需要回溯,对主串仅需从头至尾扫描一遍。


(如需转载请标明出处)

目录
相关文章
|
2月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
63 4
|
3月前
|
人工智能 算法 安全
深度讲解-互联网算法备案指南和教程
随着人工智能和大数据技术的发展,互联网算法在内容推荐、用户画像等领域日益重要,但也带来了安全风险和合规挑战。国家互联网信息办公室为此发布了《互联网算法备案管理规定》,要求具有舆论属性或社会动员能力的互联网信息服务提供者进行算法备案,以确保算法透明性和合规性,维护网络健康秩序。唯安创远AI合规专家将解析备案的必要性、流程及其对企业的影响,帮助企业顺利完成备案。
244 3
|
2月前
|
算法
第四章 KMP算法理论基础
第四章 KMP算法理论基础
19 0
|
2月前
|
算法
KMP算法
KMP算法
34 0
|
4月前
|
算法 C++
A : DS串应用–KMP算法
这篇文章提供了KMP算法的C++实现,包括计算模式串的next数组和在主串中查找模式串位置的函数,用于演示KMP算法的基本应用。
|
4月前
|
算法
KMP算法
KMP算法
31 0
|
5月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【7月更文挑战第22天】在大数据领域,Python算法效率至关重要。本文深入解析时间与空间复杂度,用大O表示法衡量执行时间和存储需求。通过冒泡排序(O(n^2)时间,O(1)空间)与快速排序(平均O(n log n)时间,O(log n)空间)实例,展示Python代码实现与复杂度分析。策略包括算法适配、分治法应用及空间换取时间优化。掌握这些,可提升大数据处理能力,持续学习实践是关键。
125 1
|
5月前
|
机器学习/深度学习 算法 搜索推荐
一个开源且全面的C#算法实战教程
一个开源且全面的C#算法实战教程
|
2月前
|
算法 安全 数据安全/隐私保护
基于game-based算法的动态频谱访问matlab仿真
本算法展示了在认知无线电网络中,通过游戏理论优化动态频谱访问,提高频谱利用率和物理层安全性。程序运行效果包括负载因子、传输功率、信噪比对用户效用和保密率的影响分析。软件版本:Matlab 2022a。完整代码包含详细中文注释和操作视频。
|
12天前
|
算法 数据安全/隐私保护 索引
OFDM系统PAPR算法的MATLAB仿真,对比SLM,PTS以及CAF,对比不同傅里叶变换长度
本项目展示了在MATLAB 2022a环境下,通过选择映射(SLM)与相位截断星座图(PTS)技术有效降低OFDM系统中PAPR的算法实现。包括无水印的算法运行效果预览、核心程序及详尽的中文注释,附带操作步骤视频,适合研究与教学使用。