基于统计特征的模式匹配算法

《基于统计特征的模式匹配算法》由会员分享，可在线阅读，更多相关《基于统计特征的模式匹配算法（14页珍藏版）》请在金锄头文库上搜索。

1、基于统计特征的模式匹配算法 摘 要 针对传统模式匹配算法的按模式中字符排列顺序匹配的过程，该算法模拟 人脑思维利用模式中字符出现频率、位置等特征信息建立了一个新的匹配序列， 打乱了原来的顺序匹配过程，从而在匹配过程中，利用特征信息尽可能的跳过 更多的字符，从而达到比较高的匹配效率。 该算法的另一大特点就是不需要遍 历完所有文本中的字符就可以找出与模式匹配的字符串。与传统的 BF、KMP、BM 等算法相比，该算法的平均时间复杂度已经达到了他们的最好 情况。 关键词：模式匹配； 算法； 统计特征 Abstract The difference to the traditional Algorith

2、m of String-Matching is this algorithm uses the statistic characteristic of the position and frequency of the char to build a new matching list. During the process of the matching, this algorithm will try its best to use this characteristic to skip much more chars to improve the efficiency of the ma

3、tching. Another characteristic of this Algorithm is it can successfully finish without comparing all chars in the Text. Comparing with the Algorithm before, like BF ,KMP, BM, this Algorithms average complication of time reaches then best condition of these. Keywords: string-matching; algorithm; stat

4、istic characteristic 目 录 引言.1 1绪论 .2 1.1 基于统计特征的模式匹配算法提出原因.2 1.2 基本数据规定.2 2传统的模式匹配算法 .2 2.1 BF算法 .2 2.2 KMP算法 .3 2.3 BM算法 .5 3基于统计特征的模式匹配算法 .5 3.1算法思想 .5 3.2算法分析 .7 结束语.9 参考文献.10青海师范大学 2010届本科生毕业论文 1 引言 字符串匹配是字符串的基本运算之一。串的模式匹配即子串定位，是一种 重要的串运算。模式匹配就是在主串S= s 1 s 2 s 3 s 4 中查找模式串T= t 1 t 2 t 3 t 4 的所有出

5、现，该技术在很多领域都发挥重要的作用，比如在情报检 索、网络搜索、文本检索、拼写检查、语言翻译、数据压缩、网络入侵检测、 计算机病毒特征码匹配以及 DNA 序列匹配等各个方面都有着很重要的应用。 通过模式匹配，我们可以得到很多我们想要知道的信息，而这些是靠人工难以 完成的。尤其是在以后的段落搜索，自然语言查询中，对模式匹配的速度、效 率等要求会越来越高，而传统的 BF、KMP 和 BM 等算法并不能很高效的给出 结果，因此我们有必要对模式匹配的算法进行进一步发展。本文主要在介绍了 BF 算法、KMP 算法的基础上提出一种更好的算法基于统计特征的模式匹配 算法。青海师范大学 2010届本科生毕业

6、论文 2 1绪论 我们在日常生活中经常以局部特征判定事物，而这种方式是普遍认可的， 也是最佳的。一项将此技术应用于计算机科学领域的就是基于统计特征的模式 匹配算法。 1.1 基于统计特征的模式匹配算法提出原因 对于 KMP、BM 等算法有一个共同的特征：顺序扫描或者从左至右，或 者从右至左。这样的好处是匹配时有顺序的规律可循，比较容易理解，操作起 来比较方便， 缺点就是没有最大限度利用模式自身的一些统计特征而只是利 用了顺序的特征。如何利用统计特征呢？举个例子来证明。在街上我们遇到了 一个似曾相识的人，我们判断那个人是不是我们认识的人的时候，我们是把遇 到的那个人与我们记忆中的那个人的特征相比

7、较，比如说秃顶，眼角有颗痔， 身高，性别，胖瘦，脸型，肤色等等。我们比较是鲜明的特征，而不是从头到 脚的扫描比较。也就是说我们在比较两个事物的时候是优先比较他们比较特殊 的地方。对于模式匹配，这个优先级似的比较方式依然成立。 1.2 基本数据规定 传统的算法分析在有了模式匹配的需要后，出现了很多模式匹配的算法， 在这里为后续内容分析而规定：主串S的长度为n，模式串T的长度为m，子串 的定位操作Index(S,T,pos)，其中pos为某个字符在主串中的位置。 2传统的模式匹配算法本章介绍三种典型的传统的模式匹配算法，并分别给出部分算法实现。 2.1 BF 算法 BF（Brute-Force）算

8、法即简单模式匹配算法，也称朴素串匹配算法算法， 其算法思想：对主串S和模式串T进行从左至右顺序匹配比较，若主串S的第 一个字符和模式串T的第一个字符进行比较，若相等则同时向后移动一位，继 续逐个比较后续字符，否则如果在完全匹配结束前发生不匹配，那么模式串 T 回溯到模式首字符，而主串S则回溯到起始位置的下一个字符进行比较。依次 类推，直至模式串T和主串S中的一个子串相等，此时称为匹配成功，否则， 称为匹配失败。图2-1展示了pos=1时，模式串T=abcac和主串 S= ababcabcacbab的匹配过程。其中i 和j 指示主串S和模式串T中当前正待比较 的字符位置。 串的简单模式匹配算法描

9、述如算法2-1所示。 【算法描述】 int Index(SString S, SString T, int pos) int i, j; i=pos; j=1; While (i=T0) return (i- T0); else return 0; 算法2-1 串的简单模式匹配i=3 第1趟匹配 S a b a b c a b c a c b a bT a b c a cj=3i=2 第2趟匹配 S a b a b c a b c a c b a bT a b c a cj=1i=7 第3趟匹配 S a b a b c a b c a c b a bT a b c a cj=5i=4 第4趟匹

10、配 S a b a b c a b c a c b a bT a b c a cj=1i=5 第5趟匹配 S a b a b c a b c a c b a bT a b c a cj=1i=11 第6趟匹配 S a b a b c a b c a c b a bT a b c a cj=6 图2-1 串的简单模式匹配过程示意 这种算法看起来比较简单，但是效率比较低，最好的情况下为O(m+n)，在 最坏情况下，每趟比较都在最后出现不等，最多要比较n-m-1趟，总比较次数 为O(n-m+1)m)，算法的时间复杂度为O(m*n)。 2.2 KMP 算法青海师范大学 2010届本科生毕业论文 4 2

11、.2.1简述 KMP（无回溯的模式匹配）算法正是由 D.E.Knuth 、V.R.Pratt 和 J.H.Morris 同时发现的，因此称 KMP 算法。它是针对上述算法频繁回溯的不足 做了实质性的改进。其基本思想是：某趟匹配中，主串字符s i 和模式串t j 匹配 失败后，指针i不回溯，而是让模式串T向右“滑动”至某个位置，假设这个位 置是k，使得t j 对准s i 继续向右进行比较。因此，KMP 算法的关键就在于找 到模式串向右“滑动的距离”。 若用数组元素nextj来表示字符t j 不匹配时的滑动距离，则nextj的 取值满足以下next函数的定义：0nextj= maxk|1kj 且t

12、 1 t 2 t k-1 =t j-k+1 tj-k+2 tj-1 此集合不空时，取相等串中最长字 串1 其他情况 2.2.2 KMP 算法实现 KMP 算法是在求得模式串的next函数值的基础上执行的，next函数值仅 依赖于模式T本身，而和主串S无关。由2.2.1中next函数的定义实现可得到 模式串abcaabbabcab的next函数值，如表2-1所示。 表2-1 模式串abcaabbabcab的next函数值 j 1 2 3 4 5 6 7 8 9 10 11 12 模式 a b c a a b b a b c a b nextj 0 1 1 1 2 2 3 1 2 3 4 5 KMP 算法如算法 2-2所示，在形式上和算法2-1极为类似。假设模式串 T1m中前 q 个字符已经匹配了主串 Sss+q-1，那我们就可以避免一些 重复匹配。找出最大的 k 使得 T1k=T(q-k+1)q，从而计算出 s 使得 T1k=Ss s +k-1.其中 s ， +k-1=s+q-1。 【算法描述】 int Index_KMP(SString S, SString T, int pos) int i, j; i=pos; j=1; while (i=S0 +j;