撒列实现关键字过滤,速度可快了-阿里云开发者社区

开发者社区> 长征2号> 正文

撒列实现关键字过滤,速度可快了

简介:
+关注继续查看

一直对搜索、过滤很好奇,觉得他们很有技术含量,只有非常NB的人才能做。很想知道他们的原理,实现这样的功能,设计是不是必须得非常NB非常奇特,代码是不是要写得非常好,性能非常高。总之这一切都不是我这样级别的人能做的。直到我看了《编程珠玑(第二版)》中的这么一段文字:

“假定我们可以在执行搜索之前对文本内容进行预处理,那么我们可以建立一个撒列表(或者搜索树),为文档中的每个不同的单词建立索引,并为每个单词的每次出现存储一个链表,这样的逆向索引使得程序可以很快的找到给定的单词,为了查找短语,我们可以对其中包含的每个单词的链表进行交叉,但实现起来比较复杂,速度可能会很慢。(不过一些网页搜索引擎用的就是这样的方法)”

思路就这么简单,我靠!连有的搜索引擎也用这种思路。这种撒列的方式处理关键字过滤速度的确是蛮快,10000个字组织成一个撒列表也就几毫秒,只要你预分配的内存较好,基本上没什么操作,就是向内存中填数据。在撒列表中判断一个键是否存在的时间复杂度为O(1),其实还可以自己重写Dictionary<TKey, TValue>,关键字过滤的效率可能会更好点。

实现的思路比较简单:

1:处理关键字,生成一个关键字字典表

2:处理要过滤的文本,同样生成一个字典表

3:将文本,两个字典表三者进行比对

 

现在来测试下面一段文字(我上篇博客中的一段文字):

"看云风博客关于解决12306并发问题的启发:我现在做骏卡接口,可能出现并发问题,就是一个订单可能向我们的接口发送多个请求,而我现在做的方法是去数据库中对应的表验证,看订单是否存在,如果存在就提示一下,如果不存在按流程走,但是这个样每来一个订单我都需要去数据库查,如果我在内存中维护一个订单集合,这样就能很快解决判断订单是否存在的问题,惯性思维太严重了,什么都去数据库查,这样的性能是最差的,其实很多问题在内存中就可以搞定的,最近还有一个特别感受,不要做井底之蛙,多看牛人的东西收获真的比自己埋头写代码进步快很多,其实很多时候我写的程序性能差,效率低都是因为方法的原因,没有找到好的方法,没有灵光一闪的感觉,用了最烂的方法解决问题"

 

测试代码:

复制代码
class Program
{
static void Main(string[] args)
{
string keys = "云风博客|并发问题|最烂的方法|内存|集合|数据库|性能";

using (new OperationTimer("keyWords:"))
{
WordSearch ws = new WordSearch(keys);
string str = "看云风博客关于解决12306并发问题的启发:我现在做骏卡接口,可能出现并发问题,就是一个订单可能向我们的接口发送多个请求,而我现在做的方法是去数据库中对应的表验证,看订单是否存在,如果存在就提示一下,如果不存在按流程走,但是这个样每来一个订单我都需要去数据库查,如果我在内存中维护一个订单集合,这样就能很快解决判断订单是否存在的问题,惯性思维太严重了,什么都去数据库查,这样的性能是最差的,其实很多问题在内存中就可以搞定的,最近还有一个特别感受,不要做井底之蛙,多看牛人的东西收获真的比自己埋头写代码进步快很多,其实很多时候我写的程序性能差,效率低都是因为方法的原因,没有找到好的方法,没有灵光一闪的感觉,用了最烂的方法解决问题";
ConsoleColor color = Console.ForegroundColor;
Console.ForegroundColor = ConsoleColor.Red;
Console.WriteLine("原文:");
Console.ForegroundColor = color;
Console.WriteLine(str);
Console.WriteLine();
Console.ForegroundColor = ConsoleColor.Red;
Console.WriteLine("过滤后:");
Console.ForegroundColor = color;
Console.WriteLine(ws.Filter(str));
}
Console.Read();
}

}
复制代码

输出结果截图:

 

另外送上一个简单实用的代码运行时间测试类,测试某段代码的运行时间可是很方便的哦

复制代码
using System;
using System.Diagnostics;

namespace WordFilter
{
/// <summary>
/// 测试代码运行时间帮组类
/// </summary>
public class OperationTimer : IDisposable
{
private string Text;
private Int32 collectCount;
private Stopwatch stopWatch;

public OperationTimer(string txt)
{
PerpareForOperation();
this.Text = txt;
collectCount = GC.CollectionCount(0);
stopWatch = new Stopwatch();
stopWatch.Start();
}

public void Dispose()
{
stopWatch.Stop();
Console.WriteLine("{0} Milliseconds (GCs={1}) {2}", stopWatch.ElapsedMilliseconds, GC.CollectionCount(0) - collectCount, Text);
}

private static void PerpareForOperation()
{
GC.Collect();
GC.WaitForPendingFinalizers();
GC.Collect();
}
}
}
复制代码

 

实现撒列的部分核心代码:

复制代码
      public Dictionary<char, IList<char>> HandleKeyWords(IEnumerable<string> text, int size)
{
Dictionary<char, IList<char>> dicList = new Dictionary<char, IList<char>>(size);//预分配非常关键
int len, i;
foreach (string s in text)
{
if (s == string.Empty)
{
continue;
}
len = s.Length - 1;
for (i = 0; i < len; i++)
{
if (dicList.ContainsKey(s[i]))
{
if (dicList[s[i]] != null && !dicList[s[i]].Contains(s[i + 1]))
{
dicList[s[i]].Add(s[i + 1]);
}
}
else
{
dicList.Add(s[i], new List<char>(2) { s[i + 1] });
}
}
if (!dicList.ContainsKey(s[len]))
{
dicList.Add(s[len], null);
}
}

return dicList;
}
复制代码

 

我也想贴出全部代码,但是还有一些BUG,功能还有待完善,完善一些了会贴出源码的,在截一张图给大家看看

 

关键字过滤,希望能过滤掉大家不想听的,陈太汉祝大家新年快乐

 

作者:陈太汉

博客:http://www.cnblogs.com/hlxs/


本文转自啊汉博客园博客,原文链接:http://www.cnblogs.com/hlxs/archive/2012/01/20/2328048.html

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
.java编写库关键字搜索----针对js等库
今天开始分析 DWZ框架的源代码,发现单单从txt来看实在是不好分析,各种函数都不是到是哪里定义的... 因为javascript的函数定义方法不像java C++等语言有固定的语法,可以模糊匹配 .
563 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10018 0
使用SSH远程登录阿里云ECS服务器
远程连接服务器以及配置环境
2501 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9154 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13819 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7344 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
22364 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4490 0
+关注
1703
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载