轻量级爬虫+全文检索解决方案项目——NukeLite(2008-11-14 更新r24版 引入新线程机制)

本文涉及的产品
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 轻量级爬虫+全文检索解决方案项目——NukeLite svn: http://nukelite.googlecode.com/svn/trunk/ 项目地址:http://code.google.com/p/nukelite/ 开源协议:Apache License 2.

轻量级爬虫+全文检索解决方案项目——NukeLite

svn: http://nukelite.googlecode.com/svn/trunk/

项目地址:http://code.google.com/p/nukelite/

开源协议:Apache License 2.0

 

=================================================================

2008-11-14更新:

版本更新为 0.1.0.0 r24

 更新项:
1、调整数据库插件调用结构;
2、提升引擎对编码识别的效果;
3、舍弃了ThreadPool的操作方式,引入了完成端口来控制线程,主要解决了同时线程并发太多导致的超时现象比较严重的问题,当然也使抓取速度慢了一些。


下次改进应该会对抓取与文本处理进行分离。

提供当前版本编译预览文件下载:(格式RAR)
NukeLite v0.1.0.0 r24 Preview2.rar

=================================================================


2008-11-03更新:

版本更新为 0.1.0.0 r18

更新项:

1、修正了MySQL操作参数名规范
     以前使用的老符合
'@',现在换成'?',连接字符串可以变成“Database=Searcher;Data Source=localhost;User Id=root;Password=123;charset=utf8”,不需要对旧操作符支持。
2、修正了Web管理任务无法设置层次的问题;
3、修正MySQL数据库结构中,UrlHash字段的类型为有符号int;
4、解决了多线程抓取任务不太稳定的问题,现在已经很稳定;
5、新增一个Windows系统服务项目,可以把程序配置为Windows系统服务,安装文件放在“ServiceRelease”目录。

总的来说,现在的爬虫可以称得上比较稳定了,至于是否高效,不太好说。在我本本上,54M无线网卡,1M带宽,双核1.6 CPU,3G内存,基本上每秒1.5条记录。
=================================================================

2008-10-31更新:

版本更新为 0.1.0.0 r16

更新项:

1、网站项目替换为应用程序项目;
2、改变数据库使用架构;
3、增加对MySQL数据库的支持。

注意:数据库操作采用的是MySQL Connector/Net ,操作编码要注意正确选择。系统默认给出的是utf-8。
现在对MS SQLServer 以及MySQL的访问是采用的工厂,请手动复制DLL到测试类应用。
本版本在 SQL Server 2005,MySQL 5下测试通过,不保证其它版本能稳定运行。

 

=================================================================

2008-10-30更新:

版本更新为 0.1.0.0 r10

更新项:

1、增加了Web管理任务项目;
2、改变了解决方案路径;
3、去掉了一些不必要的引用;
4、修改了部分代码编译级的写法,更加适合标准C#编译,除了Web项目,其它两项在Ubuntu 8.04 MonoDevelop 1.0下编译通过。

另外,和一位网友交谈,受到启发,将会在页面捕获处增加插件结构支持,以适应需要对网页结构做更细致处理的需求。比如,通过写某个dll给程序调用,则可以分析出定向网站网页中的日期、作者、分类等信息。开发时间未定,有兴趣的朋友可以和我交流。

=================================================================

2008-10-29更新:

版本更新为 0.1.0.0 r7

更新项:
1、不再使用ADO.Net Entity Framework
2、使用框架改为.Net Framework 2.0
3、修正了数据库一个字段的名称以及部分字段的长度
4、更新了部分注释


提供预览编译版本,下载地址:http://code.google.com/p/nukelite/downloads/list

==================================================================

项目简介:

嘿嘿,我自己写的一个轻量级的解决方案,希望以这个项目为开始,发展成一个健全,强大的全文搜索解决方案。

运行平台:.Net Framework 2.0 / Mono
数据库: MS SQLServer 2005 / MySQL 5
HTTP服务: IIS / Apache

项目采用C#开发,预期分爬虫,索引和搜索三部分。目前正在开发爬虫部分。


上图为该爬虫爬行数据时输出信息。

目前爬虫的工作流程为:

1、设置起始地址、抓取规则、访问深度等;
2、爬虫提取数据分配任务;
3、多线程运行捕获任务;
4、分析捕获文本,设置为规则文本,同时存入数据库和在磁盘生成快照。

生成索引和搜索部分暂未完成。

 

爬虫实现了:
1、多线程抓取;
2、编码识别(对部分站点测试,准确率98%以上);
3、网页快照。

下一步实现:
1、多进程分布式抓取;
2、坏链处理;
3、失败处理等。

目前爬虫的工作方式:

tags: C#爬虫,C#蜘蛛,C#搜索引擎,.Net爬虫,.Net蜘蛛,.Net搜索引擎。

2008-10-28  by yurow.

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
12天前
|
调度
【浅入浅出】Qt多线程机制解析:提升程序响应性与并发处理能力
在学习QT线程的时候我们首先要知道的是QT的主线程,也叫GUI线程,意如其名,也就是我们程序的最主要的一个线程,主要负责初始化界面并监听事件循环,并根据事件处理做出界面上的反馈。但是当我们只限于在一个主线程上书写逻辑时碰到了需要一直等待的事件该怎么办?它的加载必定会带着主界面的卡顿,这时候我们就要去使用多线程。
|
12天前
|
缓存 安全 Java
Java中的线程安全问题及解决方案
Java中的线程安全问题及解决方案
|
13天前
|
安全 Java 调度
多线程编程的挑战与解决方案
多线程编程的挑战与解决方案
|
14天前
|
Java 调度
Java中的线程池机制详解
Java中的线程池机制详解
|
7天前
|
设计模式 安全 Java
Java面试题:请列举三种常用的设计模式,并分别给出在Java中的应用场景?请分析Java内存管理中的主要问题,并提出相应的优化策略?请简述Java多线程编程中的常见问题,并给出解决方案
Java面试题:请列举三种常用的设计模式,并分别给出在Java中的应用场景?请分析Java内存管理中的主要问题,并提出相应的优化策略?请简述Java多线程编程中的常见问题,并给出解决方案
16 0
|
7天前
|
监控 Java
Java面试题:Java内存、多线程与并发工具包的深度探索,Java内存管理策略及其优化技巧,Java多线程并发控制的工具类与机制,Java并发工具包在实际项目中的应用
Java面试题:Java内存、多线程与并发工具包的深度探索,Java内存管理策略及其优化技巧,Java多线程并发控制的工具类与机制,Java并发工具包在实际项目中的应用
10 0
|
7天前
|
存储 并行计算 安全
Java面试题:Java内存管理、多线程与并发框架的面试题解析与知识点梳理,深入Java内存模型与垃圾回收机制,Java多线程机制与线程安全,Java并发工具包与框架的应用
Java面试题:Java内存管理、多线程与并发框架的面试题解析与知识点梳理,深入Java内存模型与垃圾回收机制,Java多线程机制与线程安全,Java并发工具包与框架的应用
12 0
|
7天前
|
安全 Java
Java多线程中的锁机制:深入解析synchronized与ReentrantLock
Java多线程中的锁机制:深入解析synchronized与ReentrantLock
10 0
|
9天前
|
消息中间件 Java 调度
线程和进程的区别及其在操作系统中的实现机制
线程和进程的区别及其在操作系统中的实现机制
|
14天前
|
缓存 安全 Java
Java中的线程安全问题及解决方案
Java中的线程安全问题及解决方案