WebGet2——自动爬网页工具

简介:

通过正则表达式作为规则,筛检白名单和黑名单以控制访问网页路径,不断自动访问符合条件的网址。可附带下载资源文件。

此程序适合挂机伪装普通用户、挂机博客互踩、挂机论坛下载图片、附件等应用。

image

image

使用方法:

首先建立白名单访问规则,比如我们要爬CnBeta的网页,就这样设置,然后点击“在页面中验证”按钮测试符合规则的链接:

image

然后,如果我们不希望重复爬到编辑推荐的内容的话,就在黑名单中这样设置并验证:

image

然后点击“开始获取”,程序就开始自动爬了。

其他设置自行尝试吧,都比较简单了。

 

程序下载:http://www.uushare.com/user/icesee/file/2743570

源代码下载:http://www.uushare.com/user/icesee/file/2743571


本文转自斯克迪亚博客园博客,原文链接:http://www.cnblogs.com/SkyD/archive/2010/03/18/1688990.html,如需转载请自行联系原作者

相关文章
|
3月前
|
人工智能 Shell Python
福利来了!MoneyPrinterPlus可以自动配置环境和自动运行了
给小白用户提供一个方便的环境设置脚本和自动运行脚本,让不懂程序的人也能用上MoneyPrinterPlus
福利来了!MoneyPrinterPlus可以自动配置环境和自动运行了
|
4月前
|
Ubuntu 安全 Linux
创建并使用自定义的Linux命令`autoupdate`来自动化软件更新
创建自定义Linux命令`autoupdate`简化系统更新流程。通过编写包含`apt update`, `apt upgrade`, `apt autoremove`和`apt clean`的bash脚本,实现一键自动化更新。将脚本添加到PATH环境变量,确保在任意目录可执行。适用于基于Debian/Ubuntu系统,其他发行版需调整命令。记得备份数据,必要时重启系统,并可按需扩展脚本功能。
|
5月前
|
弹性计算 运维 Ubuntu
自动检测并处理系统更新
【4月更文挑战第30天】
102 0
|
5月前
|
弹性计算 运维 Shell
自动化安装并配置自定义服务
【4月更文挑战第30天】
29 0
|
人工智能 Python
项目自动贩卖机
用python语言编写项目自动贩卖机。
291 3
|
5月前
|
存储 算法 C语言
【C/C++ 应用开发 检测文件 】详解 C/C++ 中常用的 5 种文件存在检查方式
【C/C++ 应用开发 检测文件 】详解 C/C++ 中常用的 5 种文件存在检查方式
151 0
|
12月前
|
监控 安全 数据库
自定义警告规则:企业电脑行为监控软件的Lua脚本编写
在企业环境中,监控员工电脑行为是确保信息安全和员工生产力的重要一环。电脑行为监控软件允许管理员跟踪用户活动并制定警告规则,以便在出现异常情况时立即采取措施。本文将介绍如何使用Lua脚本编写自定义警告规则,以监控关键行为并自动将监控到的数据提交到网站。
177 1
Geany 代码自动补齐功能设置
Geany 代码自动补齐功能设置
360 0
Geany 代码自动补齐功能设置
|
Java Linux 数据安全/隐私保护
将ABAP On-Premises系统连接到中央检查系统以进行自定义代码迁移
将ABAP On-Premises系统连接到中央检查系统以进行自定义代码迁移
144 0
将ABAP On-Premises系统连接到中央检查系统以进行自定义代码迁移