WebGet2——自动爬网页工具

简介:

通过正则表达式作为规则,筛检白名单和黑名单以控制访问网页路径,不断自动访问符合条件的网址。可附带下载资源文件。

此程序适合挂机伪装普通用户、挂机博客互踩、挂机论坛下载图片、附件等应用。

image

image

使用方法:

首先建立白名单访问规则,比如我们要爬CnBeta的网页,就这样设置,然后点击“在页面中验证”按钮测试符合规则的链接:

image

然后,如果我们不希望重复爬到编辑推荐的内容的话,就在黑名单中这样设置并验证:

image

然后点击“开始获取”,程序就开始自动爬了。

其他设置自行尝试吧,都比较简单了。

 

程序下载:http://www.uushare.com/user/icesee/file/2743570

源代码下载:http://www.uushare.com/user/icesee/file/2743571


本文转自斯克迪亚博客园博客,原文链接:http://www.cnblogs.com/SkyD/archive/2010/03/18/1688990.html,如需转载请自行联系原作者

相关文章
|
21天前
|
Python
自动化微信朋友圈:Python脚本实现自动发布动态
本文介绍如何使用Python脚本自动化发布微信朋友圈动态,节省手动输入的时间。主要依赖`pyautogui`、`time`、`pyperclip`等库,通过模拟鼠标和键盘操作实现自动发布。代码涵盖打开微信、定位朋友圈、准备输入框、模拟打字等功能。虽然该方法能提高效率,但需注意可能违反微信使用条款,存在风险。定期更新脚本以适应微信界面变化也很重要。
133 61
|
6月前
|
人工智能 Shell Python
福利来了!MoneyPrinterPlus可以自动配置环境和自动运行了
给小白用户提供一个方便的环境设置脚本和自动运行脚本,让不懂程序的人也能用上MoneyPrinterPlus
福利来了!MoneyPrinterPlus可以自动配置环境和自动运行了
|
7月前
|
Ubuntu 安全 Linux
创建并使用自定义的Linux命令`autoupdate`来自动化软件更新
创建自定义Linux命令`autoupdate`简化系统更新流程。通过编写包含`apt update`, `apt upgrade`, `apt autoremove`和`apt clean`的bash脚本,实现一键自动化更新。将脚本添加到PATH环境变量,确保在任意目录可执行。适用于基于Debian/Ubuntu系统,其他发行版需调整命令。记得备份数据,必要时重启系统,并可按需扩展脚本功能。
|
人工智能 Python
项目自动贩卖机
用python语言编写项目自动贩卖机。
336 3
|
8月前
|
弹性计算 运维 Shell
自动化安装并配置自定义服务
【4月更文挑战第30天】
55 0
|
8月前
|
弹性计算 运维 Ubuntu
自动检测并处理系统更新
【4月更文挑战第30天】
135 0
|
8月前
|
存储 弹性计算 运维
自动文档生成
【4月更文挑战第30天】
74 0
|
8月前
|
弹性计算 运维 Shell
自动配置rsynd
【4月更文挑战第29天】
49 0
|
安全 Java Windows
不可或缺的BCUninstaller:全面显示软件信息、批量垃圾删除、强制卸载程序……
不可或缺的BCUninstaller:全面显示软件信息、批量垃圾删除、强制卸载程序……
188 0
|
人工智能 JavaScript IDE
自动写代码?别闹了!
这几天,GitHub 上有个很火的插件在抖音刷屏了——Copilot。 这个神器有啥用呢?简单来讲,它就是一款由人工智能打造的编程辅助工具。 我们来看看它有啥用。
364 0