基于Python实现的死链接自动化检测工具

简介: 基于Python实现的死链接自动化检测工具

基于Python实现的死链接自动化检测工具



测试环境:

win7

python 3.3.2

chardet 2.3.0

 

脚本作用:

检测系统中访问异常(请求返回code值非200)的链接

 

使用方法:

1. 配置

编辑deadLinkDetection\conf\init.conf

 

配置项如下

protocol:协议,比如https, http

host:主机、域名,如192.168.1.3

port:端口号,比如808080443

username:配置登录用户名

password:配置登录密码


2.配置种子url

编辑conf/urlNoLogin.txt文件中填写不需要登录就可访问的种子url,格式如下,每行一条url路径

/
/doc/sadmin.html
/
/doc/refman/5.7/en/statement-optimization.html
/doc/homepage.html


在conf/urlNeedLogin.txt文件中填写需要登录才可访问的种子url,格式同上

3. 根据项目实际情况,修改main.pylogin_system函数,实现登录系统

 

4. 运行程序

cmd 进入到deadLinkDetection目录,运行python main.py

 

5. 查看运行结果

除了控制台打印的输出,默认的,还会在d:\\目录下,生成filepath_of_urls_visited.txt, d:/filepath_of_urls_in_trouble.txt文件,

分别存放成功访问过的url链接,和访问异常的链接,可在main.py中找到代码行“reptile = Reptile()”,显示指定要生成的文件,如下:

reptile = Reptile('d:/xxxxx_visited.txt', 'd:/xxxxx_in_trouble.txt)

 

使用限制:

登录系统函数无法通用,需要自己实现

 

源码下载地址:基于Python实现的死链接自动化检测工具.zip

 

  

目录
相关文章
|
7天前
|
数据采集 存储 API
网络爬虫与数据采集:使用Python自动化获取网页数据
【4月更文挑战第12天】本文介绍了Python网络爬虫的基础知识,包括网络爬虫概念(请求网页、解析、存储数据和处理异常)和Python常用的爬虫库requests(发送HTTP请求)与BeautifulSoup(解析HTML)。通过基本流程示例展示了如何导入库、发送请求、解析网页、提取数据、存储数据及处理异常。还提到了Python爬虫的实际应用,如获取新闻数据和商品信息。
|
23天前
|
Web App开发 Python
在ModelScope中,你可以使用Python的浏览器自动化库
在ModelScope中,你可以使用Python的浏览器自动化库
15 2
|
1月前
|
存储 BI 数据处理
Python自动化 | 解锁高效办公利器,Python助您轻松驾驭Excel!
Python自动化 | 解锁高效办公利器,Python助您轻松驾驭Excel!
|
1月前
|
Python
【python自动化】Playwright基础教程(五)事件操作②悬停&输入&清除精讲
【python自动化】Playwright基础教程(五)事件操作②悬停&输入&清除精讲
47 0
|
6天前
|
Web App开发 测试技术 网络安全
|
10天前
|
JSON 测试技术 持续交付
自动化测试与脚本编写:Python实践指南
【4月更文挑战第9天】本文探讨了Python在自动化测试中的应用,强调其作为热门选择的原因。Python拥有丰富的测试框架(如unittest、pytest、nose)以支持自动化测试,简化测试用例的编写与维护。示例展示了使用unittest进行单元测试的基本步骤。此外,Python还适用于集成测试、系统测试等,提供模拟外部系统行为的工具。在脚本编写实践中,Python的灵活语法和强大库(如os、shutil、sqlite3、json)助力执行复杂测试任务。同时,Python支持并发、分布式执行及与Jenkins、Travis CI等持续集成工具的集成,提升测试效率和质量。
|
14天前
|
jenkins 测试技术 持续交付
软件测试|docker搭建Jenkins+Python+allure自动化测试环境
通过以上步骤,你可以在Docker中搭建起Jenkins自动化测试环境,实现Python测试的自动化执行和Allure报告生成。 买CN2云服务器,免备案服务器,高防服务器,就选蓝易云。百度搜索:蓝易云
34 6
|
29天前
|
Web App开发 前端开发 JavaScript
Python Selenium是一个强大的自动化测试工具
Python Selenium是一个强大的自动化测试工具
|
1月前
|
数据采集 测试技术 Python
Python自动化脚本的魅力与实践
Python自动化脚本的魅力与实践
48 0
|
1月前
|
测试技术 Python
如何使用Python进行自动化测试
如何使用Python进行自动化测试
24 0

热门文章

最新文章