批量探测URL的可达性

简介: 经常在网站上加一大堆外链, 时间长了,很多外链已经不可达了,如何检验是个头痛的问题。

经常在网站上加一大堆外链, 时间长了,很多外链已经不可达了,如何检验是个头痛的问题。下面的脚本便是止痛良药。

while read -r url; do
    curl -sL -w "%{http_code} %{url_effective}\n" "$url" -o /dev/null
done <<EOF
http://example.com/
https://itcool.fun/
http://bixuebihui.com/
https://qsn.so/
http://www.google.com/
https://qsn.so/index.php?user-app-login
http://以及其他的你要检查的.url/
EOF

将以上片断保存为 ping_url.sh

$ chmod u+x ping_url.sh

执行

$ ping_url.sh

便可以看到很可爱的输出

200 http://example.com/000 https://itcool.fun/403 http://bixuebihui.com/000 https://qsn.so/000 http://www.google.com/200 https://qsn.so/index.php?user...000 http://以及其他的你要检查的.url/


那些有问题的页面会输出400以上的状态码(status code).

curl是个好工具!

相关文章
|
Java 数据库 Maven
根据请求中接收到的主动协商头字段,目标资源没有用户代理可以接受的当前表示
今天使用ssm框架搭建了一个项目,测试一个插入的接口结果返回406,但是数据库插入成功了,报错406是因为返回的结果接口无法解析。
874 0
|
安全 应用服务中间件 Apache
目标URL存在http host头攻击漏洞
目标URL存在http host头攻击漏洞
1321 0
目标URL存在http host头攻击漏洞
|
3月前
|
数据采集 Java Python
优化数据的抓取规则:减少无效请求
本文详细介绍了一种高效抓取贝壳等二手房平台房价信息的方法,重点在于过滤无效链接和减少冗余请求。文章首先分析了目标数据和平台特点,然后提出了URL过滤、分页控制、动态设置User-Agent和Cookies、代理IP轮换及多线程优化等策略。最后,提供了一个结合代理IP技术的Python爬虫代码示例,展示了如何具体实现上述优化措施,从而显著提升数据抓取的稳定性和效率。
97 26
优化数据的抓取规则:减少无效请求
|
5月前
|
缓存 安全 Web App开发
Chrome插件实现问题之网络进程接收到URL请求后会如何解决
Chrome插件实现问题之网络进程接收到URL请求后会如何解决
|
6月前
|
域名解析 存储 缓存
HTTP请求流程概览:浏览器构建请求行含方法、URL和版本;检查缓存;解析IP与端口
【6月更文挑战第23天】 HTTP请求流程概览:浏览器构建请求行含方法、URL和版本;检查缓存;解析IP与端口;TCP连接(HTTP/1.1可能需排队);三次握手;发送请求头与体;服务器处理并返回响应;TCP连接可能关闭或保持;浏览器接收并显示响应,更新缓存。HTTP版本间有差异。
104 5
|
7月前
|
弹性计算 Shell Apache
某时间段访问apache 服务器的请求IP
【4月更文挑战第29天】
64 2
|
7月前
|
定位技术
http代理ip地址被阻止有哪些因素影响?
随着科技的进步和互联网的发展,越来越多的企业在业务上都需要用到代理,那么http代理ip地址被阻止有哪些因素影响?那么小编接下来就跟大家介绍一下
130 0
http代理ip地址被阻止有哪些因素影响?
|
测试技术
【解决方案 十】判断URL请求是否成功并检测访问效率
【解决方案 十】判断URL请求是否成功并检测访问效率
300 0
|
缓存 算法
HTTP协议中的ETag头字段如何实现快速判断资源是否变化?
HTTP协议中的ETag头字段如何实现快速判断资源是否变化?
198 0
|
分布式计算 监控 Scala
日志分析实战之清洗日志小实例6:获取uri点击量排序并得到最高的url
日志分析实战之清洗日志小实例6:获取uri点击量排序并得到最高的url
177 0
日志分析实战之清洗日志小实例6:获取uri点击量排序并得到最高的url