自动分析网站链接有效性

》》》》》魏红斌带你学shell脚本《《《《《

更多shell脚本学习点击个人主页

作为一个资深程序猿，我将带领您从零开始，一步步踏上运维之旅，无论您是否拥有现成的服务器，都将学会如何轻松购买、部署，并通过编写及应用精心设计的Shell脚本，解决实际工作中遇到的问题。这些脚本不仅源自真实的业务场景，经历了反复实践与严格测试，确保了其简洁高效、易于理解且便于使用。更重要的是，我们将全程免费分享，并深度解析背后原理，助您深入理解并灵活运用，每一款脚本均经过真实业务场景的反复打磨与严格测试，秉持着简洁高效、易于理解和使用的理念设计，无偿提供并且提供相关解析过程，让读者能更深入了解相关内容。

无服务器的朋友们：

让我们先从选购并部署服务器开始。只需简单三步，即可拥有您的专属云服务器：

1. 访问ECS官网：点击链接直达阿里云ECS网站：ECS选择网址。这是您获取高质量云服务器的第一站。
   
2. 选择并购买：在琳琅满目的服务器配置中，挑选符合您需求的那一款，一键下单，完成支付。整个过程犹如在线购物般便捷。
   
3. 进入ECS控制台：支付成功后，您将被引导至ECS管理控制台。在这里，您可以全面掌控您的服务器资源，后续的所有运维操作都将在此展开。
   

已有服务器的朋友们：

如果您已拥有ECS实例，那么请直接登录ECS管理控制台。在左侧导航栏中，依次选择“实例与镜像” > “实例”，确保您已定位到目标资源所在的资源组和地域。接下来，在实例列表中找到待连接的实例，点击操作列下的“远程连接”，选择“通过Workbench远程连接”并点击“立即登录”。

登录实例：

无论是新购还是已有服务器，接下来都需要进行实例登录。这里支持多种认证方式，以最常见的“密码认证”为例：

• 输入用户名（通常为root或ecs-user）。
• 接着，输入登录密码。如果您忘记了密码，无需担忧，您可以在ECS实例详情页面查询，或者通过“更改密码”功能进行修改。

编写与运行Shell脚本：

成功登录后，您将看到一个熟悉的命令行界面——这就是您的运维主战场。现在，键入vim test.sh，我们便进入了文本编辑模式，准备创建第一个Shell脚本。

按下键盘上的i键，进入插入模式，此刻您可以自由地复制粘贴今天要学习的脚本代码，粘贴后按ecs后，按:wq保存脚本，可以用./ test.sh或者sh test.sh进行脚本执行。

今天我们要学习的脚本是（脚本内容直接复制粘贴即可）：

#!/bin/bash
# auto-link-checker.sh
# 使用方法: bash auto-link-checker.sh <url>
# 检查参数
if [ "$#" -ne 1 ]; then
    echo "使用方法: bash auto-link-checker.sh <url>"
    exit 1
fi
URL=$1
OUTPUT_FILE="links_output.txt"
INVALID_LINKS_FILE="invalid_links.txt"
# 获取网站的所有链接
echo "抓取链接..."
wget -qO- "$URL" | grep -o -E 'href="[^"]+"' | sed 's/.*href="\([^"]*\)".*/\1/' > "$OUTPUT_FILE"
# 检查每个链接的有效性
echo "检查链接有效性..."
while IFS= read -r link; do
    # 跳过相对链接
    if [[ "$link" != "#" && ! "$link" =&#126; ^/ ]]; then
        FULL_LINK=$(echo "$URL$link" | sed 's/\/$//')
        # 使用curl检查链接
        RESPONSE=$(curl -s -o /dev/null -w "%{http_code}" "$FULL_LINK")
        
        # 检查HTTP状态码是否为200
        if [ "$RESPONSE" -ne 200 ]; then
            echo "$FULL_LINK - 无效 (HTTP状态码: $RESPONSE)" >> "$INVALID_LINKS_FILE"
        fi
    fi
done < "$OUTPUT_FILE"
# 输出结果
if [ -s "$INVALID_LINKS_FILE" ]; then
    echo "发现无效链接，已保存到 $INVALID_LINKS_FILE"
else
    echo "所有链接均有效"
fi

逐行解析:

1. #!/bin/bash - 指定脚本使用的Shell解释器。
2. 注释部分介绍了脚本的名称和使用方法。
3. 检查是否有一个参数（即要检查的URL）传递给脚本。
4. 设置URL、输出文件和无效链接文件的变量。
5. 使用wget命令从给定的URL抓取所有链接，并使用grep和sed提取链接地址，保存到输出文件中。
6. 开始循环读取输出文件中的每个链接。
7. 跳过相对链接和空链接。
8. 使用sed将相对链接转换为绝对链接。
9. 使用curl命令检查链接的有效性，并获取HTTP状态码。
10. 如果HTTP状态码不是200，则将该链接视为无效，并保存到无效链接文件中。
11. 循环结束后，检查无效链接文件是否为空，并输出相应的消息。

总结:

这个脚本是一个创新性的链接检查工具，它结合了网页抓取、链接提取、HTTP状态码检查等多个功能。通过自动化这些步骤，它可以帮助用户快速识别出网站中的无效链接，从而进行修复，提高网站的用户体验。此外，该脚本还具有良好的可读性和扩展性，可以通过添加更多功能（如链接分类、定时任务等）来满足不同的工作需求。

如果想上手操作练代码的同学们可以通过阿里云ecs服务器免费试用参与！

入口：新老同学免费试用