每个网页标题的摘要

》》》》》魏红斌带你学shell脚本《《《《《

更多shell脚本学习点击个人主页

作为一个资深程序猿，我将带领您从零开始，一步步踏上运维之旅，无论您是否拥有现成的服务器，都将学会如何轻松购买、部署，并通过编写及应用精心设计的Shell脚本，解决实际工作中遇到的问题。这些脚本不仅源自真实的业务场景，经历了反复实践与严格测试，确保了其简洁高效、易于理解且便于使用。更重要的是，我们将全程免费分享，并深度解析背后原理，助您深入理解并灵活运用，每一款脚本均经过真实业务场景的反复打磨与严格测试，秉持着简洁高效、易于理解和使用的理念设计，无偿提供并且提供相关解析过程，让读者能更深入了解相关内容。

无服务器的朋友们：

让我们先从选购并部署服务器开始。只需简单三步，即可拥有您的专属云服务器：

1. 访问ECS官网：点击链接直达阿里云ECS网站：ECS选择网址。这是您获取高质量云服务器的第一站。
   
2. 选择并购买：在琳琅满目的服务器配置中，挑选符合您需求的那一款，一键下单，完成支付。整个过程犹如在线购物般便捷。
   
3. 进入ECS控制台：支付成功后，您将被引导至ECS管理控制台。在这里，您可以全面掌控您的服务器资源，后续的所有运维操作都将在此展开。
   

已有服务器的朋友们：

如果您已拥有ECS实例，那么请直接登录ECS管理控制台。在左侧导航栏中，依次选择“实例与镜像” > “实例”，确保您已定位到目标资源所在的资源组和地域。接下来，在实例列表中找到待连接的实例，点击操作列下的“远程连接”，选择“通过Workbench远程连接”并点击“立即登录”。

登录实例：

无论是新购还是已有服务器，接下来都需要进行实例登录。这里支持多种认证方式，以最常见的“密码认证”为例：

• 输入用户名（通常为root或ecs-user）。
• 接着，输入登录密码。如果您忘记了密码，无需担忧，您可以在ECS实例详情页面查询，或者通过“更改密码”功能进行修改。

编写与运行Shell脚本：

成功登录后，您将看到一个熟悉的命令行界面——这就是您的运维主战场。现在，键入vim test.sh，我们便进入了文本编辑模式，准备创建第一个Shell脚本。

按下键盘上的i键，进入插入模式，此刻您可以自由地复制粘贴今天要学习的脚本代码，粘贴后按ecs后，按:wq保存脚本，可以用./ test.sh或者sh test.sh进行脚本执行。

今天我们要学习的脚本是（脚本内容直接复制粘贴即可）：

#!/bin/bash
# Website-Title-Extractor.sh
# 提取网站所有网页的标题并保存到文件中
# 检查参数数量
if [ "$#" -ne 2 ]; then
    echo "Usage: $0 <url> <output_file>"
    exit 1
fi
URL=$1
OUTPUT_FILE=$2
# 使用curl命令获取网页内容，并使用grep和sed提取标题
extract_title() {
    local url=$1
    local title=$(curl -s "$url" | grep -o '<title[^>]*>' | sed 's/<title[^>]*>\(.*\)<\/title>/\1/g')
    echo "$title"
}
# 递归地提取网站所有网页的标题
crawl_website() {
    local url=$1
    local depth=$2
    # 提取当前网页的标题
    local title=$(extract_title "$url")
    if [ -n "$title" ]; then
        echo "$url - $title" >> "$OUTPUT_FILE"
    fi
    # 如果深度大于0，则继续递归地爬取子网页
    if [ $depth -gt 0 ]; then
        # 提取当前网页中的所有链接
        local links=$(curl -s "$url" | grep -o 'href="[^"]*"' | sed 's/href="\([^"]*\)".*/\1/g')
        # 遍历所有链接并递归爬取
        for link in $links; do
            if [ "$(echo "$link" | grep -o '^/')" ]; then
                # 如果是相对链接，则转换为绝对链接
                link="$URL$link"
            fi
            crawl_website "$link" $((depth-1))
        done
    fi
}
# 开始爬取网站
crawl_website "$URL" 5
echo "Extraction complete. Titles saved to $OUTPUT_FILE"

逐行解析:

1. #!/bin/bash: 指定脚本使用bash shell来执行。
2. if [ "$#" -ne 2 ]; then ... exit 1; fi: 检查脚本是否接收到了两个参数（URL和输出文件路径）。如果没有，显示使用方法并退出。
3. URL=$1 和 OUTPUT_FILE=$2: 将第一个和第二个参数分别赋值给URL和OUTPUT_FILE变量。
4. extract_title() { ... }: 定义一个函数extract_title，用于提取给定URL的网页标题。
5. crawl_website() { ... }: 定义一个函数crawl_website，用于递归地爬取网站的所有网页并提取标题。
6. echo "$url - $title" >> "$OUTPUT_FILE": 将提取到的标题追加到输出文件中。
7. if [ $depth -gt 0 ]; then ... fi: 如果深度大于0，则继续递归地爬取子网页。
8. links=$(curl -s "$url" | grep -o 'href="[^"]*"' | sed 's/href="\([^"]*\)".*/\1/g'): 提取当前网页中的所有链接。
9. for link in $links; do ... done: 遍历所有链接，并对每个链接调用crawl_website函数进行递归爬取。
10. crawl_website "$URL" 5: 从给定的URL开始，以深度5进行爬取。
11. echo "Extraction complete. Titles saved to $OUTPUT_FILE": 显示爬取完成消息，并指出标题已保存到哪个文件中。

总结:

这个脚本通过递归地爬取给定URL的网站，并使用curl和文本处理工具（grep和sed）来提取每个网页的标题。它提供了一个灵活的方法，可以通过调整深度参数来控制爬取的深度。此外，脚本还将提取到的标题保存到一个文件中，便于后续分析和处理。这个脚本的创新之处在于它结合了网页爬取和文本提取技术，以生成一个包含网站所有网页标题的摘要文件。

如果想上手操作练代码的同学们可以通过阿里云ecs服务器免费试用参与！

入口：新老同学免费试用