基于Web API的自动化信息收集和整理

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 【4月更文挑战第30天】

》》》》》魏红斌带你学shell脚本《《《《《


更多shell脚本学习点击个人主页


作为一个资深程序猿,我将带领您从零开始,一步步踏上运维之旅,无论您是否拥有现成的服务器,都将学会如何轻松购买、部署,并通过编写及应用精心设计的Shell脚本,解决实际工作中遇到的问题。这些脚本不仅源自真实的业务场景,经历了反复实践与严格测试,确保了其简洁高效、易于理解且便于使用。更重要的是,我们将全程免费分享,并深度解析背后原理,助您深入理解并灵活运用,每一款脚本均经过真实业务场景的反复打磨与严格测试,秉持着简洁高效、易于理解和使用的理念设计,无偿提供并且提供相关解析过程,让读者能更深入了解相关内容

无服务器的朋友们

让我们先从选购并部署服务器开始。只需简单三步,即可拥有您的专属云服务器:

  1. 访问ECS官网:点击链接直达阿里云ECS网站:ECS选择网址。这是您获取高质量云服务器的第一站。
  2. 选择并购买:在琳琅满目的服务器配置中,挑选符合您需求的那一款,一键下单,完成支付。整个过程犹如在线购物般便捷。
  3. 进入ECS控制台:支付成功后,您将被引导至ECS管理控制台。在这里,您可以全面掌控您的服务器资源,后续的所有运维操作都将在此展开。

已有服务器的朋友们

如果您已拥有ECS实例,那么请直接登录ECS管理控制台在左侧导航栏中,依次选择“实例与镜像” > “实例”,确保您已定位到目标资源所在的资源组和地域。接下来,在实例列表中找到待连接的实例,点击操作列下的“远程连接”,选择“通过Workbench远程连接”并点击“立即登录”。

登录实例

无论是新购还是已有服务器,接下来都需要进行实例登录。这里支持多种认证方式,以最常见的“密码认证”为例:

  • 输入用户名(通常为rootecs-user)。
  • 接着,输入登录密码。如果您忘记了密码,无需担忧,您可以在ECS实例详情页面查询,或者通过“更改密码”功能进行修改。

编写与运行Shell脚本

成功登录后,您将看到一个熟悉的命令行界面——这就是您的运维主战场。现在,键入vim test.sh,我们便进入了文本编辑模式,准备创建第一个Shell脚本。

按下键盘上的i键,进入插入模式,此刻您可以自由地复制粘贴今天要学习的脚本代码,粘贴后按ecs后,按:wq保存脚本,可以用./ test.sh或者sh test.sh进行脚本执行。

今天我们要学习的脚本是(脚本内容直接复制粘贴即可):

#!/bin/bash
# 1. 定义目标网站和API接口
TARGET_WEBSITE="https://example.com"
API_ENDPOINT="/api/search"
# 2. 定义搜索关键词列表
SEARCH_KEYWORDS=("keyword1" "keyword2" "keyword3")
# 3. 定义输出文件路径
OUTPUT_FILE="output.txt"
# 4. 清空或初始化输出文件
> $OUTPUT_FILE
# 5. 对每个关键词进行搜索
for KEYWORD in "${SEARCH_KEYWORDS[@]}"; do
    echo "Searching for: $KEYWORD"
    
    # 6. 使用curl命令发送GET请求到API接口进行搜索
    RESPONSE=$(curl -s "$TARGET_WEBSITE$API_ENDPOINT?q=$KEYWORD")
    
    # 7. 解析API返回的JSON数据
    PARSED_DATA=$(echo $RESPONSE | jq -r '.results[].title')
    
    # 8. 将解析得到的数据追加到输出文件
    echo "$PARSED_DATA" >> $OUTPUT_FILE
    
    # 9. 可选:添加延时,避免过于频繁的请求
    sleep 2
done
# 10. 输出完成信息
echo "Search completed. Results saved in $OUTPUT_FILE"

逐行解析:

  1. #!/bin/bash:指定脚本使用bash shell来执行。
  2. TARGET_WEBSITEAPI_ENDPOINT:定义目标网站和API接口的URL。
  3. SEARCH_KEYWORDS:定义一个包含多个搜索关键词的数组。
  4. OUTPUT_FILE:定义输出文件的路径和名称。
  5. >:清空或初始化输出文件。
  6. for KEYWORD in "${SEARCH_KEYWORDS[@]}"; do:遍历关键词数组,对每个关键词执行以下操作。
  7. curl -s "$TARGET_WEBSITE$API_ENDPOINT?q=$KEYWORD":使用curl命令发送GET请求到API接口进行搜索,-s参数表示静默模式,不显示进度或错误。
  8. PARSED_DATA=$(echo $RESPONSE | jq -r '.results[].title'):使用jq工具解析API返回的JSON数据,提取出每个结果的标题。-r参数表示输出原始字符串,而不是JSON格式。
  9. echo "$PARSED_DATA" >> $OUTPUT_FILE:将解析得到的数据追加到输出文件。
  10. sleep 2:可选步骤,添加延时,避免过于频繁的请求导致被目标网站封禁。
  11. done:结束for循环。
  12. echo "Search completed. Results saved in $OUTPUT_FILE":输出完成信息,告知用户搜索已完成,结果已保存到指定文件。

总结:

这个创新性的Shell脚本利用Web API进行自动化信息收集和整理。它首先定义了一个目标网站和API接口,然后定义了一个搜索关键词列表和一个输出文件路径。接着,脚本遍历关键词列表,对每个关键词发送GET请求到API接口进行搜索,并使用jq工具解析返回的JSON数据,提取出每个结果的标题。最后,将提取到的数据追加到输出文件,并输出完成信息。这个脚本的创新点在于它利用Web API进行自动化搜索,并且可以通过修改目标网站、API接口和搜索关键词来适应不同的需求场景。同时,脚本还添加了可选的延时功能,以避免过于频繁的请求。

如果想上手操作练代码的同学们可以通过阿里云ecs服务器免费试用参与!

入口:新老同学免费试用

目录
相关文章
|
2天前
|
开发框架 监控 .NET
Visual Basic的Web服务和REST API开发指南
【4月更文挑战第27天】本文探讨了使用Visual Basic(VB.NET)构建Web服务和RESTful API的方法。首先介绍了Web服务的基础和REST API的概念,然后阐述了.NET Framework与.NET Core/.NET 5+对VB.NET的支持,以及ASP.NET Core在Web开发中的作用。接着,详细讲解了创建RESTful API的步骤,包括控制器与路由设置、模型绑定与验证,以及返回响应。此外,还讨论了安全措施、测试方法、部署选项和监控策略。最后强调,VB.NET开发者可以通过ASP.NET Core涉足现代Web服务开发,拓宽技术领域。
|
1天前
|
Web App开发 JavaScript 测试技术
《手把手教你》系列技巧篇(四十五)-java+ selenium自动化测试-web页面定位toast-上篇(详解教程)
【5月更文挑战第9天】本文介绍了在Appium中处理App自动化测试中遇到的Toast元素定位的方法。Toast在Web UI测试中也常见,通常作为轻量级反馈短暂显示。文章提供了两种定位Toast元素的技巧.
10 0
|
2天前
|
存储 人工智能 测试技术
python自动化测试实战 —— CSDN的Web页面自动化测试
python自动化测试实战 —— CSDN的Web页面自动化测试
194 0
|
2天前
|
Web App开发 JavaScript 测试技术
python自动化测试实战 —— WebDriver API的使用
python自动化测试实战 —— WebDriver API的使用
8 1
|
2天前
|
XML JSON API
电商数据集成:利用API接口实现商品详情自动化获取
在电子商务的快速发展中,数据集成成为提升业务效率和增强市场竞争力的关键。API(应用程序编程接口)作为数据集成的核心工具,允许商家自动化获取商品详情,从而实现高效的商品管理和数据分析。本文将探讨如何利用API接口自动化获取商品详情,并分析其对电商业务的影响。
|
2天前
|
持续交付 Python
使用Python实现自动化Web内容巡检
使用Python实现自动化Web内容巡检
22 1
|
2天前
|
存储 弹性计算 运维
自动化收集员工信息的Shell脚本
【4月更文挑战第30天】
14 0
|
2天前
|
JSON 安全 API
【专栏】四种REST API身份验证方法:基本认证、OAuth、JSON Web Token(JWT)和API密钥
【4月更文挑战第28天】本文探讨了四种REST API身份验证方法:基本认证、OAuth、JSON Web Token(JWT)和API密钥。基本认证简单但不安全;OAuth适用于授权第三方应用;JWT提供安全的身份验证信息传递;API密钥适合内部使用。选择方法时需平衡安全性、用户体验和开发复杂性。
|
2天前
|
缓存 前端开发 API
toapi,一个强大的 Python Web API库!
toapi,一个强大的 Python Web API库!
27 5
|
Web App开发 JavaScript 前端开发
ASP.NET MVC Web API 学习笔记---第一个Web API程序
1. Web API简单说明 近来很多大型的平台都公开了Web API。比如百度地图 Web API,做过地图相关的人都熟悉。公开服务这种方式可以使它易于与各种各样的设备和客户端平台集成功能,以及通过在浏览器中使用 JavaScript来创建更丰富的HTML体验。
1115 0

热门文章

最新文章