基于Web API的自动化信息收集和整理

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 【4月更文挑战第30天】

》》》》》魏红斌带你学shell脚本《《《《《


更多shell脚本学习点击个人主页


作为一个资深程序猿,我将带领您从零开始,一步步踏上运维之旅,无论您是否拥有现成的服务器,都将学会如何轻松购买、部署,并通过编写及应用精心设计的Shell脚本,解决实际工作中遇到的问题。这些脚本不仅源自真实的业务场景,经历了反复实践与严格测试,确保了其简洁高效、易于理解且便于使用。更重要的是,我们将全程免费分享,并深度解析背后原理,助您深入理解并灵活运用,每一款脚本均经过真实业务场景的反复打磨与严格测试,秉持着简洁高效、易于理解和使用的理念设计,无偿提供并且提供相关解析过程,让读者能更深入了解相关内容

无服务器的朋友们

让我们先从选购并部署服务器开始。只需简单三步,即可拥有您的专属云服务器:

  1. 访问ECS官网:点击链接直达阿里云ECS网站:ECS选择网址。这是您获取高质量云服务器的第一站。
  2. 选择并购买:在琳琅满目的服务器配置中,挑选符合您需求的那一款,一键下单,完成支付。整个过程犹如在线购物般便捷。
  3. 进入ECS控制台:支付成功后,您将被引导至ECS管理控制台。在这里,您可以全面掌控您的服务器资源,后续的所有运维操作都将在此展开。

已有服务器的朋友们

如果您已拥有ECS实例,那么请直接登录ECS管理控制台在左侧导航栏中,依次选择“实例与镜像” > “实例”,确保您已定位到目标资源所在的资源组和地域。接下来,在实例列表中找到待连接的实例,点击操作列下的“远程连接”,选择“通过Workbench远程连接”并点击“立即登录”。

登录实例

无论是新购还是已有服务器,接下来都需要进行实例登录。这里支持多种认证方式,以最常见的“密码认证”为例:

  • 输入用户名(通常为rootecs-user)。
  • 接着,输入登录密码。如果您忘记了密码,无需担忧,您可以在ECS实例详情页面查询,或者通过“更改密码”功能进行修改。

编写与运行Shell脚本

成功登录后,您将看到一个熟悉的命令行界面——这就是您的运维主战场。现在,键入vim test.sh,我们便进入了文本编辑模式,准备创建第一个Shell脚本。

按下键盘上的i键,进入插入模式,此刻您可以自由地复制粘贴今天要学习的脚本代码,粘贴后按ecs后,按:wq保存脚本,可以用./ test.sh或者sh test.sh进行脚本执行。

今天我们要学习的脚本是(脚本内容直接复制粘贴即可):

#!/bin/bash
# 1. 定义目标网站和API接口
TARGET_WEBSITE="https://example.com"
API_ENDPOINT="/api/search"
# 2. 定义搜索关键词列表
SEARCH_KEYWORDS=("keyword1" "keyword2" "keyword3")
# 3. 定义输出文件路径
OUTPUT_FILE="output.txt"
# 4. 清空或初始化输出文件
> $OUTPUT_FILE
# 5. 对每个关键词进行搜索
for KEYWORD in "${SEARCH_KEYWORDS[@]}"; do
    echo "Searching for: $KEYWORD"
    
    # 6. 使用curl命令发送GET请求到API接口进行搜索
    RESPONSE=$(curl -s "$TARGET_WEBSITE$API_ENDPOINT?q=$KEYWORD")
    
    # 7. 解析API返回的JSON数据
    PARSED_DATA=$(echo $RESPONSE | jq -r '.results[].title')
    
    # 8. 将解析得到的数据追加到输出文件
    echo "$PARSED_DATA" >> $OUTPUT_FILE
    
    # 9. 可选:添加延时,避免过于频繁的请求
    sleep 2
done
# 10. 输出完成信息
echo "Search completed. Results saved in $OUTPUT_FILE"

逐行解析:

  1. #!/bin/bash:指定脚本使用bash shell来执行。
  2. TARGET_WEBSITEAPI_ENDPOINT:定义目标网站和API接口的URL。
  3. SEARCH_KEYWORDS:定义一个包含多个搜索关键词的数组。
  4. OUTPUT_FILE:定义输出文件的路径和名称。
  5. >:清空或初始化输出文件。
  6. for KEYWORD in "${SEARCH_KEYWORDS[@]}"; do:遍历关键词数组,对每个关键词执行以下操作。
  7. curl -s "$TARGET_WEBSITE$API_ENDPOINT?q=$KEYWORD":使用curl命令发送GET请求到API接口进行搜索,-s参数表示静默模式,不显示进度或错误。
  8. PARSED_DATA=$(echo $RESPONSE | jq -r '.results[].title'):使用jq工具解析API返回的JSON数据,提取出每个结果的标题。-r参数表示输出原始字符串,而不是JSON格式。
  9. echo "$PARSED_DATA" >> $OUTPUT_FILE:将解析得到的数据追加到输出文件。
  10. sleep 2:可选步骤,添加延时,避免过于频繁的请求导致被目标网站封禁。
  11. done:结束for循环。
  12. echo "Search completed. Results saved in $OUTPUT_FILE":输出完成信息,告知用户搜索已完成,结果已保存到指定文件。

总结:

这个创新性的Shell脚本利用Web API进行自动化信息收集和整理。它首先定义了一个目标网站和API接口,然后定义了一个搜索关键词列表和一个输出文件路径。接着,脚本遍历关键词列表,对每个关键词发送GET请求到API接口进行搜索,并使用jq工具解析返回的JSON数据,提取出每个结果的标题。最后,将提取到的数据追加到输出文件,并输出完成信息。这个脚本的创新点在于它利用Web API进行自动化搜索,并且可以通过修改目标网站、API接口和搜索关键词来适应不同的需求场景。同时,脚本还添加了可选的延时功能,以避免过于频繁的请求。

如果想上手操作练代码的同学们可以通过阿里云ecs服务器免费试用参与!

入口:新老同学免费试用

目录
相关文章
|
20天前
|
监控 数据管理 测试技术
实现API接口的自动化
API接口自动化测试的最佳实践包括确定测试范围和目标、编写测试用例、选择合适的自动化测试工具、搭建测试环境、编写自动化测试脚本、执行自动化测试、分析测试结果和回归测试。通过这些步骤,可以提高测试效率和质量,确保API的稳定性和可靠性。此外,还介绍了如何利用API接口测试工具进行性能测试和压力测试,以及常见的挑战和解决方案。
|
2天前
|
缓存 算法 API
查询域名WHOIS信息免费API接口教程
该API用于查询顶级域名的WHOIS信息,不支持国别域名和中文域名。通过POST或GET请求,需提供用户ID、KEY及待查询域名。返回信息包括域名状态、注册商、时间等详细数据。示例与文档见官网。
|
20天前
|
安全 测试技术 API
如何实现API接口的自动化测试?
实现API接口的自动化测试涉及多个关键步骤:确定测试范围和目标、编写测试用例、选择自动化测试工具、搭建测试环境、编写测试脚本、执行测试、分析结果和回归测试。选择合适的工具和考虑团队熟悉度是成功的关键。常用工具包括Postman、JMeter和SoapUI。通过这些步骤和工具,可以有效提高测试效率和质量,确保API的稳定性和可靠性。
|
20天前
|
JSON 数据挖掘 API
电商信息指南:API接口淘宝关键词、店铺所有商品获取
要获取淘宝关键词商品数据和店铺所有商品的API接口,需先注册淘宝开放平台账号并创建应用,获取API密钥。接着,使用密钥获取访问令牌,详细阅读API文档,构造并发送API请求,解析响应数据。特别地,使用`item_search_shop`接口可获取店铺内所有商品信息。
|
23天前
|
前端开发 API 开发者
Python Web开发者必看!AJAX、Fetch API实战技巧,让前后端交互如丝般顺滑!
在Web开发中,前后端的高效交互是提升用户体验的关键。本文通过一个基于Flask框架的博客系统实战案例,详细介绍了如何使用AJAX和Fetch API实现不刷新页面查看评论的功能。从后端路由设置到前端请求处理,全面展示了这两种技术的应用技巧,帮助Python Web开发者提升项目质量和开发效率。
38 1
|
29天前
|
JSON API 数据格式
如何使用Python和Flask构建一个简单的RESTful API。Flask是一个轻量级的Web框架
本文介绍了如何使用Python和Flask构建一个简单的RESTful API。Flask是一个轻量级的Web框架,适合小型项目和微服务。文章从环境准备、创建基本Flask应用、定义资源和路由、请求和响应处理、错误处理等方面进行了详细说明,并提供了示例代码。通过这些步骤,读者可以快速上手构建自己的RESTful API。
32 2
|
2月前
|
JSON 安全 API
抖音店铺商品信息的 API
抖音店铺商品信息的 API 主要用于获取商品的详细信息,包括基本信息、属性、库存、评价、推广信息等。开发者需注册账号、申请权限、阅读文档、发送请求并处理响应。此外,还提供商品搜索和管理接口,帮助商家优化商品展示和管理订单,提高运营效率。使用时需遵守平台规则,确保数据安全和合法性。
|
2月前
|
监控 负载均衡 API
Web、RESTful API 在微服务中有哪些作用?
在微服务架构中,Web 和 RESTful API 扮演着至关重要的角色。它们帮助实现服务之间的通信、数据交换和系统的可扩展性。
48 2
|
2月前
|
Prometheus 监控 Cloud Native
调用淘宝 API 时如何处理错误信息?
调用淘宝API时,需熟悉其错误码体系,处理客户端(如参数错误、权限不足)和服务器(如内部错误、网络问题)错误,编写错误处理逻辑,并进行充分测试与监控,确保API调用稳定可靠。
|
21天前
|
编解码 API 数据库
商品详情 API 接口的返回结果通常包含哪些信息?
商品详情API接口返回的信息涵盖多个方面,主要包括商品基本信息(ID、标题、图片、价格、库存、SKU)、详细描述与规格参数、销售与评价信息(销量、好评率、评价内容、促销活动)、物流与售后信息(发货地、运费模板、退换货政策、保修期限)及店铺信息(ID、名称、评分)和关联推荐信息(相似商品、搭配商品)。这些信息有助于用户全面了解商品并做出购买决策。