基于Web API的自动化信息收集和整理

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 【4月更文挑战第30天】

》》》》》魏红斌带你学shell脚本《《《《《


更多shell脚本学习点击个人主页


作为一个资深程序猿,我将带领您从零开始,一步步踏上运维之旅,无论您是否拥有现成的服务器,都将学会如何轻松购买、部署,并通过编写及应用精心设计的Shell脚本,解决实际工作中遇到的问题。这些脚本不仅源自真实的业务场景,经历了反复实践与严格测试,确保了其简洁高效、易于理解且便于使用。更重要的是,我们将全程免费分享,并深度解析背后原理,助您深入理解并灵活运用,每一款脚本均经过真实业务场景的反复打磨与严格测试,秉持着简洁高效、易于理解和使用的理念设计,无偿提供并且提供相关解析过程,让读者能更深入了解相关内容

无服务器的朋友们

让我们先从选购并部署服务器开始。只需简单三步,即可拥有您的专属云服务器:

  1. 访问ECS官网:点击链接直达阿里云ECS网站:ECS选择网址。这是您获取高质量云服务器的第一站。
  2. 选择并购买:在琳琅满目的服务器配置中,挑选符合您需求的那一款,一键下单,完成支付。整个过程犹如在线购物般便捷。
  3. 进入ECS控制台:支付成功后,您将被引导至ECS管理控制台。在这里,您可以全面掌控您的服务器资源,后续的所有运维操作都将在此展开。

已有服务器的朋友们

如果您已拥有ECS实例,那么请直接登录ECS管理控制台在左侧导航栏中,依次选择“实例与镜像” > “实例”,确保您已定位到目标资源所在的资源组和地域。接下来,在实例列表中找到待连接的实例,点击操作列下的“远程连接”,选择“通过Workbench远程连接”并点击“立即登录”。

登录实例

无论是新购还是已有服务器,接下来都需要进行实例登录。这里支持多种认证方式,以最常见的“密码认证”为例:

  • 输入用户名(通常为rootecs-user)。
  • 接着,输入登录密码。如果您忘记了密码,无需担忧,您可以在ECS实例详情页面查询,或者通过“更改密码”功能进行修改。

编写与运行Shell脚本

成功登录后,您将看到一个熟悉的命令行界面——这就是您的运维主战场。现在,键入vim test.sh,我们便进入了文本编辑模式,准备创建第一个Shell脚本。

按下键盘上的i键,进入插入模式,此刻您可以自由地复制粘贴今天要学习的脚本代码,粘贴后按ecs后,按:wq保存脚本,可以用./ test.sh或者sh test.sh进行脚本执行。

今天我们要学习的脚本是(脚本内容直接复制粘贴即可):

#!/bin/bash
# 1. 定义目标网站和API接口
TARGET_WEBSITE="https://example.com"
API_ENDPOINT="/api/search"
# 2. 定义搜索关键词列表
SEARCH_KEYWORDS=("keyword1" "keyword2" "keyword3")
# 3. 定义输出文件路径
OUTPUT_FILE="output.txt"
# 4. 清空或初始化输出文件
> $OUTPUT_FILE
# 5. 对每个关键词进行搜索
for KEYWORD in "${SEARCH_KEYWORDS[@]}"; do
    echo "Searching for: $KEYWORD"
    
    # 6. 使用curl命令发送GET请求到API接口进行搜索
    RESPONSE=$(curl -s "$TARGET_WEBSITE$API_ENDPOINT?q=$KEYWORD")
    
    # 7. 解析API返回的JSON数据
    PARSED_DATA=$(echo $RESPONSE | jq -r '.results[].title')
    
    # 8. 将解析得到的数据追加到输出文件
    echo "$PARSED_DATA" >> $OUTPUT_FILE
    
    # 9. 可选:添加延时,避免过于频繁的请求
    sleep 2
done
# 10. 输出完成信息
echo "Search completed. Results saved in $OUTPUT_FILE"

逐行解析:

  1. #!/bin/bash:指定脚本使用bash shell来执行。
  2. TARGET_WEBSITEAPI_ENDPOINT:定义目标网站和API接口的URL。
  3. SEARCH_KEYWORDS:定义一个包含多个搜索关键词的数组。
  4. OUTPUT_FILE:定义输出文件的路径和名称。
  5. >:清空或初始化输出文件。
  6. for KEYWORD in "${SEARCH_KEYWORDS[@]}"; do:遍历关键词数组,对每个关键词执行以下操作。
  7. curl -s "$TARGET_WEBSITE$API_ENDPOINT?q=$KEYWORD":使用curl命令发送GET请求到API接口进行搜索,-s参数表示静默模式,不显示进度或错误。
  8. PARSED_DATA=$(echo $RESPONSE | jq -r '.results[].title'):使用jq工具解析API返回的JSON数据,提取出每个结果的标题。-r参数表示输出原始字符串,而不是JSON格式。
  9. echo "$PARSED_DATA" >> $OUTPUT_FILE:将解析得到的数据追加到输出文件。
  10. sleep 2:可选步骤,添加延时,避免过于频繁的请求导致被目标网站封禁。
  11. done:结束for循环。
  12. echo "Search completed. Results saved in $OUTPUT_FILE":输出完成信息,告知用户搜索已完成,结果已保存到指定文件。

总结:

这个创新性的Shell脚本利用Web API进行自动化信息收集和整理。它首先定义了一个目标网站和API接口,然后定义了一个搜索关键词列表和一个输出文件路径。接着,脚本遍历关键词列表,对每个关键词发送GET请求到API接口进行搜索,并使用jq工具解析返回的JSON数据,提取出每个结果的标题。最后,将提取到的数据追加到输出文件,并输出完成信息。这个脚本的创新点在于它利用Web API进行自动化搜索,并且可以通过修改目标网站、API接口和搜索关键词来适应不同的需求场景。同时,脚本还添加了可选的延时功能,以避免过于频繁的请求。

如果想上手操作练代码的同学们可以通过阿里云ecs服务器免费试用参与!

入口:新老同学免费试用

目录
相关文章
|
6天前
|
Java API 数据库
构建RESTful API已经成为现代Web开发的标准做法之一。Spring Boot框架因其简洁的配置、快速的启动特性及丰富的功能集而备受开发者青睐。
【10月更文挑战第11天】本文介绍如何使用Spring Boot构建在线图书管理系统的RESTful API。通过创建Spring Boot项目,定义`Book`实体类、`BookRepository`接口和`BookService`服务类,最后实现`BookController`控制器来处理HTTP请求,展示了从基础环境搭建到API测试的完整过程。
22 4
|
8天前
|
XML JSON API
ServiceStack:不仅仅是一个高性能Web API和微服务框架,更是一站式解决方案——深入解析其多协议支持及简便开发流程,带您体验前所未有的.NET开发效率革命
【10月更文挑战第9天】ServiceStack 是一个高性能的 Web API 和微服务框架,支持 JSON、XML、CSV 等多种数据格式。它简化了 .NET 应用的开发流程,提供了直观的 RESTful 服务构建方式。ServiceStack 支持高并发请求和复杂业务逻辑,安装简单,通过 NuGet 包管理器即可快速集成。示例代码展示了如何创建一个返回当前日期的简单服务,包括定义请求和响应 DTO、实现服务逻辑、配置路由和宿主。ServiceStack 还支持 WebSocket、SignalR 等实时通信协议,具备自动验证、自动过滤器等丰富功能,适合快速搭建高性能、可扩展的服务端应用。
46 3
|
2天前
|
监控 负载均衡 API
Web、RESTful API 在微服务中有哪些作用?
在微服务架构中,Web 和 RESTful API 扮演着至关重要的角色。它们帮助实现服务之间的通信、数据交换和系统的可扩展性。
9 2
|
9天前
|
人工智能 搜索推荐 API
用于企业AI搜索的Bocha Web Search API,给LLM提供联网搜索能力和长文本上下文
博查Web Search API是由博查提供的企业级互联网网页搜索API接口,允许开发者通过编程访问博查搜索引擎的搜索结果和相关信息,实现在应用程序或网站中集成搜索功能。该API支持近亿级网页内容搜索,适用于各类AI应用、RAG应用和AI Agent智能体的开发,解决数据安全、价格高昂和内容合规等问题。通过注册博查开发者账户、获取API KEY并调用API,开发者可以轻松集成搜索功能。
|
4天前
|
Prometheus 监控 Cloud Native
调用淘宝 API 时如何处理错误信息?
调用淘宝API时,需熟悉其错误码体系,处理客户端(如参数错误、权限不足)和服务器(如内部错误、网络问题)错误,编写错误处理逻辑,并进行充分测试与监控,确保API调用稳定可靠。
|
9天前
|
数据采集 监控 数据挖掘
CSV文件自动化生成:用Pandas与Datetime高效处理京东商品信息
在电商竞争激烈的背景下,实时掌握商品价格和库存信息至关重要。本文介绍如何使用Python的`pandas`和`datetime`库从京东抓取商品名称、价格等信息,并生成CSV文件。结合代理IP技术,提升爬取效率和稳定性。通过设置请求头、使用代理IP和多线程技术,确保数据抓取的连续性和成功率。最终,数据将以带时间戳的CSV文件形式保存,方便后续分析。
|
17天前
|
前端开发 JavaScript API
惊呆了!学会AJAX与Fetch API,你的Python Web项目瞬间高大上!
在Web开发领域,AJAX与Fetch API是提升交互体验的关键技术。AJAX(Asynchronous JavaScript and XML)作为异步通信的先驱,通过XMLHttpRequest对象实现了局部页面更新,提升了应用流畅度。Fetch API则以更现代、简洁的方式处理HTTP请求,基于Promises提供了丰富的功能。当与Python Web框架(如Django、Flask)结合时,这两者能显著增强应用的响应速度和用户体验,使项目更加高效、高大上。
35 2
|
19天前
|
前端开发 API 开发者
从零到精通,AJAX与Fetch API让你的Python Web前后端交互无所不能!
从零到精通,AJAX与Fetch API让你的Python Web前后端交互无所不能!
32 3
|
5天前
|
移动开发 前端开发 JavaScript
前端开发实战:利用Web Speech API之speechSynthesis实现文字转语音功能
前端开发实战:利用Web Speech API之speechSynthesis实现文字转语音功能
30 0
|
27天前
|
XML JSON API
淘宝商品详情API接口:获取商品信息的指南
淘宝详情API接口是淘宝开放平台提供的一种API接口,它允许开发者通过编程方式获取淘宝商品的详细信息。这些信息包括商品的基本属性、价格、库存状态、销售策略、卖家信息等,对于电商分析、市场研究或者商品信息管理等场景非常有用。
49 1