基于Web API的自动化信息收集和整理

简介: 【4月更文挑战第30天】

》》》》》魏红斌带你学shell脚本《《《《《


更多shell脚本学习点击个人主页


作为一个资深程序猿,我将带领您从零开始,一步步踏上运维之旅,无论您是否拥有现成的服务器,都将学会如何轻松购买、部署,并通过编写及应用精心设计的Shell脚本,解决实际工作中遇到的问题。这些脚本不仅源自真实的业务场景,经历了反复实践与严格测试,确保了其简洁高效、易于理解且便于使用。更重要的是,我们将全程免费分享,并深度解析背后原理,助您深入理解并灵活运用,每一款脚本均经过真实业务场景的反复打磨与严格测试,秉持着简洁高效、易于理解和使用的理念设计,无偿提供并且提供相关解析过程,让读者能更深入了解相关内容

无服务器的朋友们

让我们先从选购并部署服务器开始。只需简单三步,即可拥有您的专属云服务器:

  1. 访问ECS官网:点击链接直达阿里云ECS网站:ECS选择网址。这是您获取高质量云服务器的第一站。
  2. 选择并购买:在琳琅满目的服务器配置中,挑选符合您需求的那一款,一键下单,完成支付。整个过程犹如在线购物般便捷。
  3. 进入ECS控制台:支付成功后,您将被引导至ECS管理控制台。在这里,您可以全面掌控您的服务器资源,后续的所有运维操作都将在此展开。

已有服务器的朋友们

如果您已拥有ECS实例,那么请直接登录ECS管理控制台在左侧导航栏中,依次选择“实例与镜像” > “实例”,确保您已定位到目标资源所在的资源组和地域。接下来,在实例列表中找到待连接的实例,点击操作列下的“远程连接”,选择“通过Workbench远程连接”并点击“立即登录”。

登录实例

无论是新购还是已有服务器,接下来都需要进行实例登录。这里支持多种认证方式,以最常见的“密码认证”为例:

  • 输入用户名(通常为rootecs-user)。
  • 接着,输入登录密码。如果您忘记了密码,无需担忧,您可以在ECS实例详情页面查询,或者通过“更改密码”功能进行修改。

编写与运行Shell脚本

成功登录后,您将看到一个熟悉的命令行界面——这就是您的运维主战场。现在,键入vim test.sh,我们便进入了文本编辑模式,准备创建第一个Shell脚本。

按下键盘上的i键,进入插入模式,此刻您可以自由地复制粘贴今天要学习的脚本代码,粘贴后按ecs后,按:wq保存脚本,可以用./ test.sh或者sh test.sh进行脚本执行。

今天我们要学习的脚本是(脚本内容直接复制粘贴即可):

#!/bin/bash
# 1. 定义目标网站和API接口
TARGET_WEBSITE="https://example.com"
API_ENDPOINT="/api/search"
# 2. 定义搜索关键词列表
SEARCH_KEYWORDS=("keyword1" "keyword2" "keyword3")
# 3. 定义输出文件路径
OUTPUT_FILE="output.txt"
# 4. 清空或初始化输出文件
> $OUTPUT_FILE
# 5. 对每个关键词进行搜索
for KEYWORD in "${SEARCH_KEYWORDS[@]}"; do
    echo "Searching for: $KEYWORD"
    
    # 6. 使用curl命令发送GET请求到API接口进行搜索
    RESPONSE=$(curl -s "$TARGET_WEBSITE$API_ENDPOINT?q=$KEYWORD")
    
    # 7. 解析API返回的JSON数据
    PARSED_DATA=$(echo $RESPONSE | jq -r '.results[].title')
    
    # 8. 将解析得到的数据追加到输出文件
    echo "$PARSED_DATA" >> $OUTPUT_FILE
    
    # 9. 可选:添加延时,避免过于频繁的请求
    sleep 2
done
# 10. 输出完成信息
echo "Search completed. Results saved in $OUTPUT_FILE"

逐行解析:

  1. #!/bin/bash:指定脚本使用bash shell来执行。
  2. TARGET_WEBSITEAPI_ENDPOINT:定义目标网站和API接口的URL。
  3. SEARCH_KEYWORDS:定义一个包含多个搜索关键词的数组。
  4. OUTPUT_FILE:定义输出文件的路径和名称。
  5. >:清空或初始化输出文件。
  6. for KEYWORD in "${SEARCH_KEYWORDS[@]}"; do:遍历关键词数组,对每个关键词执行以下操作。
  7. curl -s "$TARGET_WEBSITE$API_ENDPOINT?q=$KEYWORD":使用curl命令发送GET请求到API接口进行搜索,-s参数表示静默模式,不显示进度或错误。
  8. PARSED_DATA=$(echo $RESPONSE | jq -r '.results[].title'):使用jq工具解析API返回的JSON数据,提取出每个结果的标题。-r参数表示输出原始字符串,而不是JSON格式。
  9. echo "$PARSED_DATA" >> $OUTPUT_FILE:将解析得到的数据追加到输出文件。
  10. sleep 2:可选步骤,添加延时,避免过于频繁的请求导致被目标网站封禁。
  11. done:结束for循环。
  12. echo "Search completed. Results saved in $OUTPUT_FILE":输出完成信息,告知用户搜索已完成,结果已保存到指定文件。

总结:

这个创新性的Shell脚本利用Web API进行自动化信息收集和整理。它首先定义了一个目标网站和API接口,然后定义了一个搜索关键词列表和一个输出文件路径。接着,脚本遍历关键词列表,对每个关键词发送GET请求到API接口进行搜索,并使用jq工具解析返回的JSON数据,提取出每个结果的标题。最后,将提取到的数据追加到输出文件,并输出完成信息。这个脚本的创新点在于它利用Web API进行自动化搜索,并且可以通过修改目标网站、API接口和搜索关键词来适应不同的需求场景。同时,脚本还添加了可选的延时功能,以避免过于频繁的请求。

如果想上手操作练代码的同学们可以通过阿里云ecs服务器免费试用参与!

入口:新老同学免费试用

目录
相关文章
|
7月前
|
算法 Java Go
【GoGin】(1)上手Go Gin 基于Go语言开发的Web框架,本文介绍了各种路由的配置信息;包含各场景下请求参数的基本传入接收
gin 框架中采用的路优酷是基于httprouter做的是一个高性能的 HTTP 请求路由器,适用于 Go 语言。它的设计目标是提供高效的路由匹配和低内存占用,特别适合需要高性能和简单路由的应用场景。
579 4
|
9月前
|
XML 缓存 API
eBay 商品详情 API 深度解析:从基础信息到变体数据获取全方案
本文详解如何通过 eBay 的 GetItem 和 GetMultipleItems 接口获取商品详情数据,涵盖基础属性、价格、变体、卖家信息等,并提供可复用的 Python 代码。内容包括 API 核心参数、响应结构、代码实现、实战注意事项及扩展方向,助力跨境电商开发。
|
8月前
|
JSON API 数据格式
亚马逊:调用商品上传API实现全球多站点商品信息一键发布,降低人工操作成本
在亚马逊多站点电商运营中,手动上传商品效率低且易出错。通过调用Selling Partner API,可实现商品信息一键全球发布,大幅提升效率、降低成本。本文详解API功能、数据准备、代码实现与优化策略,助力企业轻松掌握自动化发布流程,提升全球运营能力。
339 0
|
8月前
|
安全 PHP 开发工具
Web渗透信息收集进阶
网站敏感目录与文件指易被恶意扫描利用的路径,如后台管理、.git、.svn等,可能导致源码泄露或权限入侵。常用工具如御剑、Dirbuster、Dirsearch可探测此类信息,需加强安全防护。
1145 58
Web渗透信息收集进阶
|
9月前
|
机器学习/深度学习 人工智能 缓存
电商 API 接口:开启全平台商品信息同步新时代
在数字化浪潮下,电商平台激增,消费者跨平台购物成为常态。然而,商品信息分散导致数据不一致、库存混乱等问题。电商 API 接口应运而生,通过标准化数据交换,实现多平台商品信息实时同步,提升运营效率、降低成本、增强用户体验,成为企业数字化转型的关键引擎。
455 0
|
9月前
|
监控 算法 API
拼多多API团购活动自动化:拼单成功率暴涨的幕后技术解析
本方案通过API自动化引擎破解传统团购效率低、响应慢、数据分散等问题,实现库存、价格、成团的实时联动。实战数据显示,成团时效提升74%,拼单成功率高达92%,人力成本下降80%。某生鲜商家接入后,月GMV突破500万元,成团率高达98.3%。API赋能团购,开启电商效率新纪元。
371 0
|
10月前
|
存储 安全 API
订单处理效率提升80%?揭秘电商API自动化操作的隐藏技巧
本文全面解析电商API的使用方法,涵盖基础概念、实战操作与高级技巧,助力从业者从入门到精通掌握这一关键技术。内容包括API核心功能、接入流程、安全优化及多个业务创新案例,帮助提升电商运营效率与创新能力。
|
10月前
|
JSON JavaScript 测试技术
用Postman玩转电商API:一键测试+自动化请求教程
Postman 是电商 API 测试的高效工具,涵盖基础配置、自动化测试、环境管理与请求自动化,助你快速提升开发效率。
|
7月前
|
缓存 数据可视化 定位技术
快递鸟快递API技术指南:获取物流轨迹信息与轨迹地图的解决方案
在当今电商竞争激烈的环境中,物流体验已成为提升用户满意度的关键因素。研究表明,超过 75% 的消费者会因物流信息不透明而放弃下单。
1517 1
|
8月前
|
缓存 运维 监控
API 别乱跑:自动化运维里的流量管理秘籍
API 别乱跑:自动化运维里的流量管理秘籍
296 9