python 爬取餐厅的商户联系人公开号码,连续爬5页,实例脚本

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: python 爬取餐厅的商户联系人公开号码,连续爬5页,实例脚本

python 爬取餐厅的商户联系人公开号码,连续爬5页,实例脚本

为什么上一个脚本只爬取了20条数据,佛山区域,爬取餐厅的商户联系人公开号码

这是因为这个脚本中设置了每页返回结果数为20,也就是offset参数。如果你想要爬取更多的数据,你可以增加这个参数的值,但是最大值为25。你也可以增加page参数的值,来获取下一页的数据,但是最大值为100。如果你想要爬取更多的数据,你可能需要使用其他的方法,比如分页爬取或者使用高德地图API的其他接口。

增加page参数的值,来获取下一页的数据

导入requests库

import requests

设置请求参数

key = "你的高德key"
city = "佛山"
types = "餐饮服务"
offset = 20 # 每页返回结果数,最大值为25
extensions = "base" # 返回结果控制,base返回基本信息,all返回详细信息
output = "JSON" # 返回数据格式类型,可选JSON,XML

设置页数范围

pages = range(1, 6) # 前5页

遍历每一页

for page in pages:

构造请求URL

url = f"https://restapi.amap.com/v3/place/text?key={key}&city={city}&types={types}&offset={offset}&page={page}&extensions={extensions}&output={output}"

发送请求,获取响应

response = requests.get(url)

解析响应数据

data = response.json()

打印响应状态和结果数

 print(data["status"], data["count"])

遍历结果列表,打印商户名称和电话号码

   for poi in data["pois"]:
        print(poi["name"], poi["tel"])
相关文章
|
6天前
|
数据采集 监控 数据挖掘
Python自动化脚本:高效办公新助手###
本文将带你走进Python自动化脚本的奇妙世界,探索其在提升办公效率中的强大潜力。随着信息技术的飞速发展,重复性工作逐渐被自动化工具取代。Python作为一门简洁而强大的编程语言,凭借其丰富的库支持和易学易用的特点,成为编写自动化脚本的首选。无论是数据处理、文件管理还是网页爬虫,Python都能游刃有余地完成任务,极大地减轻了人工操作的负担。接下来,让我们一起领略Python自动化脚本的魅力,开启高效办公的新篇章。 ###
|
1月前
|
关系型数据库 MySQL 数据库连接
python脚本:连接数据库,检查直播流是否可用
【10月更文挑战第13天】本脚本使用 `mysql-connector-python` 连接MySQL数据库,检查 `live_streams` 表中每个直播流URL的可用性。通过 `requests` 库发送HTTP请求,输出每个URL的检查结果。需安装 `mysql-connector-python` 和 `requests` 库,并配置数据库连接参数。
126 68
|
4天前
|
监控 数据挖掘 数据安全/隐私保护
Python脚本:自动化下载视频的日志记录
Python脚本:自动化下载视频的日志记录
|
14天前
|
存储 Python
Python自动化脚本编写指南
【10月更文挑战第38天】本文旨在为初学者提供一条清晰的路径,通过Python实现日常任务的自动化。我们将从基础语法讲起,逐步引导读者理解如何将代码块组合成有效脚本,并探讨常见错误及调试技巧。文章不仅涉及理论知识,还包括实际案例分析,帮助读者快速入门并提升编程能力。
44 2
|
16天前
|
运维 监控 Python
自动化运维:使用Python脚本简化日常任务
【10月更文挑战第36天】在数字化时代,运维工作的效率和准确性成为企业竞争力的关键。本文将介绍如何通过编写Python脚本来自动化日常的运维任务,不仅提高工作效率,还能降低人为错误的风险。从基础的文件操作到进阶的网络管理,我们将一步步展示Python在自动化运维中的应用,并分享实用的代码示例,帮助读者快速掌握自动化运维的核心技能。
30 3
|
21天前
|
缓存 运维 NoSQL
python常见运维脚本_Python运维常用脚本
python常见运维脚本_Python运维常用脚本
24 3
|
21天前
|
数据采集 JSON 数据安全/隐私保护
Python常用脚本集锦
Python常用脚本集锦
19 2
|
22天前
|
运维 监控 应用服务中间件
自动化运维:如何利用Python脚本提升工作效率
【10月更文挑战第30天】在快节奏的IT行业中,自动化运维已成为提升工作效率和减少人为错误的关键技术。本文将介绍如何使用Python编写简单的自动化脚本,以实现日常运维任务的自动化。通过实际案例,我们将展示如何用Python脚本简化服务器管理、批量配置更新以及监控系统性能等任务。文章不仅提供代码示例,还将深入探讨自动化运维背后的理念,帮助读者理解并应用这一技术来优化他们的工作流程。
|
23天前
|
运维 监控 Linux
自动化运维:如何利用Python脚本优化日常任务##
【10月更文挑战第29天】在现代IT运维中,自动化已成为提升效率、减少人为错误的关键技术。本文将介绍如何通过Python脚本来简化和自动化日常的运维任务,从而让运维人员能够专注于更高层次的工作。从备份管理到系统监控,再到日志分析,我们将一步步展示如何编写实用的Python脚本来处理这些任务。 ##
|
29天前
|
JSON 测试技术 持续交付
自动化测试与脚本编写:Python实践指南
自动化测试与脚本编写:Python实践指南
29 1
下一篇
无影云桌面