python 爬取餐厅的商户联系人公开号码,连续爬5页,实例脚本

为什么上一个脚本只爬取了20条数据,佛山区域,爬取餐厅的商户联系人公开号码

这是因为这个脚本中设置了每页返回结果数为20，也就是offset参数。如果你想要爬取更多的数据，你可以增加这个参数的值，但是最大值为25。你也可以增加page参数的值，来获取下一页的数据，但是最大值为100。如果你想要爬取更多的数据，你可能需要使用其他的方法，比如分页爬取或者使用高德地图API的其他接口。

增加page参数的值，来获取下一页的数据

导入requests库

import requests

设置请求参数

key = "你的高德key"
city = "佛山"
types = "餐饮服务"
offset = 20 # 每页返回结果数，最大值为25
extensions = "base" # 返回结果控制，base返回基本信息，all返回详细信息
output = "JSON" # 返回数据格式类型，可选JSON，XML

设置页数范围

pages = range(1, 6) # 前5页

遍历每一页

for page in pages:

构造请求URL

url = f"https://restapi.amap.com/v3/place/text?key={key}&city={city}&types={types}&offset={offset}&page={page}&extensions={extensions}&output={output}"

发送请求，获取响应

response = requests.get(url)

解析响应数据

data = response.json()

打印响应状态和结果数

 print(data["status"], data["count"])

遍历结果列表，打印商户名称和电话号码

   for poi in data["pois"]:
        print(poi["name"], poi["tel"])