实战|教你爬取全国火锅店数量,并利用地图可视化展示

简介: 大家好,我是阿辰,今天教大家如何获取全国不同城市火锅店数量情况,并将这些数据进行可视化展示,以更加直观的方式去浏览全国不同省份、不同城市的火锅店分布情况。本文数据来自于某度地图,通过python技术知识去获取数据并进行可视化。

大家好,我是阿辰,今天教大家如何获取全国不同城市火锅店数量情况,并将这些数据进行可视化展示,以更加直观的方式去浏览全国不同省份、不同城市的火锅店分布情况。

本文数据来自于某度地图,通过python技术知识去获取数据并进行可视化。

1

网页分析

首先先看一下数据源,在某度地图里面按照下方操作,就可以请求到全国的火锅店情况(从下图来看没有显示出来,但是通过Network,可以看到数据)

再network中,找到下面这个数据包

打开之后可以看到json数据

2

获取数据

对网页分析好之后,接下来可以借助Python技术进行获取数据,并保存到excel中。

导入相关库
import json
import requests
import openpyxl
请求数据
下面开始编写请求数据代码(请求时记得带上headers)

请求头

headers = {

    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36",
    'Referer':'https://map.baidu.com/@12949550.923158279,3712445.9716704674,6.28z',
    "Cookie":";"你的cookie",

}

请求链接

url = "https://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=direct&pcevaname=pc4.1&qt=s&da_src=searchBox.button&wd=%E7%81%AB%E9%94%85%E5%BA%97&c=1&src=0&wd2=&pn=0&sug=0&l=6&b=(10637065.476146251,2368134.592189369;12772445.910805061,5056757.351151566)&from=webmap&biz_forward={%22scaler%22:1,%22styles%22:%22pl%22}&sug_forward=&auth=NTSwAZUMzIaTTdWD4WAv0731cWF3MQEauxLxREHzERRtykiOxAXXw1GgvPUDZYOYIZuVt1cv3uVtGccZcuVtPWv3GuztQZ3wWvUvhgMZSguxzBEHLNRTVtcEWe1GD8zv7ucvY1SGpuxVthgW1aDeuxtf0wd0vyMySFIAFM7ueh33uTtAffbDF&seckey=c6d9c7e05d7e627c56ed46fab5d7c5c792064779599d5e12b955a6f18a1204375d1588206c94d22e4bdd1ade0ad06e78c21917e24c6223b96bc51b75ca38651a1b203a0609f126163c5e82fd0549a068e537303424837ab798acfc9088e5d76a66451c20ebd9599b41c9b4f1371850d20fa442ad464712f54c912422f4fa20b3052f8bb810f30d41c7c0e55af68f9d9d973537f03d0aa0a1d1617d78cae29b49c64c2d2dc3f44cf0f8799234b124a7a2dec18bfa011e097e31a508eae37b8603f97df8f935f04b3652f190eac52d04816f302a582c53971e515ff2e0e2b4cc30446e0bee48d51c4be8b6fe4185589ed9&device_ratio=1&tn=B_NORMAL_MAP&nn=0&u_loc=12677548,2604239&ie=utf-8&t=1618452491622"

响应数据

response = requests.get(url,headers=headers).json()
这里的cookie可以在浏览器network中复制即可。

通过返回的json数据可知道,我们的目标数据在more_city中,里面是列表数据是省份(provice是省份名称,num是火锅店数量),紧接着每一个省份里都有city(列表),里面是对应着省份的城市(name是城市名称,num是对应城市火锅店数量)

response = response['more_city']
for i in response:

city = i['city']
print(i['province'])
print(i['num'])
for j in city:
    print(j['name'])
    print(j['num'])

保存到excel
省份和城市分别保存到两个不同的excel中

outwb_p = openpyxl.Workbook()
outws_p = outwb_p.create_sheet(index=0)
outws_p.cell(row=1, column=1, value="省份")
outws_p.cell(row=1, column=2, value="数量")

outwb_c = openpyxl.Workbook()
outws_c = outwb_c.create_sheet(index=0)
outws_c.cell(row=1, column=1, value="城市")
outws_c.cell(row=1, column=2, value="数量")

在循环中写入数据

保存全国省份火锅数量-李运辰”

outwb_p.save("全国省份火锅数量-李运辰.xls") # 保存

保存全国城市火锅数量-李运辰”

outwb_c.save("全国城市火锅数量-李运辰.xls") # 保存

3

数据可视化

1.全国火锅店数量分布
datafile = u'全国省份火锅数量-李运辰.xls'
data = pd.read_excel(datafile)
attr = data['省份'].tolist()
value = data['数量'].tolist()
name = []
for i in attr:

if "省" in i:
    name.append(i.replace("省",""))
else:
    name.append(i)

from pyecharts import options as opts
from pyecharts.charts import Map
from pyecharts.faker import Faker
c = (

Map()
    .add("数量", [list(z) for z in zip(name, value)], "china")
    .set_global_opts(title_opts=opts.TitleOpts(title="全国火锅店数量分布情况"))
    .render("全国火锅店数量分布情况.html")

)

还可以这样画

datafile = u'全国省份火锅数量-李运辰.xls'
df = pd.read_excel(datafile)
province_distribution = df[['省份', '数量']].values.tolist()
geo = Geo()
geo.set_series_opts(label_opts=opts.LabelOpts(is_show=False))
geo.add_schema(maptype="china")
geo.set_global_opts(visualmap_opts=opts.VisualMapOpts(max_=110000))

加入数据

geo.add('全国火锅店数量分布情况图2', province_distribution, type_=ChartType.EFFECT_SCATTER)
geo.render("全国火锅店数量分布情况图2.html")

2.四川火锅店数量分布
为了绘制城市的分布图,选择了四川省为例进行绘制(如果要绘制全国的所有城市,那样出来的图密密麻麻,不美观)

datafile = u'全国城市火锅数量-李运辰.xls'
data = pd.read_excel(datafile)
city = data['城市'].tolist()
values2 = data['数量'].tolist()

四川

name = []
value = []
flag = 0
for i in range(0,len(city)):

if city[i] =="绵阳市":
    flag = 1
if flag:
    name.append(city[i])
    value.append(int(values2[i]))


if city[i] =="甘孜藏族自治州":
    name.append(city[i])
    value.append(int(values2[i]))
    break

c = (

Map()
    .add("四川火锅店数量分布", [list(z) for z in zip(name, value)], "四川")
    .set_global_opts(
    title_opts=opts.TitleOpts(title="四川火锅店数量分布"), visualmap_opts=opts.VisualMapOpts()
)
    .render("四川火锅店数量分布.html")

)

4

小结

以上的可视化可能不够很深入,本文可以起到抛砖引玉作用,下方会给大家本文数据集和代码,大家可以更好发挥。

针对本文,如果大家有什么好的可视化做法,可以在下方留言(每一条留言我都会认真看),谢谢

最后说一声:原创不易,求给个赞、在看、评论

相关文章
|
监控 数据可视化 前端开发
部署kibana分析系统并连接elasticsearch集群展现索引数据(八)
部署kibana分析系统并连接es展现索引数据 1.kibana分析系统简介 Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等,直观的展示数据,从而达到高级的数据分析与可视化的目的。
1488 0
部署kibana分析系统并连接elasticsearch集群展现索引数据(八)
|
12月前
|
存储 算法 Go
Go语言实战案例-字符串反转
本案例通过“字符串反转”任务,帮助初学者理解Go语言中字符串的本质、Unicode字符处理、切片操作及基本算法思想(如双指针法)。内容涵盖字符串反转的多种应用场景,如回文判断、加密解密等,并提供完整代码实现与解析,支持中文及特殊字符处理,避免乱码问题。同时介绍了错误示范与进阶优化方法,如封装成函数及泛型版本,适合拓展练习与深入学习。
|
测试技术 持续交付 Apache
Python性能测试新风尚:JMeter遇上Locust,性能分析不再难🧐
【10月更文挑战第1天】Python性能测试新风尚:JMeter遇上Locust,性能分析不再难🧐
639 3
|
传感器 人工智能 自动驾驶
智慧城市中的智能交通系统:缓解拥堵与提升出行效率
【9月更文挑战第16天】随着城市化进程加快,交通拥堵和污染等问题日益严重,成为制约城市发展的瓶颈。为此,智慧城市应运而生,其中智能交通系统(Intelligent Traffic System, ITS)作为核心部分,正逐渐成为缓解交通拥堵、提升出行效率的关键力量。本文将探讨智能交通系统如何通过信号优化、智能导航及公交调度等策略,结合实时路况监测与自动驾驶技术,为城市交通带来革命性变革。未来,随着技术进步和政策支持,智能交通系统将进一步智能化并与智慧城市其他系统深度融合,共同推动城市的可持续发展。
2163 17
|
数据可视化 前端开发 UED
低代码可视化-Uniapp Cascader级联选择器-代码生成器
Cascader级联选择器是一种常用的UI组件,适用于从具有层级关系的数据中进行选择,如省市区选择、公司层级选择等。它通过分组多列展示选项,支持多级分类、联动选择、搜索与过滤等功能。组件具备自定义样式、禁用选项、清空选项等特性,广泛应用于电商、企业内部系统等场景。代码示例展示了其详细的实现和调用方法。
823 7
低代码可视化-Uniapp Cascader级联选择器-代码生成器
|
计算机视觉 网络架构
【YOLOv8改进 - 卷积Conv】DWRSeg:扩张式残差分割网络,提高特征提取效率和多尺度信息获取能力,助力小目标检测
YOLO目标检测专栏探讨了YOLO的创新改进,如多尺度特征提取的DWRSeg网络。该网络通过区域残差化和语义残差化提升效率,使用DWR和SIR模块优化高层和低层特征。DWRSeg在Cityscapes和CamVid数据集上表现优秀,速度与准确性兼备。论文和代码已公开。核心代码展示了一个包含DWR模块的卷积层。更多配置详情见相关链接。
|
存储 缓存 监控
快速掌握Redis优化要点,告别性能瓶颈!
# Redis优化指南 了解如何提升Redis性能,从读写方式(整体与部分)、KV size、Key数量、读写峰值、命中率、过期策略、平均穿透加载时间、可运维性、安全性等方面着手。选择合适的读写策略,如只整体读写或部分读写变更,优化KV size避免过大或差异过大,合理管理Key数量,应对不同读写峰值,监控命中率并持续优化,设置智能过期策略,减少平均穿透加载时间,确保高可运维性并强化安全性。一起探索Redis的性能潜力!
3266 5
|
Python
【Python】已解决:(pandas读取DataFrame列报错)raise KeyError(key) from err KeyError: (‘name‘, ‘age‘)
【Python】已解决:(pandas读取DataFrame列报错)raise KeyError(key) from err KeyError: (‘name‘, ‘age‘)
2438 0
|
前端开发 JavaScript API
Python前端与后端的完美融合
【6月更文挑战第20天】文章探讨全栈开发趋势,指出Python因其简洁语法和丰富生态在全栈领域受青睐。讲解全栈概念,强调Python的易学性、广泛适用性和高开发效率。通过Flask和HTML/JS示例展示前后端融合,介绍数据库集成、前端扩展技术及自动化测试。强调安全性、性能优化和社区资源的重要性,鼓励开发者持续学习和实践,以应对全栈开发中的挑战。