Python:南京地铁每日客流数据的爬虫实现

简介: Python:南京地铁每日客流数据的爬虫实现

近年来,南京因其深厚的历史文化底蕴、丰富的美食文化、时尚潮流元素、众多的网红打卡地以及便捷的交通网络,吸引了越来越多的游客前来游览和体验,已成为一座名副其实的网红城市。而南京地铁每日的客流统计也从交通方面来验证这座城市的活力。本期,我们就从某网站上爬取南京地铁每日的客流量,看看到底每天有多少人乘坐南京地铁,感受一下城市的活力。一、目标网站分析

我们选取的是某浪微博上的南京地铁官微,首先我们要登录一下微博账号呦:

d6e1e894992ade273fb6ca93684566a7.png

进入官微,在搜索栏搜索“昨日客流”:

d236b5bdde8806c882cc25570979a416.png

这样每日的客流数据就出来了,分析一下网站:

4bc0ed565b554ee7ac5d93918759a03d.png

数据封装在json中,这就比较容易了,另外,网站爬取的网址也比较友好,一眼就能看出该改哪儿?

70d9f0d70978f37f1e0cbe06d642b7f7.png

二、python的爬虫实现直接上代码了:

import requestsimport jsonimport time
def crawl(url):    headers={    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 Safari/537.36 QIHU 360SE',    'Cookie':'SINAGLOBAL=4986938885267.034.1611557075208; UOR=,,www.newsmth.net; SCF=AsteYIygKWLb1c7isTSbcSKGhzx3uIincJoyZ8QqncWiH8JZVvSd5d-3wOUZz4BVRvVk9aP6MpoEAPFjamP1PsQ.; PC_TOKEN=c9961d4443; XSRF-TOKEN=7DVupLijZ8HS-obwAsgng38K; SUB=_2A25LPfNwDeRhGeVO6FoT9SfKyz-IHXVoMwq4rDV8PUNbmtB-LXHMkW9NTWYxRiVpMZmEonNCGtdVpPrtainOzX9C; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WhBSrc87.WA6LWkHooL27Ag5JpX5KzhUgL.Foe7e0nESK.cehe2dJLoI7vrUgxydJyLMJvk1KqcS05t; ALF=02_1717637152; _s_tentry=weibo.com; Apache=1847197916327.9805.1715045303546; ULV=1715045303599:122:1:1:1847197916327.9805.1715045303546:1712712106925; WBPSESS=c30qXQjimzq8VTt-alFMUqrIiZPhaHN2YGlFokb6mifNaVk8myguMla7TKnc865OcxCupPzoc-PdkKjmpxVe3qpOkJDdY3-lqSw88SW4iwqa3A64rzvumW3xLecoRGOzUM6tKSv78K8Bu3oxV3JTqw=='}    # 发送GET请求    response = requests.get(url,headers=headers)    j_data=json.loads(response.text)    f=open('./南京地铁线路每日客流.txt','a+',encoding='utf-8')    for i in j_data['data']['list']:        f.write('%s' % (i['text_raw']))        f.write("\n")
for i in range(1,1000):    print(i)    url=f"https://weibo.com/ajax/statuses/searchProfile?uid=2638276292&page={i}&q=%E6%98%A8%E6%97%A5%E5%AE%A2%E6%B5%81"    crawl(url)    time.sleep(0.5)f.close()

暴力了一把,直接把循环网址弄到了1000,实际操作下来,可能只到53页左右就停止了,看看txt文件。

c332323dbe77571a01993bbf845076a5.png

搞定了,数据出来了

三、结语后续,我们将通过数据提取和数据分析,看看南京地铁在不同日期的客运量变化趋势。这些数据可以帮助我们了解地铁系统的使用情况,看看一座城市日常人口流动情况,反应一下城市活力。

相关文章
|
29天前
|
机器学习/深度学习 新能源 调度
电力系统短期负荷预测(Python代码+数据+详细文章讲解)
电力系统短期负荷预测(Python代码+数据+详细文章讲解)
164 1
|
1月前
|
缓存 API 网络架构
淘宝item_search_similar - 搜索相似的商品API接口,用python返回数据
淘宝联盟开放平台中,可通过“物料优选接口”(taobao.tbk.dg.optimus.material)实现“搜索相似商品”功能。该接口支持根据商品 ID 获取相似推荐商品,并返回商品信息、价格、优惠等数据,适用于商品推荐、比价等场景。本文提供基于 Python 的实现示例,包含接口调用、数据解析及结果展示。使用时需配置淘宝联盟的 appkey、appsecret 和 adzone_id,并注意接口调用频率限制和使用规范。
|
22天前
|
存储 监控 API
Python实战:跨平台电商数据聚合系统的技术实现
本文介绍如何通过标准化API调用协议,实现淘宝、京东、拼多多等电商平台的商品数据自动化采集、清洗与存储。内容涵盖技术架构设计、Python代码示例及高阶应用(如价格监控系统),提供可直接落地的技术方案,帮助开发者解决多平台数据同步难题。
|
25天前
|
存储 JSON 算法
Python集合:高效处理无序唯一数据的利器
Python集合是一种高效的数据结构,具备自动去重、快速成员检测和无序性等特点,适用于数据去重、集合运算和性能优化等场景。本文通过实例详解其用法与技巧。
75 0
|
1月前
|
数据采集 数据挖掘 测试技术
Go与Python爬虫实战对比:从开发效率到性能瓶颈的深度解析
本文对比了Python与Go在爬虫开发中的特点。Python凭借Scrapy等框架在开发效率和易用性上占优,适合快速开发与中小型项目;而Go凭借高并发和高性能优势,适用于大规模、长期运行的爬虫服务。文章通过代码示例和性能测试,分析了两者在并发能力、错误处理、部署维护等方面的差异,并探讨了未来融合发展的趋势。
144 0
|
6天前
|
JSON API 数据安全/隐私保护
Python采集淘宝评论API接口及JSON数据返回全流程指南
Python采集淘宝评论API接口及JSON数据返回全流程指南
|
9天前
|
数据采集 数据可视化 关系型数据库
基于python大数据的电影数据可视化分析系统
电影分析与可视化平台顺应电影产业数字化趋势,整合大数据处理、人工智能与Web技术,实现电影数据的采集、分析与可视化展示。平台支持票房、评分、观众行为等多维度分析,助力行业洞察与决策,同时提供互动界面,增强观众对电影文化的理解。技术上依托Python、MySQL、Flask、HTML等构建,融合数据采集与AI分析,提升电影行业的数据应用能力。
|
9天前
|
数据采集 Web App开发 前端开发
处理动态Token:Python爬虫应对AJAX授权请求的策略
处理动态Token:Python爬虫应对AJAX授权请求的策略
|
9天前
|
数据采集 网络协议 API
协程+连接池:高并发Python爬虫的底层优化逻辑
协程+连接池:高并发Python爬虫的底层优化逻辑
|
1月前
|
JSON 安全 API
Python处理JSON数据的最佳实践:从基础到进阶的实用指南
JSON作为数据交换通用格式,广泛应用于Web开发与API交互。本文详解Python处理JSON的10个关键实践,涵盖序列化、复杂结构处理、性能优化与安全编程,助开发者高效应对各类JSON数据挑战。
127 1

推荐镜像

更多