Python:南京地铁每日客流数据的爬虫实现

简介: Python:南京地铁每日客流数据的爬虫实现

近年来,南京因其深厚的历史文化底蕴、丰富的美食文化、时尚潮流元素、众多的网红打卡地以及便捷的交通网络,吸引了越来越多的游客前来游览和体验,已成为一座名副其实的网红城市。而南京地铁每日的客流统计也从交通方面来验证这座城市的活力。本期,我们就从某网站上爬取南京地铁每日的客流量,看看到底每天有多少人乘坐南京地铁,感受一下城市的活力。一、目标网站分析

我们选取的是某浪微博上的南京地铁官微,首先我们要登录一下微博账号呦:

d6e1e894992ade273fb6ca93684566a7.png

进入官微,在搜索栏搜索“昨日客流”:

d236b5bdde8806c882cc25570979a416.png

这样每日的客流数据就出来了,分析一下网站:

4bc0ed565b554ee7ac5d93918759a03d.png

数据封装在json中,这就比较容易了,另外,网站爬取的网址也比较友好,一眼就能看出该改哪儿?

70d9f0d70978f37f1e0cbe06d642b7f7.png

二、python的爬虫实现直接上代码了:

import requestsimport jsonimport time
def crawl(url):    headers={    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 Safari/537.36 QIHU 360SE',    'Cookie':'SINAGLOBAL=4986938885267.034.1611557075208; UOR=,,www.newsmth.net; SCF=AsteYIygKWLb1c7isTSbcSKGhzx3uIincJoyZ8QqncWiH8JZVvSd5d-3wOUZz4BVRvVk9aP6MpoEAPFjamP1PsQ.; PC_TOKEN=c9961d4443; XSRF-TOKEN=7DVupLijZ8HS-obwAsgng38K; SUB=_2A25LPfNwDeRhGeVO6FoT9SfKyz-IHXVoMwq4rDV8PUNbmtB-LXHMkW9NTWYxRiVpMZmEonNCGtdVpPrtainOzX9C; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WhBSrc87.WA6LWkHooL27Ag5JpX5KzhUgL.Foe7e0nESK.cehe2dJLoI7vrUgxydJyLMJvk1KqcS05t; ALF=02_1717637152; _s_tentry=weibo.com; Apache=1847197916327.9805.1715045303546; ULV=1715045303599:122:1:1:1847197916327.9805.1715045303546:1712712106925; WBPSESS=c30qXQjimzq8VTt-alFMUqrIiZPhaHN2YGlFokb6mifNaVk8myguMla7TKnc865OcxCupPzoc-PdkKjmpxVe3qpOkJDdY3-lqSw88SW4iwqa3A64rzvumW3xLecoRGOzUM6tKSv78K8Bu3oxV3JTqw=='}    # 发送GET请求    response = requests.get(url,headers=headers)    j_data=json.loads(response.text)    f=open('./南京地铁线路每日客流.txt','a+',encoding='utf-8')    for i in j_data['data']['list']:        f.write('%s' % (i['text_raw']))        f.write("\n")
for i in range(1,1000):    print(i)    url=f"https://weibo.com/ajax/statuses/searchProfile?uid=2638276292&page={i}&q=%E6%98%A8%E6%97%A5%E5%AE%A2%E6%B5%81"    crawl(url)    time.sleep(0.5)f.close()

暴力了一把,直接把循环网址弄到了1000,实际操作下来,可能只到53页左右就停止了,看看txt文件。

c332323dbe77571a01993bbf845076a5.png

搞定了,数据出来了

三、结语后续,我们将通过数据提取和数据分析,看看南京地铁在不同日期的客运量变化趋势。这些数据可以帮助我们了解地铁系统的使用情况,看看一座城市日常人口流动情况,反应一下城市活力。

相关文章
|
15天前
|
数据采集 数据可视化 数据挖掘
利用Python自动化处理Excel数据:从基础到进阶####
本文旨在为读者提供一个全面的指南,通过Python编程语言实现Excel数据的自动化处理。无论你是初学者还是有经验的开发者,本文都将帮助你掌握Pandas和openpyxl这两个强大的库,从而提升数据处理的效率和准确性。我们将从环境设置开始,逐步深入到数据读取、清洗、分析和可视化等各个环节,最终实现一个实际的自动化项目案例。 ####
|
16天前
|
数据采集 存储 XML
Python爬虫:深入探索1688关键词接口获取之道
在数字化经济中,数据尤其在电商领域的价值日益凸显。1688作为中国领先的B2B平台,其关键词接口对商家至关重要。本文介绍如何通过Python爬虫技术,合法合规地获取1688关键词接口,助力商家洞察市场趋势,优化营销策略。
|
1月前
|
数据采集 Web App开发 监控
高效爬取B站评论:Python爬虫的最佳实践
高效爬取B站评论:Python爬虫的最佳实践
|
1月前
|
数据采集 缓存 定位技术
网络延迟对Python爬虫速度的影响分析
网络延迟对Python爬虫速度的影响分析
|
2天前
|
数据采集 安全 定位技术
使用代理IP爬虫时数据不完整的原因探讨
在信息化时代,互联网成为生活的重要部分。使用HTTP代理爬取数据时,可能会遇到失败情况,如代理IP失效、速度慢、目标网站策略、请求频率过高、地理位置不当、网络连接问题、代理配置错误和目标网站内容变化等。解决方法包括更换代理IP、调整请求频率、检查配置及目标网站变化。
27 11
|
21天前
|
数据采集 JSON JavaScript
如何通过PHP爬虫模拟表单提交,抓取隐藏数据
本文介绍了如何使用PHP模拟表单提交并结合代理IP技术抓取京东商品的实时名称和价格,特别是在电商大促期间的数据采集需求。通过cURL发送POST请求,设置User-Agent和Cookie,使用代理IP绕过限制,解析返回数据,展示了完整代码示例。
如何通过PHP爬虫模拟表单提交,抓取隐藏数据
|
1天前
|
数据采集 JSON API
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
|
6天前
|
数据采集 存储 API
利用Python爬虫获取1688关键词接口全攻略
本文介绍如何使用Python爬虫技术合法合规地获取1688关键词接口数据,包括环境准备、注册1688开发者账号、获取Access Token、构建请求URL、发送API请求、解析HTML及数据处理存储等步骤,强调遵守法律法规和合理使用爬虫技术的重要性。
|
13天前
|
数据采集 JSON 开发者
Python爬虫京东商品详情数据接口
京东商品详情数据接口(JD.item_get)提供商品标题、价格、品牌、规格、图片等详细信息,适用于电商数据分析、竞品分析等。开发者需先注册账号、创建应用并申请接口权限,使用时需遵循相关规则,注意数据更新频率和错误处理。示例代码展示了如何通过 Python 调用此接口并处理返回的 JSON 数据。
|
13天前
|
数据采集 分布式计算 大数据
构建高效的数据管道:使用Python进行ETL任务
在数据驱动的世界中,高效地处理和移动数据是至关重要的。本文将引导你通过一个实际的Python ETL(提取、转换、加载)项目,从概念到实现。我们将探索如何设计一个灵活且可扩展的数据管道,确保数据的准确性和完整性。无论你是数据工程师、分析师还是任何对数据处理感兴趣的人,这篇文章都将成为你工具箱中的宝贵资源。