Python:南京地铁每日客流数据的爬虫实现

简介: Python:南京地铁每日客流数据的爬虫实现

近年来,南京因其深厚的历史文化底蕴、丰富的美食文化、时尚潮流元素、众多的网红打卡地以及便捷的交通网络,吸引了越来越多的游客前来游览和体验,已成为一座名副其实的网红城市。而南京地铁每日的客流统计也从交通方面来验证这座城市的活力。本期,我们就从某网站上爬取南京地铁每日的客流量,看看到底每天有多少人乘坐南京地铁,感受一下城市的活力。一、目标网站分析

我们选取的是某浪微博上的南京地铁官微,首先我们要登录一下微博账号呦:

d6e1e894992ade273fb6ca93684566a7.png

进入官微,在搜索栏搜索“昨日客流”:

d236b5bdde8806c882cc25570979a416.png

这样每日的客流数据就出来了,分析一下网站:

4bc0ed565b554ee7ac5d93918759a03d.png

数据封装在json中,这就比较容易了,另外,网站爬取的网址也比较友好,一眼就能看出该改哪儿?

70d9f0d70978f37f1e0cbe06d642b7f7.png

二、python的爬虫实现直接上代码了:

import requestsimport jsonimport time
def crawl(url):    headers={    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 Safari/537.36 QIHU 360SE',    'Cookie':'SINAGLOBAL=4986938885267.034.1611557075208; UOR=,,www.newsmth.net; SCF=AsteYIygKWLb1c7isTSbcSKGhzx3uIincJoyZ8QqncWiH8JZVvSd5d-3wOUZz4BVRvVk9aP6MpoEAPFjamP1PsQ.; PC_TOKEN=c9961d4443; XSRF-TOKEN=7DVupLijZ8HS-obwAsgng38K; SUB=_2A25LPfNwDeRhGeVO6FoT9SfKyz-IHXVoMwq4rDV8PUNbmtB-LXHMkW9NTWYxRiVpMZmEonNCGtdVpPrtainOzX9C; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WhBSrc87.WA6LWkHooL27Ag5JpX5KzhUgL.Foe7e0nESK.cehe2dJLoI7vrUgxydJyLMJvk1KqcS05t; ALF=02_1717637152; _s_tentry=weibo.com; Apache=1847197916327.9805.1715045303546; ULV=1715045303599:122:1:1:1847197916327.9805.1715045303546:1712712106925; WBPSESS=c30qXQjimzq8VTt-alFMUqrIiZPhaHN2YGlFokb6mifNaVk8myguMla7TKnc865OcxCupPzoc-PdkKjmpxVe3qpOkJDdY3-lqSw88SW4iwqa3A64rzvumW3xLecoRGOzUM6tKSv78K8Bu3oxV3JTqw=='}    # 发送GET请求    response = requests.get(url,headers=headers)    j_data=json.loads(response.text)    f=open('./南京地铁线路每日客流.txt','a+',encoding='utf-8')    for i in j_data['data']['list']:        f.write('%s' % (i['text_raw']))        f.write("\n")
for i in range(1,1000):    print(i)    url=f"https://weibo.com/ajax/statuses/searchProfile?uid=2638276292&page={i}&q=%E6%98%A8%E6%97%A5%E5%AE%A2%E6%B5%81"    crawl(url)    time.sleep(0.5)f.close()

暴力了一把,直接把循环网址弄到了1000,实际操作下来,可能只到53页左右就停止了,看看txt文件。

c332323dbe77571a01993bbf845076a5.png

搞定了,数据出来了

三、结语后续,我们将通过数据提取和数据分析,看看南京地铁在不同日期的客运量变化趋势。这些数据可以帮助我们了解地铁系统的使用情况,看看一座城市日常人口流动情况,反应一下城市活力。

相关文章
|
1天前
|
数据采集 存储 数据挖掘
深入剖析 Python 爬虫:淘宝商品详情数据抓取
深入剖析 Python 爬虫:淘宝商品详情数据抓取
|
1天前
|
算法 Serverless 数据处理
从集思录可转债数据探秘:Python与C++实现的移动平均算法应用
本文探讨了如何利用移动平均算法分析集思录提供的可转债数据,帮助投资者把握价格趋势。通过Python和C++两种编程语言实现简单移动平均(SMA),展示了数据处理的具体方法。Python代码借助`pandas`库轻松计算5日SMA,而C++代码则通过高效的数据处理展示了SMA的计算过程。集思录平台提供了详尽且及时的可转债数据,助力投资者结合算法与社区讨论,做出更明智的投资决策。掌握这些工具和技术,有助于在复杂多变的金融市场中挖掘更多价值。
22 12
|
3天前
|
数据采集 JSON Java
Java爬虫获取微店快递费用item_fee API接口数据实现
本文介绍如何使用Java开发爬虫程序,通过微店API接口获取商品快递费用(item_fee)数据。主要内容包括:微店API接口的使用方法、Java爬虫技术背景、需求分析和技术选型。具体实现步骤为:发送HTTP请求获取数据、解析JSON格式的响应并提取快递费用信息,最后将结果存储到本地文件中。文中还提供了完整的代码示例,并提醒开发者注意授权令牌、接口频率限制及数据合法性等问题。
|
4天前
|
存储 数据采集 数据库
Python爬虫实战:股票分时数据抓取与存储
Python爬虫实战:股票分时数据抓取与存储
|
6天前
|
数据采集 数据安全/隐私保护 Python
从零开始:用Python爬取网站的汽车品牌和价格数据
在现代化办公室中,工程师小李和产品经理小张讨论如何获取懂车帝网站的汽车品牌和价格数据。小李提出使用Python编写爬虫,并通过亿牛云爬虫代理避免被封禁。代码实现包括设置代理、请求头、解析网页内容、多线程爬取等步骤,确保高效且稳定地抓取数据。小张表示理解并准备按照指导操作。
从零开始:用Python爬取网站的汽车品牌和价格数据
|
8天前
|
数据采集 前端开发 API
SurfGen爬虫:解析HTML与提取关键数据
SurfGen爬虫:解析HTML与提取关键数据
|
30天前
|
数据采集 JSON 数据格式
Python爬虫:京东商品评论内容
京东商品评论接口为商家和消费者提供了重要工具。商家可分析评论优化产品,消费者则依赖评论做出购买决策。该接口通过HTTP请求获取评论内容、时间、点赞数等数据,支持分页和筛选好评、中评、差评。Python示例代码展示了如何调用接口并处理返回的JSON数据。应用场景包括产品优化、消费者决策辅助、市场竞争分析及舆情监测。
|
1月前
|
数据采集 Web App开发 数据可视化
Python用代理IP获取抖音电商达人主播数据
在当今数字化时代,电商直播成为重要的销售模式,抖音电商汇聚了众多达人主播。了解这些主播的数据对于品牌和商家至关重要。然而,直接从平台获取数据并非易事。本文介绍如何使用Python和代理IP高效抓取抖音电商达人主播的关键数据,包括主播昵称、ID、直播间链接、观看人数、点赞数和商品列表等。通过环境准备、代码实战及数据处理与可视化,最终实现定时任务自动化抓取,为企业决策提供有力支持。
|
1月前
|
数据采集 供应链 API
Python爬虫与1688图片搜索API接口:深度解析与显著收益
在电子商务领域,数据是驱动业务决策的核心。阿里巴巴旗下的1688平台作为全球领先的B2B市场,提供了丰富的API接口,特别是图片搜索API(`item_search_img`),允许开发者通过上传图片搜索相似商品。本文介绍如何结合Python爬虫技术高效利用该接口,提升搜索效率和用户体验,助力企业实现自动化商品搜索、库存管理优化、竞品监控与定价策略调整等,显著提高运营效率和市场竞争力。
89 3
|
2月前
|
数据采集 存储 XML
python实战——使用代理IP批量获取手机类电商数据
本文介绍了如何使用代理IP批量获取华为荣耀Magic7 Pro手机在电商网站的商品数据,包括名称、价格、销量和用户评价等。通过Python实现自动化采集,并存储到本地文件中。使用青果网络的代理IP服务,可以提高数据采集的安全性和效率,确保数据的多样性和准确性。文中详细描述了准备工作、API鉴权、代理授权及获取接口的过程,并提供了代码示例,帮助读者快速上手。手机数据来源为京东(item.jd.com),代理IP资源来自青果网络(qg.net)。

推荐镜像

更多