干货 | Python爬虫实战:两点间的真实行车时间与路况分析(一)

简介: 干货 | Python爬虫实战:两点间的真实行车时间与路况分析(上)

前言

大家好,我又又来来来来了!在这里先祝大家身体健康,天天开心!

微信图片_20220423102357.gif

虽然放假,在家里小玮同学也没有休息,这一次给大家带来的是利用爬虫爬取地图软件的相关数据,并制作成图表进行分析。

微信图片_20220423102400.png

为什么突然想做一期关于爬虫的内容呢?其实是因为前段时间收到老师的任务,研究一下现实中两点之间的旅行时间是否受出发时间的影响。

这个题目可把当时的小玮吓坏了--python我都还没有开始学习呢--咋就叫我做这么有难度的事情。

微信图片_20220423102402.png

看了几天的python基础知识,了解了爬虫的相关知识,最终还是勉勉强强地完成了任务,现在把这段时间的体会写出来,让各位看客老爷们检查。

微信图片_20220423102404.jpg

Python的基本语法内容呢,在这里就不多说了。

因为在本次爬取数据的过程中,我们用的和python相关的知识并不是很复杂,不需要给大家介绍别的东西,大家完全可以在具体的过程中就可以学会本次爬取需要的东西。

鉴于整个流程涉及到的知识很广我们分成三篇推文来讲解,本篇推文的内容是《数据爬取》

目录


  • 问题的分析
  • 简单的准备
  • 寻找高校
  • 获取相应地点的坐标
  • 制作excel表格
  • 相应时间的获取
  • 开始我们的工作
  • 进入目标网页
  • 爬取目标内容
  • 定时操作
  • 小小的总结

问题的分析

Q:现实中两点的旅行时间是否受到出发时间的影响呢?这是什么意思呢,因为每个时间段的路况不同,比如早高峰晚高峰等等,两点之间的实际旅行时间就有可能受到出发时间的影响。

微信图片_20220423102406.gif

好了,现在问题清楚了。下面我们选取武汉的一些高校作为测试点,给大家演示如何提取相应的数据进行分析。(武汉快点好起来呀!小编好想去上学!)

首先我们需要关注的点有以下几个:

  • 武汉著名的高校包括哪些大学
  • 旅行的出发点和终点的坐标
  • 旅行的出发时间,旅行所用时间
  • 如何对所收集的数据进行可视化处理
  • 如何对数据进行分析

简单的准备

寻找高校

寻找高校这个步骤很简单,在这里我是直接通过百度获取的。

微信图片_20220423102409.png

获取相应地点的坐标

获取比如说通过某某路段的时间,某某点的坐标,我们通常是进入百度地图官网为开发者提供API服务。百度开发者平台的账号注册,创建应用等等操作在这里就不多说了。

在这里指出我们需要注意的一个地方,在请求验证方式这个地方,要记住使用IP白名单,然后下面推荐填0.0.0.0/0,具体的原因会在后面给出。微信图片_20220423102411.png

完成了这个步骤之后,我们就可以在开发文档里选择坐标选取器。获取我们目标点的坐标。

微信图片_20220423102413.png进入之后搜索相应的地点就可以知道其坐标。这里将我找到我坐标放在下面。

微信图片_20220423102415.jpg

相关文章
|
5天前
|
API 数据库 数据安全/隐私保护
Flask框架在Python面试中的应用与实战
【4月更文挑战第18天】Django REST framework (DRF) 是用于构建Web API的强力工具,尤其适合Django应用。本文深入讨论DRF面试常见问题,包括视图、序列化、路由、权限控制、分页过滤排序及错误处理。同时,强调了易错点如序列化器验证、权限认证配置、API版本管理、性能优化和响应格式统一,并提供实战代码示例。了解这些知识点有助于在Python面试中展现优秀的Web服务开发能力。
22 1
|
3天前
|
机器学习/深度学习 算法 数据挖掘
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享-2
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享
27 1
|
2天前
|
机器学习/深度学习 算法 vr&ar
PYTHON用时变马尔可夫区制转换(MARKOV REGIME SWITCHING)自回归模型分析经济时间序列
PYTHON用时变马尔可夫区制转换(MARKOV REGIME SWITCHING)自回归模型分析经济时间序列
15 4
|
2天前
|
机器学习/深度学习 算法 Python
数据分享|Python决策树、随机森林、朴素贝叶斯、KNN(K-最近邻居)分类分析银行拉新活动挖掘潜在贷款客户
数据分享|Python决策树、随机森林、朴素贝叶斯、KNN(K-最近邻居)分类分析银行拉新活动挖掘潜在贷款客户
21 4
|
2天前
|
API vr&ar Python
Python 用ARIMA、GARCH模型预测分析股票市场收益率时间序列(上)
Python 用ARIMA、GARCH模型预测分析股票市场收益率时间序列
30 5
|
2天前
|
数据采集 存储 人工智能
【AI大模型应用开发】【LangChain系列】实战案例2:通过URL加载网页内容 - LangChain对爬虫功能的封装
【AI大模型应用开发】【LangChain系列】实战案例2:通过URL加载网页内容 - LangChain对爬虫功能的封装
13 0
|
2天前
|
人工智能 Python
【AI大模型应用开发】【LangChain系列】实战案例1:用LangChain写Python代码并执行来生成答案
【AI大模型应用开发】【LangChain系列】实战案例1:用LangChain写Python代码并执行来生成答案
7 0
|
4天前
|
数据采集 存储 JSON
Python爬虫面试:requests、BeautifulSoup与Scrapy详解
【4月更文挑战第19天】本文聚焦于Python爬虫面试中的核心库——requests、BeautifulSoup和Scrapy。讲解了它们的常见问题、易错点及应对策略。对于requests,强调了异常处理、代理设置和请求重试;BeautifulSoup部分提到选择器使用、动态内容处理和解析效率优化;而Scrapy则关注项目架构、数据存储和分布式爬虫。通过实例代码,帮助读者深化理解并提升面试表现。
13 0
|
5天前
|
SQL 中间件 API
Flask框架在Python面试中的应用与实战
【4月更文挑战第18天】**Flask是Python的轻量级Web框架,以其简洁API和强大扩展性受欢迎。本文深入探讨了面试中关于Flask的常见问题,包括路由、Jinja2模板、数据库操作、中间件和错误处理。同时,提到了易错点,如路由冲突、模板安全、SQL注入,以及请求上下文管理。通过实例代码展示了如何创建和管理数据库、使用表单以及处理请求。掌握这些知识将有助于在面试中展现Flask技能。**
12 1
Flask框架在Python面试中的应用与实战
|
6天前
|
SQL 关系型数据库 MySQL
Python与MySQL数据库交互:面试实战
【4月更文挑战第16天】本文介绍了Python与MySQL交互的面试重点,包括使用`mysql-connector-python`或`pymysql`连接数据库、执行SQL查询、异常处理、防止SQL注入、事务管理和ORM框架。易错点包括忘记关闭连接、忽视异常处理、硬编码SQL、忽略事务及过度依赖低效查询。通过理解这些问题和提供策略,可提升面试表现。
26 6