干货 | Python爬虫实战:两点间的真实行车时间与路况分析(一)

简介: 干货 | Python爬虫实战:两点间的真实行车时间与路况分析(上)

前言

大家好,我又又来来来来了!在这里先祝大家身体健康,天天开心!

微信图片_20220423102357.gif

虽然放假,在家里小玮同学也没有休息,这一次给大家带来的是利用爬虫爬取地图软件的相关数据,并制作成图表进行分析。

微信图片_20220423102400.png

为什么突然想做一期关于爬虫的内容呢?其实是因为前段时间收到老师的任务,研究一下现实中两点之间的旅行时间是否受出发时间的影响。

这个题目可把当时的小玮吓坏了--python我都还没有开始学习呢--咋就叫我做这么有难度的事情。

微信图片_20220423102402.png

看了几天的python基础知识,了解了爬虫的相关知识,最终还是勉勉强强地完成了任务,现在把这段时间的体会写出来,让各位看客老爷们检查。

微信图片_20220423102404.jpg

Python的基本语法内容呢,在这里就不多说了。

因为在本次爬取数据的过程中,我们用的和python相关的知识并不是很复杂,不需要给大家介绍别的东西,大家完全可以在具体的过程中就可以学会本次爬取需要的东西。

鉴于整个流程涉及到的知识很广我们分成三篇推文来讲解,本篇推文的内容是《数据爬取》

目录


  • 问题的分析
  • 简单的准备
  • 寻找高校
  • 获取相应地点的坐标
  • 制作excel表格
  • 相应时间的获取
  • 开始我们的工作
  • 进入目标网页
  • 爬取目标内容
  • 定时操作
  • 小小的总结

问题的分析

Q:现实中两点的旅行时间是否受到出发时间的影响呢?这是什么意思呢,因为每个时间段的路况不同,比如早高峰晚高峰等等,两点之间的实际旅行时间就有可能受到出发时间的影响。

微信图片_20220423102406.gif

好了,现在问题清楚了。下面我们选取武汉的一些高校作为测试点,给大家演示如何提取相应的数据进行分析。(武汉快点好起来呀!小编好想去上学!)

首先我们需要关注的点有以下几个:

  • 武汉著名的高校包括哪些大学
  • 旅行的出发点和终点的坐标
  • 旅行的出发时间,旅行所用时间
  • 如何对所收集的数据进行可视化处理
  • 如何对数据进行分析

简单的准备

寻找高校

寻找高校这个步骤很简单,在这里我是直接通过百度获取的。

微信图片_20220423102409.png

获取相应地点的坐标

获取比如说通过某某路段的时间,某某点的坐标,我们通常是进入百度地图官网为开发者提供API服务。百度开发者平台的账号注册,创建应用等等操作在这里就不多说了。

在这里指出我们需要注意的一个地方,在请求验证方式这个地方,要记住使用IP白名单,然后下面推荐填0.0.0.0/0,具体的原因会在后面给出。微信图片_20220423102411.png

完成了这个步骤之后,我们就可以在开发文档里选择坐标选取器。获取我们目标点的坐标。

微信图片_20220423102413.png进入之后搜索相应的地点就可以知道其坐标。这里将我找到我坐标放在下面。

微信图片_20220423102415.jpg

相关文章
|
30天前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现智能食品消费模式分析的深度学习模型
使用Python实现智能食品消费模式分析的深度学习模型
123 70
|
29天前
|
存储 数据采集 人工智能
Python编程入门:从零基础到实战应用
本文是一篇面向初学者的Python编程教程,旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点,然后通过一个简单的例子展示了如何编写Python代码。接下来,文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后,文章通过一个实战项目——制作一个简单的计算器程序,帮助读者巩固所学知识并提高编程技能。
|
1月前
|
数据采集 存储 XML
Python爬虫:深入探索1688关键词接口获取之道
在数字化经济中,数据尤其在电商领域的价值日益凸显。1688作为中国领先的B2B平台,其关键词接口对商家至关重要。本文介绍如何通过Python爬虫技术,合法合规地获取1688关键词接口,助力商家洞察市场趋势,优化营销策略。
|
1月前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现智能食品消费习惯分析的深度学习模型
使用Python实现智能食品消费习惯分析的深度学习模型
142 68
|
28天前
|
机器学习/深度学习 数据采集 数据挖掘
使用Python实现智能食品消费市场分析的深度学习模型
使用Python实现智能食品消费市场分析的深度学习模型
112 36
|
8天前
|
数据采集 存储 缓存
如何使用缓存技术提升Python爬虫效率
如何使用缓存技术提升Python爬虫效率
|
9天前
|
数据采集 Web App开发 监控
Python爬虫:爱奇艺榜单数据的实时监控
Python爬虫:爱奇艺榜单数据的实时监控
|
18天前
|
数据采集 JSON API
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
|
22天前
|
数据可视化 算法 数据挖掘
Python量化投资实践:基于蒙特卡洛模拟的投资组合风险建模与分析
蒙特卡洛模拟是一种利用重复随机抽样解决确定性问题的计算方法,广泛应用于金融领域的不确定性建模和风险评估。本文介绍如何使用Python和EODHD API获取历史交易数据,通过模拟生成未来价格路径,分析投资风险与收益,包括VaR和CVaR计算,以辅助投资者制定合理决策。
69 15
|
26天前
|
机器学习/深度学习 数据采集 数据挖掘
使用Python实现智能食品消费趋势分析的深度学习模型
使用Python实现智能食品消费趋势分析的深度学习模型
107 18