干货 | Python爬虫实战:两点间的真实行车时间与路况分析(一)

简介: 干货 | Python爬虫实战:两点间的真实行车时间与路况分析(上)

前言

大家好,我又又来来来来了!在这里先祝大家身体健康,天天开心!

微信图片_20220423102357.gif

虽然放假,在家里小玮同学也没有休息,这一次给大家带来的是利用爬虫爬取地图软件的相关数据,并制作成图表进行分析。

微信图片_20220423102400.png

为什么突然想做一期关于爬虫的内容呢?其实是因为前段时间收到老师的任务,研究一下现实中两点之间的旅行时间是否受出发时间的影响。

这个题目可把当时的小玮吓坏了--python我都还没有开始学习呢--咋就叫我做这么有难度的事情。

微信图片_20220423102402.png

看了几天的python基础知识,了解了爬虫的相关知识,最终还是勉勉强强地完成了任务,现在把这段时间的体会写出来,让各位看客老爷们检查。

微信图片_20220423102404.jpg

Python的基本语法内容呢,在这里就不多说了。

因为在本次爬取数据的过程中,我们用的和python相关的知识并不是很复杂,不需要给大家介绍别的东西,大家完全可以在具体的过程中就可以学会本次爬取需要的东西。

鉴于整个流程涉及到的知识很广我们分成三篇推文来讲解,本篇推文的内容是《数据爬取》

目录


  • 问题的分析
  • 简单的准备
  • 寻找高校
  • 获取相应地点的坐标
  • 制作excel表格
  • 相应时间的获取
  • 开始我们的工作
  • 进入目标网页
  • 爬取目标内容
  • 定时操作
  • 小小的总结

问题的分析

Q:现实中两点的旅行时间是否受到出发时间的影响呢?这是什么意思呢,因为每个时间段的路况不同,比如早高峰晚高峰等等,两点之间的实际旅行时间就有可能受到出发时间的影响。

微信图片_20220423102406.gif

好了,现在问题清楚了。下面我们选取武汉的一些高校作为测试点,给大家演示如何提取相应的数据进行分析。(武汉快点好起来呀!小编好想去上学!)

首先我们需要关注的点有以下几个:

  • 武汉著名的高校包括哪些大学
  • 旅行的出发点和终点的坐标
  • 旅行的出发时间,旅行所用时间
  • 如何对所收集的数据进行可视化处理
  • 如何对数据进行分析

简单的准备

寻找高校

寻找高校这个步骤很简单,在这里我是直接通过百度获取的。

微信图片_20220423102409.png

获取相应地点的坐标

获取比如说通过某某路段的时间,某某点的坐标,我们通常是进入百度地图官网为开发者提供API服务。百度开发者平台的账号注册,创建应用等等操作在这里就不多说了。

在这里指出我们需要注意的一个地方,在请求验证方式这个地方,要记住使用IP白名单,然后下面推荐填0.0.0.0/0,具体的原因会在后面给出。微信图片_20220423102411.png

完成了这个步骤之后,我们就可以在开发文档里选择坐标选取器。获取我们目标点的坐标。

微信图片_20220423102413.png进入之后搜索相应的地点就可以知道其坐标。这里将我找到我坐标放在下面。

微信图片_20220423102415.jpg

相关文章
|
14天前
|
数据采集 存储 XML
Python爬虫定义入门知识
Python爬虫是用于自动化抓取互联网数据的程序。其基本概念包括爬虫、请求、响应和解析。常用库有Requests、BeautifulSoup、Scrapy和Selenium。工作流程包括发送请求、接收响应、解析数据和存储数据。注意事项包括遵守Robots协议、避免过度请求、处理异常和确保数据合法性。Python爬虫强大而灵活,但使用时需遵守法律法规。
|
15天前
|
数据采集 缓存 定位技术
网络延迟对Python爬虫速度的影响分析
网络延迟对Python爬虫速度的影响分析
|
16天前
|
数据采集 Web App开发 监控
高效爬取B站评论:Python爬虫的最佳实践
高效爬取B站评论:Python爬虫的最佳实践
|
14天前
|
数据采集 机器学习/深度学习 人工智能
Python编程入门:从基础到实战
【10月更文挑战第36天】本文将带你走进Python的世界,从基础语法出发,逐步深入到实际项目应用。我们将一起探索Python的简洁与强大,通过实例学习如何运用Python解决问题。无论你是编程新手还是希望扩展技能的老手,这篇文章都将为你提供有价值的指导和灵感。让我们一起开启Python编程之旅,用代码书写想法,创造可能。
|
16天前
|
数据库 Python
异步编程不再难!Python asyncio库实战,让你的代码流畅如丝!
在编程中,随着应用复杂度的提升,对并发和异步处理的需求日益增长。Python的asyncio库通过async和await关键字,简化了异步编程,使其变得流畅高效。本文将通过实战示例,介绍异步编程的基本概念、如何使用asyncio编写异步代码以及处理多个异步任务的方法,帮助你掌握异步编程技巧,提高代码性能。
51 4
|
15天前
|
机器学习/深度学习 数据可视化 数据处理
Python数据科学:从基础到实战
Python数据科学:从基础到实战
25 1
|
16天前
|
机器学习/深度学习 JSON API
Python编程实战:构建一个简单的天气预报应用
Python编程实战:构建一个简单的天气预报应用
33 1
|
17天前
|
数据采集 存储 JSON
Python爬虫开发中的分析与方案制定
Python爬虫开发中的分析与方案制定
|
7天前
|
数据采集 JavaScript 程序员
探索CSDN博客数据:使用Python爬虫技术
本文介绍了如何利用Python的requests和pyquery库爬取CSDN博客数据,包括环境准备、代码解析及注意事项,适合初学者学习。
37 0
|
11天前
|
数据采集 存储 数据处理
探索Python中的异步编程:从基础到实战
【10月更文挑战第39天】在编程世界中,时间就是效率的代名词。Python的异步编程特性,如同给程序穿上了一双翅膀,让它们在执行任务时飞得更高、更快。本文将带你领略Python异步编程的魅力,从理解其背后的原理到掌握实际应用的技巧,我们不仅会讨论理论基础,还会通过实际代码示例,展示如何利用这些知识来提升你的程序性能。准备好让你的Python代码“起飞”了吗?让我们开始这场异步编程的旅程!
26 0
下一篇
无影云桌面