【python】python天气气候数据抓取分析可视化(源码+数据+可视化+报告)【独一无二】

本文涉及的产品
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 【python】python天气气候数据抓取分析可视化(源码+数据+可视化+报告)【独一无二】

一、网页分析

爬取2345天气王网页的数据,进行数据分析可视化:


主要爬取了,主要包含日期、最高气温、最低气温、天气、风力风向等数据信息。

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈


这段Python代码主要用于从网站上抓取历史天气数据并保存到本地的CSV文件中。下面逐块解释每部分代码的功能:


导入模块

import re
import csv
import requests


  • re: 用于处理正则表达式,这在解析网页内容时非常有用。
  • csv: 用于读写CSV文件,这里主要用于保存抓取的数据。
  • requests: 用于发起网络请求,获取网页数据。


初始化CSV文件

with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['日期', '最高温', '最低温', '天气', '风力风向'])
    file.close()


  • 这部分代码打开(或创建)一个名为weather_data.csv的文件,并设置为追加模式('a')。
  • 用csv.writer创建一个CSV写入器,然后写入表头,包括日期、最高温、最低温、天气和风力风向。
  • 文件使用UTF-8编码,以支持中文字符。
  • newline=''用于防止在写入行之间产生额外的空行。


爬取数据

for i in range(2011, 2025):
    for j in range(1, 13):
        url = f"https://tiaxxxx.com"


  • 使用双层循环遍历从2011年到2023年的每个月。
  • 构造URL以根据年份和月份请求对应的历史天气数据。


👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈


设置请求头

headers = { ... }


  • headers字典包含了众多HTTP头部信息,这些信息用于模拟浏览器请求,避免被服务器识别为爬虫。


发送请求并解析数据

res = requests.get(url=url, headers=headers)
text = res.json()['data'].replace('\n', '').replace(' ', '')


  • 使用requests.get向构造的URL发送请求,传入之前设置的headers。
  • 从响应中提取JSON格式的数据,并进一步获取其中的data字段。然后移除响应中的换行符和空格,方便后续的数据处理。


👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈


正则表达式解析

if i <= 2015:
    pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>'
else:
    pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>'


  • 根据不同的年份选择不同的正则表达式模式。尽管这里两个模式看起来一样,实际使用中可能有微小的差别。
  • 正则表达式用于解析HTML中的表格数据。


写入excel文件

matches = re.findall(pattern, text, re.S)
with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    for match in matches:
        writer.writerow(match)


  • re.findall使用先前定义的正则表达式模式从网页内容中提取数据。
  • 提取的每条数据作为一个元组存储在matches中。
  • 遍历matches,将每个匹配项写入CSV文件中。


👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈


二、数据分析可视化

1.饼状图(温度区间分布):

  • 这张饼状图展示了数据集中的最高温度分布在三个不同的温度区间(低温、中温、高温)中的比例。
  • 通过这张图,我们可以快速了解大部分时间内最高温度主要集中在哪个区间。例如,如果大部分温度都在中温区间,这可能意味着该地区的气候较为温和。
  • 饼图还可以帮助识别极端天气条件的频率,例如低温或高温天气的出现比例。


02cbec24a1594aa5bcc238d999947228.png


👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈


2.柱状图(最高气温前10名):

  • 该柱状图显示了从15年间记录的最高温度的前10个最高值及其对应的日期。
  • 这可以帮助我们识别特定年份中出现极端高温的具体日期,有助于分析可能的季节性高温模式或异常气候事件。
  • 柱状图还可以用来评估最高温度的变化范围,了解这些极端高温事件之间的温度差异。

97ab3c2392794f5c8f65ba71e81aecfe.png

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈


3.散点图(所有温度散点图):

  • 散点图展示了整个时间段内所有记录的最高温和最低温数据点。
  • 通过这种图表,我们可以观察到温度随时间的变化趋势,包括季节性变化和年度变化。
  • 这张图还可以揭示温度波动的模式,比如某些特定月份或年份是否存在温度异常。
  • 分析最高温和最低温之间的关系,可以帮助我们了解夜间和白天的温差,这对于评估日温差和潜在的农业或健康影响尤为重要。


👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈


1.年度平均最高温和最低温变化:

  • 该图展示了每年的平均最高温度和平均最低温度。
  • 通过这张图,我们可以观察到每年的温度波动趋势,分析温度随时间的长期变化情况。
  • 折线图可以揭示出温度随季节或年份变化的趋势,比如是否有逐年上升或下降的模式。
  • 同时,图中也可能显示出特定年份的异常温度变化,这可能与特定的气候事件或环境因素有关。
  • 通过同时展示每年的平均最高温和平均最低温,可以对比分析在同一年内温差的变化。
  • 这种对比有助于了解不同季节之间的温差变化,特别是在考虑到气候变暖或冷却趋势的情况下。



👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈


目录
打赏
0
2
2
0
63
分享
相关文章
Python爬虫实战:股票分时数据抓取与存储
Python爬虫实战:股票分时数据抓取与存储
基于Python和pygame的植物大战僵尸游戏设计源码
本项目是基于Python和pygame开发的植物大战僵尸游戏,包含125个文件,如PNG图像、Python源码等,提供丰富的游戏开发学习素材。游戏设计源码可从提供的链接下载。关键词:Python游戏开发、pygame、植物大战僵尸、源码分享。
使用Python实现深度学习模型:智能极端天气事件预测
使用Python实现深度学习模型:智能极端天气事件预测
346 3
使用Python实现深度学习模型:智能天气预测与气候分析
使用Python实现深度学习模型:智能天气预测与气候分析
865 3
探讨如何利用Python中的NLP工具,从被动收集到主动分析文本数据的过程
【10月更文挑战第11天】本文介绍了自然语言处理(NLP)在文本分析中的应用,从被动收集到主动分析的过程。通过Python代码示例,详细展示了文本预处理、特征提取、情感分析和主题建模等关键技术,帮助读者理解如何有效利用NLP工具进行文本数据分析。
90 2
Python助您洞察先机:2024年A股市场数据抓取与分析实战
【10月更文挑战第1天】随着2024年中国股市的强劲表现,投资者们对于如何高效获取并分析相关金融数据的需求日益增长。本文旨在介绍如何利用Python这一强大的编程语言来抓取最新的A股交易数据,并通过数据分析技术为个人投资决策提供支持。
777 1
Python pygame 实现游戏 彩色 五子棋 详细注释 附源码 单机版
Python pygame 实现游戏 彩色 五子棋 详细注释 附源码 单机版
118 0
为什么要看 Python 源码?它的结构长什么样子?
为什么要看 Python 源码?它的结构长什么样子?
70 2
源码安装Python学会有用还能装逼 | 解决各种坑
相信朋友们都看过这个零基础学习Python的开篇了
475 0
源码安装Python学会有用还能装逼 | 解决各种坑

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等