一、网页分析
爬取2345天气王网页的数据，进行数据分析可视化：
主要爬取了，主要包含日期、最高气温、最低气温、天气、风力风向等数据信息。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
这段Python代码主要用于从网站上抓取历史天气数据并保存到本地的CSV文件中。下面逐块解释每部分代码的功能：
导入模块
import re import csv import requests
re: 用于处理正则表达式，这在解析网页内容时非常有用。csv: 用于读写CSV文件，这里主要用于保存抓取的数据。requests: 用于发起网络请求，获取网页数据。
初始化CSV文件
with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(['日期', '最高温', '最低温', '天气', '风力风向']) file.close()
- 这部分代码打开（或创建）一个名为weather_data.csv的文件，并设置为追加模式（'a'）。
- 用csv.writer创建一个CSV写入器，然后写入表头，包括日期、最高温、最低温、天气和风力风向。
- 文件使用UTF-8编码，以支持中文字符。
- newline=''用于防止在写入行之间产生额外的空行。
爬取数据
for i in range(2011, 2025): for j in range(1, 13): url = f"https://tiaxxxx.com"
- 使用双层循环遍历从2011年到2023年的每个月。
- 构造URL以根据年份和月份请求对应的历史天气数据。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
设置请求头
headers = { ... }
headers字典包含了众多HTTP头部信息，这些信息用于模拟浏览器请求，避免被服务器识别为爬虫。
发送请求并解析数据
res = requests.get(url=url, headers=headers) text = res.json()['data'].replace('\n', '').replace(' ', '')
- 使用
requests.get向构造的URL发送请求，传入之前设置的headers。 - 从响应中提取JSON格式的数据，并进一步获取其中的
data字段。然后移除响应中的换行符和空格，方便后续的数据处理。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
正则表达式解析
if i <= 2015: pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>' else: pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>'
- 根据不同的年份选择不同的正则表达式模式。尽管这里两个模式看起来一样，实际使用中可能有微小的差别。
- 正则表达式用于解析HTML中的表格数据。
写入excel文件
matches = re.findall(pattern, text, re.S) with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file: writer = csv.writer(file) for match in matches: writer.writerow(match)
re.findall使用先前定义的正则表达式模式从网页内容中提取数据。- 提取的每条数据作为一个元组存储在
matches中。 - 遍历
matches，将每个匹配项写入CSV文件中。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
二、数据分析可视化
1.饼状图（温度区间分布）：
- 这张饼状图展示了数据集中的最高温度分布在三个不同的温度区间（低温、中温、高温）中的比例。
- 通过这张图，我们可以快速了解大部分时间内最高温度主要集中在哪个区间。例如，如果大部分温度都在中温区间，这可能意味着该地区的气候较为温和。
- 饼图还可以帮助识别极端天气条件的频率，例如低温或高温天气的出现比例。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
2.柱状图（最高气温前10名）：
- 该柱状图显示了从15年间记录的最高温度的前10个最高值及其对应的日期。
- 这可以帮助我们识别特定年份中出现极端高温的具体日期，有助于分析可能的季节性高温模式或异常气候事件。
- 柱状图还可以用来评估最高温度的变化范围，了解这些极端高温事件之间的温度差异。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
3.散点图（所有温度散点图）：
- 散点图展示了整个时间段内所有记录的最高温和最低温数据点。
- 通过这种图表，我们可以观察到温度随时间的变化趋势，包括季节性变化和年度变化。
- 这张图还可以揭示温度波动的模式，比如某些特定月份或年份是否存在温度异常。
- 分析最高温和最低温之间的关系，可以帮助我们了解夜间和白天的温差，这对于评估日温差和潜在的农业或健康影响尤为重要。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
1.年度平均最高温和最低温变化：
- 该图展示了每年的平均最高温度和平均最低温度。
- 通过这张图，我们可以观察到每年的温度波动趋势，分析温度随时间的长期变化情况。
- 折线图可以揭示出温度随季节或年份变化的趋势，比如是否有逐年上升或下降的模式。
- 同时，图中也可能显示出特定年份的异常温度变化，这可能与特定的气候事件或环境因素有关。
- 通过同时展示每年的平均最高温和平均最低温，可以对比分析在同一年内温差的变化。
- 这种对比有助于了解不同季节之间的温差变化，特别是在考虑到气候变暖或冷却趋势的情况下。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
