如何免费获得一个市全年的气象数据?降雨量气温湿度太阳辐射等等数据

简介: 如何免费获得一个市全年的气象数据?降雨量气温湿度太阳辐射等等数据

气象数据一直是一个价值较高的数据,它被广泛用于各个领域的研究当中。气象数据包括有气温、气压、相对湿度、降水、蒸发、风向风速、日照等多种指标,但是包含了这些全部指标的气象数据却较难获取,即使获取到了也不能随意分享。


想要大规模爬取的话,需要自己写爬虫,我之前写过一个爬取深圳市数据的爬虫。对深圳市的天气数据爬取基本没有问题。

import requests
import demjson
import re
import calendar
import csv
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36\
         (KHML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
}
def get_url(date):
    url = 'https://www.timeanddate.com/scripts/cityajax.php?n=china/shenzhen&mode=historic'
    url += '&hd=' + date
    url += '&month=' + str(int(date[4:6]))
    url += '&year=' + date[:4] + '&json=1'
    return url
# input: type(str) eg:'20170601'
def crawl_single_day(date):
    response = requests.get(get_url(date), headers=headers)
    response_list = demjson.decode(response.text)
    for weather in response_list:
        w_time = re.compile(r'^\d+:\d+').search(weather['c'][0]['h']).group(0)
        w_temperature = re.compile(
            r'^-?\d+').search(weather['c'][2]['h']).group(0)
        w_weather = re.compile(
            r'^(.*?)\.').search(weather['c'][3]['h']).group(1)
        if weather['c'][4]['h'] == 'No wind':
            w_wind_speed = '0'
        else:
            w_wind_speed = re.compile(
                r'^\d+').search(weather['c'][4]['h']).group(0)
        w_wind_direction = re.compile(
            r'title=\"(.*?)\"').search(weather['c'][5]['h']).group(1)
        w_humidity = weather['c'][6]['h']
        w_barometer = re.compile(r'^\d+').search(weather['c'][7]['h']).group(0)
        w_visibility = weather['c'][8]['h']
        if w_visibility != 'N/A':
            w_visibility=re.compile(r'^\d+').search(w_visibility).group(0)
        yield [date, w_time, w_temperature, w_weather, w_wind_speed, w_wind_direction,
               w_humidity, w_barometer, w_visibility]
# input: type(int) eg: year=2017, month=6
def crawl_single_month(year, month):
    _, num_day = calendar.monthrange(year, month)
    month_str = str(year)
    if month < 10:
        month_str += '0' + str(month)
    else:
        month_str += str(month)
    day_list = list(range(1, num_day + 1))
    for day in day_list:
        if day < 10:
            for weather in crawl_single_day(month_str + '0' + str(day)):
                yield weather
        else:
            for weather in crawl_single_day(month_str + str(day)):
                yield weather
if __name__ == "__main__":
    with open('weather0.csv', 'w', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        writer.writerow('date time temperature weather wind_speed wind_direction humidity barometer visibility'.split())
        for month in range(7, 13):
            writer.writerows(crawl_single_month(2017, month))
    with open('weather1.csv', 'w', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        writer.writerow('date time temperature weather wind_speed wind_direction humidity barometer visibility'.split())
        writer.writerows(crawl_single_day('20210401'))


对 20210401的深圳天气数据爬取获得的 csv 文件如下图所示:

微信截图_20230111112215.png


当然啦,需求量比较大的话,可以通过地理遥感生态网平台获取气象数据。


地理遥感生态网平台http://www.gisrs.cn发布的气象数据包括有气温、气压、相对湿度、降水、蒸发、风向风速、日照太阳辐射等等多种指标。

1级目录文件名PRSSURF_CLI_CHN_MUL_DAY-PRS-10004-YYYYMM.TXT(本站气压)TEMSURF_CLI_CHN_MUL_DAY-TEM-12001-YYYYMM.TXT(气温)RHUSURF_CLI_CHN_MUL_DAY-RHU-13003-YYYYMM.TXT(相对湿度)PRESURF_CLI_CHN_MUL_DAY-PRE-13011-YYYYMM.TXT(降水)EVPSURF_CLI_CHN_MUL_DAY-EVP-13240-YYYYMM.TXT(蒸发)WINSURF_CLI_CHN_MUL_DAY-WIN-11002-YYYYMM.TXT(风向风速)SSDSURF_CLI_CHN_MUL_DAY-SSD-14032-YYYYMM.TXT(日照)GSTSURF_CLI_CHN_MUL_DAY-GST-12030-0cm-YYYYMM.TXT(0cm地温)


赶紧三连关注下, 数据获取途径如下:

版权声明:本文为CSDN博主「地理遥感生态网」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:如何免费获得一个市全年的气象数据?降雨量气温湿度太阳辐射等等数据_地理遥感生态网的博客-CSDN博客

相关文章
|
1月前
|
传感器 人工智能 物联网
智能环境监测:城市空气质量与气候控制
【10月更文挑战第23天】智能环境监测技术利用物联网、大数据、云计算和人工智能,对城市空气质量与气候进行实时、高精度监测,通过数据分析预测环境变化,助力环境保护与决策,促进城市可持续发展。
|
5月前
|
分布式计算 定位技术 Scala
使用spark基于出租车GPS数据实现车辆数量统计以及北京每个城区的车辆位置点数分析
使用spark基于出租车GPS数据实现车辆数量统计以及北京每个城区的车辆位置点数分析
113 0
|
6月前
|
机器学习/深度学习 数据可视化
Matlab决策树对空气质量和天气温度及天气数据做交通出行推荐预测|数据分享
Matlab决策树对空气质量和天气温度及天气数据做交通出行推荐预测|数据分享
|
6月前
|
数据挖掘 定位技术
基于出租车GPS轨迹数据的研究:出租车行程的数据分析
基于出租车GPS轨迹数据的研究:出租车行程的数据分析
|
6月前
|
数据采集 编解码 人工智能
中科星图——Landsat9_C2_ST数据集是经大气校正的地表温度数据
中科星图——Landsat9_C2_ST数据集是经大气校正的地表温度数据
129 2
|
6月前
|
编解码 大数据 定位技术
遥感数据、气象数据、土地土壤数据、农业数据、行政区数据...GIS数据获取网站整理
遥感数据、气象数据、土地土壤数据、农业数据、行政区数据...GIS数据获取网站整理
513 2
|
算法 数据挖掘
【GMDH】预测帕拉州东南部的月降雨量(Matlab代码实现)
【GMDH】预测帕拉州东南部的月降雨量(Matlab代码实现)
|
定位技术
分享风向风力的计算方法
分享风向风力的计算方法
314 0
|
数据采集 数据可视化 安全
城市防汛降雨量监测系统
伴随着温室效应的巨大影响、环境的变化以及大规模的城镇化建设,城市建设水平和规划经验不足,对防洪、排雨等地下设施投入相对不足,导致现有的城市防洪标准与城市的经济地位不相称,在遭遇突发强降雨时,同样的洪水造成的灾害损失是过去的几倍甚至几十倍。
城市防汛降雨量监测系统
|
数据采集 固态存储
全国气象站点日值数据(降雨气温风速日照蒸发气压地温湿度)
全国气象站点日值数据(降雨气温风速日照蒸发气压地温湿度)
全国气象站点日值数据(降雨气温风速日照蒸发气压地温湿度)