如何免费获得一个市全年的气象数据?降雨量气温湿度太阳辐射等等数据

简介: 如何免费获得一个市全年的气象数据?降雨量气温湿度太阳辐射等等数据

气象数据一直是一个价值较高的数据,它被广泛用于各个领域的研究当中。气象数据包括有气温、气压、相对湿度、降水、蒸发、风向风速、日照等多种指标,但是包含了这些全部指标的气象数据却较难获取,即使获取到了也不能随意分享。


想要大规模爬取的话,需要自己写爬虫,我之前写过一个爬取深圳市数据的爬虫。对深圳市的天气数据爬取基本没有问题。

import requests
import demjson
import re
import calendar
import csv
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36\
         (KHML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
}
def get_url(date):
    url = 'https://www.timeanddate.com/scripts/cityajax.php?n=china/shenzhen&mode=historic'
    url += '&hd=' + date
    url += '&month=' + str(int(date[4:6]))
    url += '&year=' + date[:4] + '&json=1'
    return url
# input: type(str) eg:'20170601'
def crawl_single_day(date):
    response = requests.get(get_url(date), headers=headers)
    response_list = demjson.decode(response.text)
    for weather in response_list:
        w_time = re.compile(r'^\d+:\d+').search(weather['c'][0]['h']).group(0)
        w_temperature = re.compile(
            r'^-?\d+').search(weather['c'][2]['h']).group(0)
        w_weather = re.compile(
            r'^(.*?)\.').search(weather['c'][3]['h']).group(1)
        if weather['c'][4]['h'] == 'No wind':
            w_wind_speed = '0'
        else:
            w_wind_speed = re.compile(
                r'^\d+').search(weather['c'][4]['h']).group(0)
        w_wind_direction = re.compile(
            r'title=\"(.*?)\"').search(weather['c'][5]['h']).group(1)
        w_humidity = weather['c'][6]['h']
        w_barometer = re.compile(r'^\d+').search(weather['c'][7]['h']).group(0)
        w_visibility = weather['c'][8]['h']
        if w_visibility != 'N/A':
            w_visibility=re.compile(r'^\d+').search(w_visibility).group(0)
        yield [date, w_time, w_temperature, w_weather, w_wind_speed, w_wind_direction,
               w_humidity, w_barometer, w_visibility]
# input: type(int) eg: year=2017, month=6
def crawl_single_month(year, month):
    _, num_day = calendar.monthrange(year, month)
    month_str = str(year)
    if month < 10:
        month_str += '0' + str(month)
    else:
        month_str += str(month)
    day_list = list(range(1, num_day + 1))
    for day in day_list:
        if day < 10:
            for weather in crawl_single_day(month_str + '0' + str(day)):
                yield weather
        else:
            for weather in crawl_single_day(month_str + str(day)):
                yield weather
if __name__ == "__main__":
    with open('weather0.csv', 'w', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        writer.writerow('date time temperature weather wind_speed wind_direction humidity barometer visibility'.split())
        for month in range(7, 13):
            writer.writerows(crawl_single_month(2017, month))
    with open('weather1.csv', 'w', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        writer.writerow('date time temperature weather wind_speed wind_direction humidity barometer visibility'.split())
        writer.writerows(crawl_single_day('20210401'))


对 20210401的深圳天气数据爬取获得的 csv 文件如下图所示:

微信截图_20230111112215.png


当然啦,需求量比较大的话,可以通过地理遥感生态网平台获取气象数据。


地理遥感生态网平台http://www.gisrs.cn发布的气象数据包括有气温、气压、相对湿度、降水、蒸发、风向风速、日照太阳辐射等等多种指标。

1级目录文件名PRSSURF_CLI_CHN_MUL_DAY-PRS-10004-YYYYMM.TXT(本站气压)TEMSURF_CLI_CHN_MUL_DAY-TEM-12001-YYYYMM.TXT(气温)RHUSURF_CLI_CHN_MUL_DAY-RHU-13003-YYYYMM.TXT(相对湿度)PRESURF_CLI_CHN_MUL_DAY-PRE-13011-YYYYMM.TXT(降水)EVPSURF_CLI_CHN_MUL_DAY-EVP-13240-YYYYMM.TXT(蒸发)WINSURF_CLI_CHN_MUL_DAY-WIN-11002-YYYYMM.TXT(风向风速)SSDSURF_CLI_CHN_MUL_DAY-SSD-14032-YYYYMM.TXT(日照)GSTSURF_CLI_CHN_MUL_DAY-GST-12030-0cm-YYYYMM.TXT(0cm地温)


赶紧三连关注下, 数据获取途径如下:

版权声明:本文为CSDN博主「地理遥感生态网」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:如何免费获得一个市全年的气象数据?降雨量气温湿度太阳辐射等等数据_地理遥感生态网的博客-CSDN博客

相关文章
|
Java
解决logback不能打印日志的问题
解决logback不能打印日志的问题
1122 0
|
5月前
|
存储 自然语言处理 前端开发
抖音快手小红书虚拟评论截图生成器,模拟对话制作工具,html+js+css
这是一款纯前端实现的多平台虚拟评论生成器,支持抖音、快手、小红书风格,适用于产品演示与UI设计。采用Vanilla JS与Flexbox布局,利用IndexedDB存储数据,CSS Variables切换主题。
全球天气预报1天-经纬度版免费API接口教程
该接口用于获取全球任意地区的天气信息,需提供经纬度参数。支持POST和GET请求,返回包括天气、气温、气压、湿度等详细信息。详情及示例参见API文档。
|
JSON 前端开发 数据可视化
使用 OpenAPI 构建 API 文档
使用 OpenAPI 构建 API 文档
1240 1
|
机器学习/深度学习 人工智能 运维
智能运维:未来之路的探索与实践
在数字化浪潮中,智能运维如同航船之舵,引领企业乘风破浪。本文将深入探讨智能运维的发展趋势,从自动化到智能化的转变,以及人工智能、大数据等技术如何赋能传统运维,提升效率与价值。我们将一同见证智能运维如何重塑IT服务管理的未来。
|
人工智能 分布式计算 BI
妙用OSGraph:发掘GitHub知识图谱上的开源故事
OSGraph (Open Source Graph) 是一个开源图谱关系洞察工具,基于GitHub开源数据全域图谱,实现开发者行为、项目社区生态的分析洞察。可以为开发者、项目Owner、开源布道师、社区运营等提供简洁直观的开源数据视图,帮助你和你的项目制作专属的开源名片、寻求契合的开发伙伴、挖掘深度的社区价值。
妙用OSGraph:发掘GitHub知识图谱上的开源故事
|
并行计算 测试技术 异构计算
JAX 中文文档(一)(5)
JAX 中文文档(一)
384 0
|
定位技术
ENVI结合ArcGIS制作2001-2018年NDVI趋势图(附实用工具和数据下载)
ENVI结合ArcGIS制作2001-2018年NDVI趋势图(附实用工具和数据下载)
500 0
|
运维 编译器 C语言
__weak类型函数
__weak类型函数
289 0
|
编解码 算法 BI
地表反照率数据、地表净辐射通量、太阳辐射数据、地表温度、地表显热通量、NDVI、NPP、土地利用数据
地表反照率数据、地表净辐射通量、太阳辐射数据、地表温度、地表显热通量、NDVI、NPP、土地利用数据
地表反照率数据、地表净辐射通量、太阳辐射数据、地表温度、地表显热通量、NDVI、NPP、土地利用数据

热门文章

最新文章