谷歌发布神经网络MetNet模型预测天气

简介: 谷歌发布神经网络MetNet模型预测天气

导语:Google 正在积极研究如何改进全球天气预报模型。

  准确预测未来几分钟到几周的天气是一项基本的科学挑战。很多气象机构目前采用的预报是基于大气的物理模型,但这些模型本身受到计算要求的限制且对物理定律的近似值非常敏感。另一种天气预报方法是使用深神经网络(DNNs)。DNNs 在强大的专用硬件(如 GPU 和 TPU)上使用并行计算,发现数据中的模式,并学习从输入到所需输出的复杂转换。

  近日,在先前对降水量预报的研究基础上,Google 提出了MetNet ,这是一种用于降水预报的神经天气模型。这种 DNN 能够在未来 8 小时内以 1km 的分辨率预报降水量,时间间隔为 2 分钟。MetNet 的预测时间比目前最先进的基于物理的模型NOAA提前了 7-8 小时。它可以在几秒钟内对整个美国的降水量进行预测,而 NOAA 需要花费一小时。

  网络的输入来自雷达站和卫星网络,无需人工标注。模型输出是一个概率分布,Google 用它来推断每个地理区域的降水率和相关的不确定性。下图提供了该网络对美国大陆的预测示例。

image.jpeg

MetNet模型预测结果与 NOAA 多雷达/多传感器系统(MRMS)测量的地面真实值进行了比较。MetNet 模型(上图顶部)显示了从 2 分钟到 480 分钟前预测的每小时 1 毫米降水的概率,而 MRMS 数据(上图底部)显示了在同一时间段内接收到至少每小时 1 毫米降水的区域。

神经天气模型


  MetNet 不依赖于大气动力学领域的物理定律,它是通过反向传播学习,直接从观测数据中预测天气。该网络使用由多雷达/多传感器系统(MRMS)组成的地面雷达站,以及提供大气中云层自顶向下的视图的卫星系统测量得出的降水量估计值。这两个数据源均覆盖美国大陆,并提供可由网络有效处理的图像类输入。模型以每 64km*64km 执行一次,覆盖整个美国,分辨率为 1 km。然而,与这些输出区域相比,输入数据的实际物理覆盖范围要大得多,因为它必须考虑到在进行预测的时间段内云和降水场的可能运动。

7ec44feda3f7c7eead5731b807018030.jpg

 由于以全分辨率处理  1024km*1024km 的区域需要大量内存,因此研究人员使用空间下采样器,通过减少输入面片的空间维度来减少内存消耗。同时,在输入中查找并保留相关的天气模式。然后沿降采样输入数据的时间维度应用时间编码器,对 90 分钟输入数据的 7 个快照进行编码,编码片段长度为 15 分钟。时间编码器采用卷积 LSTM 实现,该卷积 LSTM 特别适合于图像序列。接着,时间编码器的输出被传递到空间聚集器,空间聚集器使用轴向自关注,有效地捕获数据中的长距离空间依赖性,并基于输入目标时间使用可变数量的上下文,以在 64km*64km 的输出上进行预测。这种结构的输出是一个离散的概率分布,估计美国大陆每平方公里的给定降水率的概率。

30235689b61f19b0b9eac3a57735c66b.png

输出


  研究人员根据一个降水率预测基准对 MetNet 进行评估,并将结果与两个基线进行比较:NOAA 高分辨率快速刷新 HRRR 系统,这是目前在美国运行的物理天气预测模型。

  Google 的神经天气模型的一个显著优点是,它是为密集并行计算而优化的,并且非常适合在专用硬件(如 TPU)上运行。无论是针对纽约市这样的特定地点还是针对整个美国,预测可以在几秒钟内并行进行。而像 HRRR 这样的物理模型在超级计算机上的运行时间约为一小时。

  在下面的图表中,研究人员量化了MetNet、HRRR 和光流基线模型之间的性能差异。这里展示了这三个模型所取得的性能,在降水率阈值为 1.0mm/h(相当于小雨)时使用 F1 分数进行评估。MetNet 神经天气模型能够在 8 小时内超过 NOAA-HRRR 系统,并且始终优于基于流量的模型。

c67ea44041728c9a9a78dcd046247951.png

  MetNet 是一个概率模型,随着预测时间的延长,预测的不确定性在可视化中表现为预测的日益平滑。相反,HRRR 并不直接进行概率预测,而是会对未来的降水情况进行单一的预测。下图比较了 MetNet 模型和 HRRR 模型的输出。

33a3857a6d7862f55ec673543beb838f.jpg

 从 NOAA MRMS 系统获得的 MetNet(上)和 HRRR(下)到地面真值(中)的输出之间的比较。注意,虽然 HRRR 模型预测的结构似乎更接近于基本事实,但预测的结构可能严重错误。

  与 MetNet模型相比,HRRR 物理模型的预测更清晰、更结构化。但其结构,特别是预测结构的准确时间和位置的精度较低。这是由于初始情况和模型参数的不确定性造成的。

7011a6090c810414ff30708689961286.png

 HRRR(左)从许多可能的结果中预测单个潜在的未来结果(红色),而 MetNet(右)通过分配未来结果的概率直接解释不确定性。


相关文章
|
网络协议 算法 Java
基于Reactor模型的高性能网络库之Tcpserver组件-上层调度器
TcpServer 是一个用于管理 TCP 连接的类,包含成员变量如事件循环(EventLoop)、连接池(ConnectionMap)和回调函数等。其主要功能包括监听新连接、设置线程池、启动服务器及处理连接事件。通过 Acceptor 接收新连接,并使用轮询算法将连接分配给子事件循环(subloop)进行读写操作。调用链从 start() 开始,经由线程池启动和 Acceptor 监听,最终由 TcpConnection 管理具体连接的事件处理。
380 2
基于Reactor模型的高性能网络库之Tcpconnection组件
TcpConnection 由 subLoop 管理 connfd,负责处理具体连接。它封装了连接套接字,通过 Channel 监听可读、可写、关闭、错误等
320 1
|
JSON 监控 网络协议
干货分享“对接的 API 总是不稳定,网络分层模型” 看电商 API 故障的本质
本文从 OSI 七层网络模型出发,深入剖析电商 API 不稳定的根本原因,涵盖物理层到应用层的典型故障与解决方案,结合阿里、京东等大厂架构,详解如何构建高稳定性的电商 API 通信体系。
基于Reactor模型的高性能网络库之Poller(EpollPoller)组件
封装底层 I/O 多路复用机制(如 epoll)的抽象类 Poller,提供统一接口支持多种实现。Poller 是一个抽象基类,定义了 Channel 管理、事件收集等核心功能,并与 EventLoop 绑定。其子类 EPollPoller 实现了基于 epoll 的具体操作,包括事件等待、Channel 更新和删除等。通过工厂方法可创建默认的 Poller 实例,实现多态调用。
507 60
|
安全 调度
基于Reactor模型的高性能网络库之核心调度器:EventLoop组件
它负责:监听事件(如 I/O 可读写、定时器)、分发事件、执行回调、管理事件源 Channel 等。
526 57
|
10月前
|
机器学习/深度学习 数据采集 人工智能
深度学习实战指南:从神经网络基础到模型优化的完整攻略
🌟 蒋星熠Jaxonic,AI探索者。深耕深度学习,从神经网络到Transformer,用代码践行智能革命。分享实战经验,助你构建CV、NLP模型,共赴二进制星辰大海。
|
11月前
|
机器学习/深度学习 传感器 算法
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
641 2
|
11月前
|
机器学习/深度学习 并行计算 算法
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
259 8
|
12月前
|
算法 安全 网络安全
【多智能体系统】遭受DoS攻击的网络物理多智能体系统的弹性模型预测控制MPC研究(Simulink仿真实现)
【多智能体系统】遭受DoS攻击的网络物理多智能体系统的弹性模型预测控制MPC研究(Simulink仿真实现)
388 0
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
530 17

热门文章

最新文章