在阿里云HPC上用容器服务一键部署和运行WRF解决方案

背景

众所周知，容器技术的出现深刻改变了软件交付的方式：

• 敏捷： 秒级应用启动、轻量级隔离、细粒度资源控制、低性能损耗
• 标准化：版本管理可追溯。
• 可移植性： 环境无关的交付、部署方式；可用于软件生命周期中不同运行环境。
  这些能力不但影响了企业软件的开发、构建和交付模式，提高了交付效率和可靠性，也对于像WRF(Weather Research Forecast)这类大型开源气象科学预报软件产生了潜移默化的影响。美国国家大气研究中心（NCAR，也是WRF的开发方）于2016年开源了自己的容器化解决方案。 而阿里云HPC团队和容器服务团队在NCAR方案的基础上进行了改进和增强，在保持高性能的同时，方便您实现一键式的部署和运行WRF，将复杂的WRF工作变成一个高效，可控的自动化流程。

注： 为节省篇幅，会将美国国家大气研究中心统称为NCAR

痛点

美国国家大气研究中心（NCAR）容器化WRF并非无痛呻吟，作为WRF的开发方，维护者和主要使用者，对于WRF这个在工业界和学术界得到广泛使用的数值天气预测软件，NCAR面临这如下挑战：

• 编译和执行WRF非常复杂，需要专业的知识和大量的时间准备，很久才能得到结果

  • 代码量巨大
  • 非常多的软件依赖
  • 配置容易出错，很难排查
  • 经常需要数周的准备才能将WRF运行起来并且得到结果
• WRF本身的部署难度给基于MPI的WRF的高扩展性带来了困难
• WRF迭代迅速，而部署构建困难导致许多公司和研究机构依然使用3.4.1版本的WRF，造成了极大的维护成本
• 初学者抱怨搭建WRF难度过大，对于软件知识要求太高，导致入门花的时间太多
• 研究者发现重现数值天气预报的难度极大，因为机器不同，编译器配置不同，以及复杂的配置和流程

而这些痛苦也是中国的WRF使用者遭遇到的，为了解决这个问题，阿里云容器服务给出以下解决方案：

方案

整个方案分为下面几个步骤：

• 通过容器镜像标准化WRF的构建和配置，同时实现一次构建到处运行
  -客户可以直接使用阿里云Dockerfile，也可以对其进行改进和替换

• 利用OSSFS上传WRF配置文件，WPS配置文件， 气象数据以及地理基础数据，

  • 如果是海量数据可以考虑海量数据迁移至OSS服务： https://market.aliyun.com/products/52738004/cmfw000394.html

• 利用容器服务一键式部署和WRF应用，并且将运行出的数据导出到OSS上，并可以直接下载

  • 可以通过参数配置指定运行方式
• 利用容器服务一键式部署和运行NCL应用，将WRF运算出的结果通过NCL绘图出来

上图所列的是通过阿里云提供高性能计算，容器服务和OSS实现一键式的从数据到计算再产生数据的全过程。

这样就可以看到气象的走势

总结

可以看到，利用阿里云HPC和容器服务，您除了可以获得高性能计算的洪荒之力，还可以简单的掌控这种能力，降低使用门槛，真正实现弹性的高性能计算。利用阿里云的能力，我们可以在云端快速的部署和执行气象模拟应用，让传统的WRF应用焕发新的魅力。阿里云为气象预测提供了丰富的基础设施，从弹性计算、负责均衡到对象存储，日志、监控等等。
具体来说：

• 帮助客户构建标准化可追溯的容器镜像

  • 让客户很清楚自己在WRF上配置了什么，并且很容易复制自己的配置
  • 将系统构建过程透明化，整个架构可描述，降低运维成本，避免人员变化带来的隐患

• 加快交付速度，缩短投产时间（从周到小时）

  • 支持WRF应用的一键式部署和执行
  • 无需提前软件依赖，几个小时内WRF就开始工作
• 支持本地和云上构建和测试，保持一致性
• 国际上WRF的版本演进非常迅速，紧跟国际潮流，保持更新速度
• 多种软件及配置组合比较，最优性能选择

想了解更多容器服务内容，请访问 https://www.aliyun.com/product/containerservice

想了解如何在HPC上使用容器服务，请访问https://help.aliyun.com/document_detail/48631.html