在阿里云HPC上用容器服务一键部署和运行WRF解决方案

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 利用阿里云HPC和容器服务,可以在云端快速的部署和执行气象模拟应用,让传统的WRF(气象预报模型)应用焕发新的魅力。阿里云为气象预测提供了丰富的基础设施,从高性能弹性计算、负责均衡到对象存储,日志、监控等等。

背景

众所周知,容器技术的出现深刻改变了软件交付的方式:

  • 敏捷: 秒级应用启动、轻量级隔离、细粒度资源控制、低性能损耗
  • 标准化:版本管理可追溯。
  • 可移植性: 环境无关的交付、部署方式;可用于软件生命周期中不同运行环境。
    这些能力不但影响了企业软件的开发、构建和交付模式,提高了交付效率和可靠性,也对于像WRF(Weather Research Forecast)这类大型开源气象科学预报软件产生了潜移默化的影响。美国国家大气研究中心(NCAR,也是WRF的开发方)于2016年开源了自己的容器化解决方案。 而阿里云HPC团队和容器服务团队在NCAR方案的基础上进行了改进和增强,在保持高性能的同时,方便您实现一键式的部署和运行WRF,将复杂的WRF工作变成一个高效,可控的自动化流程。

注: 为节省篇幅,会将美国国家大气研究中心统称为NCAR

痛点

美国国家大气研究中心(NCAR)容器化WRF并非无痛呻吟,作为WRF的开发方,维护者和主要使用者,对于WRF这个在工业界和学术界得到广泛使用的数值天气预测软件,NCAR面临这如下挑战:

  • 编译和执行WRF非常复杂,需要专业的知识和大量的时间准备,很久才能得到结果

    • 代码量巨大
    • 非常多的软件依赖
    • 配置容易出错,很难排查
    • 经常需要数周的准备才能将WRF运行起来并且得到结果
  • WRF本身的部署难度给基于MPI的WRF的高扩展性带来了困难
  • WRF迭代迅速,而部署构建困难导致许多公司和研究机构依然使用3.4.1版本的WRF,造成了极大的维护成本
  • 初学者抱怨搭建WRF难度过大,对于软件知识要求太高,导致入门花的时间太多
  • 研究者发现重现数值天气预报的难度极大,因为机器不同,编译器配置不同,以及复杂的配置和流程

而这些痛苦也是中国的WRF使用者遭遇到的,为了解决这个问题,阿里云容器服务给出以下解决方案:

方案

整个方案分为下面几个步骤:

  • 通过容器镜像标准化WRF的构建和配置,同时实现一次构建到处运行
    -客户可以直接使用阿里云Dockerfile,也可以对其进行改进和替换
  • 利用OSSFS上传WRF配置文件,WPS配置文件, 气象数据以及地理基础数据,

  • 利用容器服务一键式部署和WRF应用,并且将运行出的数据导出到OSS上,并可以直接下载

    • 可以通过参数配置指定运行方式
  • 利用容器服务一键式部署和运行NCL应用,将WRF运算出的结果通过NCL绘图出来

上图所列的是通过阿里云提供高性能计算,容器服务和OSS实现一键式的从数据到计算再产生数据的全过程。

这样就可以看到气象的走势

Precip_total.gif Surface_multi.gif

总结

可以看到,利用阿里云HPC和容器服务,您除了可以获得高性能计算的洪荒之力,还可以简单的掌控这种能力,降低使用门槛,真正实现弹性的高性能计算。利用阿里云的能力,我们可以在云端快速的部署和执行气象模拟应用,让传统的WRF应用焕发新的魅力。阿里云为气象预测提供了丰富的基础设施,从弹性计算、负责均衡到对象存储,日志、监控等等。
具体来说:

  • 帮助客户构建标准化可追溯的容器镜像

    • 让客户很清楚自己在WRF上配置了什么,并且很容易复制自己的配置
    • 将系统构建过程透明化,整个架构可描述,降低运维成本,避免人员变化带来的隐患
  • 加快交付速度,缩短投产时间(从周到小时)

    • 支持WRF应用的一键式部署和执行
    • 无需提前软件依赖,几个小时内WRF就开始工作
  • 支持本地和云上构建和测试,保持一致性
  • 国际上WRF的版本演进非常迅速,紧跟国际潮流,保持更新速度
  • 多种软件及配置组合比较,最优性能选择

想了解更多容器服务内容,请访问 https://www.aliyun.com/product/containerservice

想了解如何在HPC上使用容器服务,请访问https://help.aliyun.com/document_detail/48631.html

相关实践学习
Docker镜像管理快速入门
本教程将介绍如何使用Docker构建镜像,并通过阿里云镜像服务分发到ECS服务器,运行该镜像。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
8天前
|
存储 Kubernetes Cloud Native
【阿里云云原生专栏】云原生容器存储:阿里云CSI与EBS的高效配合策略
【5月更文挑战第29天】阿里云提供云原生容器存储接口(CSI)和弹性块存储(EBS)解决方案,以应对云原生环境中的数据存储挑战。CSI作为Kubernetes的标准接口简化存储管理,而EBS则提供高性能、高可靠性的块存储服务。二者协同实现动态供应、弹性伸缩及数据备份恢复。示例代码展示了在Kubernetes中使用CSI和EBS创建存储卷的过程。
60 3
|
5天前
|
存储 运维 5G
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
数据是 5G 全连接工厂的核心要素,为支持全方位的数据收集、存储、分析等工作的高效进行,联通 5G 全连接工厂从典型的 Lambda 架构演进为 All in [Apache Doris](https://c.d4t.cn/vwDf8R) 的实时/离线一体化架构,并凭借 Doris 联邦查询能力打造统一查询网关,数据处理及查询链路大幅简化,为联通 5G 全连接工厂带来数据时效性、查询响应、存储成本、开发效率全方位的提升。
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
|
5天前
|
Docker 容器
docker: 如何不新建容器 修改运行容器的端口
docker: 如何不新建容器 修改运行容器的端口
|
6天前
|
人工智能 并行计算 大数据
|
6天前
|
人工智能 并行计算 监控
性价比提升50%,阿里云HPC优化实例hpc8ae正式商业化
近日,全球领先的云计算厂商阿里云宣布正式开启最新HPC优化实例hpc8ae 的商业化发布,该实例依托阿里云自研的「飞天+CIPU」架构体系,搭载第四代 AMD EPYC处理器,专为高性能计算应用优化,特别适用于计算流体、有限元分析、多物理场模拟等仿真类应用,CAE 场景下的性价比最少提升 50%。
|
7天前
|
存储 大数据 云计算
【预告】阿里云计算新品速递:HPC优化实例商业化发布
专为云上高性能计算设计的HPC优化实例hpc8ae商业化正式开启!
|
8天前
|
弹性计算 Kubernetes 监控
【阿里云弹性计算】阿里云 ECS 与 Kubernetes 集成:轻松管理容器化应用
【5月更文挑战第28天】阿里云ECS与Kubernetes集成,打造强大容器管理平台,简化应用部署,实现弹性扩展和高效资源管理。通过Kubernetes声明式配置在ECS上快速部署,适用于微服务和大规模Web应用。结合监控服务确保安全与性能,未来将深化集成,满足更多业务需求,引领容器化应用管理新趋势。
88 2
|
10天前
|
存储 云计算 开发者
【预告】阿里云计算新品速递:HPC优化实例商业化发布
5月30日14:00,将推出专为云上高性能计算设计的HPC优化实例hpc8ae,旨在解决现有云计算基础设施对HPC应用优化不足的问题,提供经济高效的仿真解决方案,提升计算效率,加速业务创新。直播中,阿里云专家将展示实例在计算流体、有限元分析等领域的应用,并通过两个云上工业仿真Demo进行实践演示。参与直播还有机会赢取丰富礼品。
【预告】阿里云计算新品速递:HPC优化实例商业化发布
|
10天前
|
存储 分布式计算 DataWorks
【阿里云云原生专栏】云原生下的数据湖建设:阿里云MaxCompute与DataWorks解决方案
【5月更文挑战第26天】在数字化时代,数据成为企业创新的关键。阿里云MaxCompute和DataWorks提供了一种构建高效、可扩展数据湖的解决方案。数据湖允许存储和分析大量多格式数据,具备高灵活性和扩展性。MaxCompute是PB级数据仓库服务,擅长结构化数据处理;DataWorks则是一站式大数据协同平台,支持数据集成、ETL和治理。通过DataWorks收集数据,MaxCompute存储和处理,企业可以实现高效的数据分析和挖掘,从而提升业务洞察和竞争力。
114 0
|
10天前
|
弹性计算 安全 微服务
【阿里云云原生专栏】容器网络技术前沿:阿里云Terway网络方案详解
【5月更文挑战第26天】阿里云Terway是高性能的容器网络方案,基于ECS的ENI实现,提供低延迟高吞吐的网络服务。它简化网络管理,实现安全隔离,并与阿里云服务无缝集成。Terway由CNI、Node和Controller组成,适用于微服务、混合云和多租户环境,为企业数字化转型中的复杂网络需求提供强大支持。
170 1

相关产品

  • 容器计算服务