HPC高性能计算场景中如何实现“运行时调度”

简介: 在HPC高性能计算中,使用LSF或Slurm提交作业虽方便,但过程往往不可控,作业运行如同黑盒,失败后才能排查问题。为此,MMCloud提出“运行时调度”理念,实现在任务运行过程中进行智能资源调度,最大化资源利用并优化成本效益。与传统工具不同,MMCloud能够实时监控任务状态,并根据算力需求动态调整资源分配。

吭哧吭哧写了半天脚本,在LSF或者Slurm上提交了作业脚本,等了半天,作业运行失败……
HPC高性能计算场景下的这些调度工具易用是易用,但过程总是不可控,除了提交脚本和等待结果之外,作业运行过程就像一个黑盒,只能等收到“运行失败”的结论之后才能去扒代码,查原因。
是时候,打破这个困局了!
MMCloud提出一个理念:运行时调度 Run- time Scheduling,专注于在任务运行时进行智能资源调度,以实现资源的最大化利用和成本效益的优化。
与传统的调度工具只关注任务的开始和结果相比,MMCloud能够在任务运行全程实时监控任务运行状态,并根据任务所需算力变化动态调整资源分配。
运行时调度.png

目录
相关文章
|
6月前
|
存储 机器学习/深度学习 网络协议
阿里云高性能计算实例规格族有哪些?各自特点、适用场景介绍
阿里云高性能计算是的阿里云服务器ECS的架构之一,高性能计算实例规格族主要应用于各种需要超高性能、网络和存储能力的应用场景,例如人工智能、机器学习、科学计算、地质勘探、气象预报等场景。高性能计算实例规格族有高性能计算优化型实例规格族hpc8ae、高性能计算优化型实例规格族hpc7ip、计算型超级计算集群实例规格族sccc7等。下面是阿里云高性能计算实例规格族特点、适用场景介绍。
阿里云高性能计算实例规格族有哪些?各自特点、适用场景介绍
|
5月前
|
存储 数据可视化 大数据
高性能计算HPC优化实例在摩托车外流场仿真场景的最佳实践
本文整理自阿里云高性能计算研发工程师曹杭在【HPC优化实例商业化发布会】中的动手实验分享,集中讲解HPC优化实例动手实验Demo细节。
|
5月前
|
数据挖掘
高性能计算集群的主要应用场景
本文主要介绍弹性高性能计算集群的主要应用场景,您可以根据不同的应用场景配置不同的资源类型。
85 0
|
6月前
|
机器学习/深度学习 存储 并行计算
|
存储 弹性计算 并行计算
在高性能计算(HPC)场景下,阿里云存储的文件存储产品的实践
在高性能计算(HPC)场景下,阿里云存储的文件存储产品具有以下的应用需求和实践
444 4
|
弹性计算 云计算
阿里云产品体系分为6大分类——云计算基础——弹性计算——高性能计算HPC
阿里云产品体系分为6大分类——云计算基础——弹性计算——高性能计算HPC自制脑图
204 1
阿里云产品体系分为6大分类——云计算基础——弹性计算——高性能计算HPC
|
机器学习/深度学习 人工智能 并行计算
带你读《生命科学行业云上解决方案及最佳实践》——GHDDI,阿里云高性能计算助力 药物研发实现高通量分子筛选
带你读《生命科学行业云上解决方案及最佳实践》——GHDDI,阿里云高性能计算助力 药物研发实现高通量分子筛选
223 0
|
机器学习/深度学习 人工智能 编解码
高性能计算HPC照亮AIGC未来:PC集群+Stable Diffusion 打造极致游戏体验
随着计算能力和技术水平的不断提高,PC集群和Stable Diffusion集成在游戏行业中的应用将会更加广泛,可以为游戏开发者和分析师提供更多一流的工具和技术支持,从而推动整个游戏产业迎来新的发展机遇。
|
存储 人工智能 并行计算
【高性能计算】HPC概述
【高性能计算】HPC概述
|
存储 人工智能 弹性计算
阿里云高性能计算负责人何万青:阿里云大计算加速HPC与AI融合
与AI相结合,高性能计算能够帮助科研人员将精力集中于专业领域。
阿里云高性能计算负责人何万青:阿里云大计算加速HPC与AI融合
下一篇
无影云桌面