批量计算简介与使用-影视动漫阿里云BCS实践系列一

简介: 批量计算:批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模,系统自动完成资源管理、作业调度和数据加载,并按实际使用量计费。

批量计算:

批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模,系统自动完成资源管理、作业调度和数据加载,并按实际使用量计费。

通俗的讲,就是您可以提交一个任意的计算机程序,让它在阿里云的多个 VM 实例上同时运行,然后把结果写入到指定的持久化存储位置(如阿里云对象存储 OSS 或者文件存储 NAS),然后您可以去指定的位置查看结果。


在影视动漫行业,批量计算适用于渲染或者解算等计算集群的管理。


e362d2fecd21c4c349a5bddfcf1deb2ed810ec80


批量计算名词解释:

作业

用户的每个特定的计算需求在 BatchCompute 中被描述为一个作业(Job)。在BatchCompute 系统中,用户可以通过命令行工具、管理控制台或 SDK 提交、管理和查询作业。

任务

一个作业由一组任务(Task)及其依赖关系组成。批量计算支持能以有向无环图 DAG(directed acyclic graph)形式描述的作业。任务间的依赖关系只能在作业提交时指定,提交完成后不能修改。

实例

每个任务可以有一个或多个执行实例(Instance)。同一任务的各个实例并行处理各自的输入数据。实例是 BatchCompute 调度与执行的最小单元,这些实例会动态的运行在系统分配的虚拟服务器节点上。

集群

一系列的VM实例组在 BatchCompute 中被定义为一个集群(Cluster)。一个集群可以由多个实例组(Group)组成,一个组中的实例共享同样的实例类型定义(如指定的 CPU 核数和内存大小组合),多个组之间共享镜像(Image)。

镜像

镜像(Image)是集群资源创建或者作业运行环境的模板。它是一个标准的或者自定义的 ECS 镜像,需要安装 BatchCompute Agent,然后授权给 BatchCompute 服务使用。

Docker镜像

使用官方提供的 ubuntu 镜像(内置 Docker 容器支持),可以支持自定义 Docker 镜像。自定义 Docker 镜像像普通镜像一样,可以自己安装运行作业的各种程序。


批量计算的使用:

1. 创建阿里云账号

如果您还没有阿里云账号,请登陆阿里云官网,点击右上角“免费注册”创建阿里云账号。

2. 开通BatchCompute

使用注册成功的阿里云账号登陆,点菜单中“产品”,在“弹性计算”中找到批量计算(BatchCompute)进入 产品主页,开通 BatchCompute 服务。

3.在批量计算控制台-->集群列表 右侧点击创建集群

70b37934268a0dbd2b457914ef3b32097fac312d

4.在集群创建页面,填写集群名称,镜像ID,期望虚拟机数量等信息,点击提交即可。

c3a4453495e612b69a25e16739a79ff0760a7c39

其中,

镜像ID:集群机器所使用的镜像ID,自定义镜像需要共享给批量计算服务账号(1190847048572539)。

4.提交成功后在集群列表页面可以看到当前状态

3820b9a27f3bc0e187446abd3a8c04463c78bd58

e2befec2a83682fd6060f861796fb8657da9017d

5.创建成功后点击集群名称进入可看到集群详细信息

24c5a6726fac31b695fe50300116e4a13cdde5e9

至此,集群创建成功。


目录
相关文章
|
6月前
|
机器学习/深度学习 人工智能 搜索推荐
小红书开源「InstantID」,2024第一个爆火的Al写真项目,惊艳了!
小红书开源「InstantID」,2024第一个爆火的Al写真项目,惊艳了!
275 0
|
JSON 数据格式
如何将自制的live2d模型上传至facerig创意工坊使得别人可以下载
如何将自制的live2d模型上传至facerig创意工坊使得别人可以下载
571 0
|
数据采集 机器学习/深度学习 人工智能
文心千帆:PPT 制作、数字人主播一键开播等数十种应用场景惊艳到我了,下面给出简介和使用指南,快去使用起来吧
文心千帆:PPT 制作、数字人主播一键开播等数十种应用场景惊艳到我了,下面给出简介和使用指南,快去使用起来吧
文心千帆:PPT 制作、数字人主播一键开播等数十种应用场景惊艳到我了,下面给出简介和使用指南,快去使用起来吧
|
5月前
|
人工智能 vr&ar
太炸裂了!SDXL Turbo在线图片实时生成,速度无与伦比【无需注册或登录】
太炸裂了!SDXL Turbo在线图片实时生成,速度无与伦比【无需注册或登录】
太炸裂了!SDXL Turbo在线图片实时生成,速度无与伦比【无需注册或登录】
|
6月前
|
人工智能
[AI 阿里 EMO] 集成进通义千问app,全民演唱,人人可用!
阿里EMO技术的最新进展,现在集成进通义千问app,允许用户通过图+音频生成任意时长的视频,实现全民演唱的互动体验。
[AI 阿里 EMO] 集成进通义千问app,全民演唱,人人可用!
|
5月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之本地离线预测可以支持多张卡吗
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6月前
|
Ubuntu API 开发工具
开放原子训练营(第一季)铜锁探密:基于铜锁构建在线在线加密工具箱
开放原子训练营(第一季)铜锁探密:基于铜锁构建在线在线加密工具箱
49 0
|
数据可视化 数据挖掘
评论情感分析:2020年东京奥运会的微博用户数据 分析可视化 完整代码+数据 可直接运行
评论情感分析:2020年东京奥运会的微博用户数据 分析可视化 完整代码+数据 可直接运行
99 0
|
机器学习/深度学习 云安全 人工智能
文心千帆:PPT 制作、数字人主播一键开播等应用场景惊艳到我了,下面给到Prompt工程详细教程应用场景及案例
文心千帆:PPT 制作、数字人主播一键开播等应用场景惊艳到我了,下面给到Prompt工程详细教程应用场景及案例
文心千帆:PPT 制作、数字人主播一键开播等应用场景惊艳到我了,下面给到Prompt工程详细教程应用场景及案例
|
机器学习/深度学习 传感器 数据采集
接入Llama 2等33个大模型,上线Prompt模板,百度智能云千帆大模型平台重磅升级
接入Llama 2等33个大模型,上线Prompt模板,百度智能云千帆大模型平台重磅升级
574 0