• 关于

    批量计算类型

    的搜索结果

问题

批量计算

批量计算 1、 批量计算产品概述有哪些? 2、 批量计算产品架构有哪些? 3、 批量计算功能特性有哪些? 4、 批量计算如何使用 Docker 镜像构建 App? 5、 批量计算如何实现Blender渲染App最佳实践? 6、 批量计算如何...
黄一刀 2020-04-04 03:16:01 71 浏览量 回答数 1

问题

批量计算数据类型API有哪些?

批量计算数据类型API有哪些?...
1934890530796658 2020-03-30 11:18:54 6 浏览量 回答数 1

回答

约翰逊法是作业排序中的一种排序方法。这种方法适用的条件是:n个工件经过二、三台设备(有限台设备)加工,所有工件在有限设备上加工的次序相同。为了便于阐述这种方法的具体做法,下面结合一个例子来进行说明: 例:有五个工件在二台设备上加工,加工顺序相同,现在设备1上加工,再在设备2上加工,工时列于下表1中,用约翰逊法排序。 表1 加工工时表 具体步骤为: 第一步,取出最小工时t12=2。如该工时为第一工序的,则最先加工;反之,则放在最后加工。此例是A工件第二工序时间,按规则排在最后加工。 第二步,将该已排序工作划去。 第三步,对余下的工作重复上述排序步骤,直至完毕。此时t21=t42=3,B工件第一工序时间最短,最先加工;D工件第二工序时间最短,排在余下的工件中最后加工。最后得到的排序为:B-C-E-D-A。整批工件的停留时间为27分钟。 更一般的情况是工件加工顺序不同,称为随机性排序。由杰克逊对约翰逊法稍加改进后得到求解方法,称为杰克逊算法。 [周期性生产类型作业计划编制] 周期性生产类型由于是多产品轮番生产,零件数量又十分大,作业计划的难度比较大。作业计划分厂部计划和车间计划。在车间计划中的作业排序问题是一件十分困难的工作。 一、 厂部作业计划 厂部作业计划一般只以产品作为计划单位,如产品结构比较简单,厂部计划的能力又很强,也可做部件计划。在确定了周期性生产类型的期量标准的基础上,根据其量标准下达产品的生产批量,以及投入出产的时间,就是厂部计划的主要内容。实际上,采用这种生产方式的企业由于产品大结构复杂,产品生产周期比较长,往往都超过一个月。厂部都是根据订单安排月度计划,当品种数量比较多时,很难做批量计划,这时的厂部计划主要下达月度的生产总量和具体的产品品种规格。由于产品周期垮了数个月,还要下达产品的出产日期、毛坯的投入出产期和机加工的投入出产期,计划单位为产品。部件和零件的生产计划由车间考虑。 二、 车间作业计划 车间接到的生产任务是一个计划期的总生产量,车间要进一步细分任务,分批生产。主要考虑的问题是生产能力的平衡、零部件数量上的配套、提高设备利用率、缩短生产周期、减少在制品资金占用量,所以计划难度很高。大多数企业都是凭经验安排计划。作车间作业计划时,有一些定量模型和方法可供适用,如多品种轮番生产的最小生产费用计划方法就是其中常用的一种。。 三、 作业排序 周期性生产类型的生产组织形式是工艺专业化,车间往往就是生产过程中的某个工艺阶段,每个零件在车间内要经过某几个工序的加工。因此车间的作业计划中工件加工的排序问题是一个难点。其难处在于零件种类多,加工的工艺流程和加工工时差别较大。一般采取重点管住关键零件和关键设备的方法。 零件加工排序问题一般可作如下描述:n种零件在有m台设备的车间内加工,每种零件加工所需要的设备数可以是不同的,加工的顺序也可以不同,要求排出效果尽可能好的工件加工次序。目前对这个问题的研究所取得的成果只能解决少数几种特殊条件下的排序问题,其思路是先确定一个优化目标,再寻求解题模型。通常取一批加工任务在车间内停留的时间最短为优化目标。 下面做简要介绍。 1、 n个工件在一台设备上加工 这是一种最简单的排序问题,只要按如下规则排序既可以了。 式中,ti为第i个工件的加工工时,该式的排序规律是加工工时短的工件先加工。 2、 n个工件需经过二台设备加工 比较简单的一种情况是所有工件在二台设备上加工的次序相同,此时用约翰逊法可以求解。更一般的情况是工件加工顺序不同,称为随机排序。由杰克逊对约翰逊法稍加改进后得到求解方法,称为杰克逊算法。 3、 n个工件在三台设备上加工 随着设备数量的增加,优化难度加大。在三台设备上加工,当满足一定条件时有优化方法。如果n个工件的加工顺序相同,且满足以下两条件中的任何一条,可用约翰逊法求解。 算法如下: 第一步,令 Ti1=ti1+ti2 Ti2=ti2+ti3 得到两台虚拟设备的工序工时; 第二步,对二台虚拟设备,按约翰逊法排序。 对于三台设备的随机性问题还没有简便的优化方法。 4、 二个工件在m台设备上加工 这种情况下可用分枝定界法求解,如设备数量较大,则工作量很大,通常采用图解法。但图解法不能保证是最优解。 上述四种情况在实际生产中只是少数情况,可见多数情况下还没有好的解法,一般可根据排队理论采用计算机模拟方法。 [最小批量法] 最小批量法是确定批量和生产间隔期时常用的一种以量定期法。此方法从设备利用和生产率方面考虑批量的选择,要时的选定的批量能够保证一次准备结束时间对批量加工时间的比值不大于给定的数值。可用下式表示: 损失系数由经验确定,可参考下表1: 表1 准备结束时间损失系数 [经济批量法] 经济批量法是确定批量和生产间隔期时常用的一种以量定期方法。生产费用与批量之间存在着函数关系,批量主要通过两方面因素影响生产费用:一是生产准备费用,这部分费用随生产批次增减而变化;二是保管费用,即在制品在存储保管期间所发生的费用,如仓库管理费用、资金呆滞损失、存货的损耗费用等。这些费用与批量大小和存储时间长短有关。 [周期性生产类型作业计划的期量标准] 周期性生产类型的作业计划的期量标准主要包括批量和生产间隔期、生产周期和生产提前期,合理制定期量标准可以使生产资源得到较好的利用。下面分别阐述这些期量标准。 一、 批量和生产间隔期 采用周期性生产类型的企业,由于产品体积大、结构复杂,再加上品种多等因素,不能采取月度计划一次投料生产的方法。否则不但使在制品充满生产现场,使现场一片混乱,甚至发生生产场地不够用的现象,还会占用大量的流动资金。但又不能像流水生产那样每天小批量的投料生产,所以需要确定一个合理的生产批量。 批量是指一次性投入生产的同种制品的数量。每投一次需要消耗一次准备结束时间,,用于熟悉图纸、领取工卡量居、调整设备工装等等作业。生产间隔期是相邻两批同种工件投入(或产出)的时间间隔。在周期性重复生产条件下批量和生产间隔期有如下关系: 批量=平均日产量*生产间隔期 在生产任务稳定条件下,日产量不变,则批量与生产间隔期成正比。批量大,则间隔期长,相应的在制品数量也大,生产周期较长,这样对使用流动资金是不利的。反之,如批量小,会导致频繁变动产品,增加准备结束作业次数,多消耗准备结束时间,降低设备利用率,也是不利的。因此确定批量和生产间隔期,需要在这些因素之间进行平衡,达到既有利于流动资金的有效使用,又提高设备的利用率。 确定批量和生产间隔期通常有两种方式。 (一) 以量定期法 当平均日产量不变时,批量与生产间隔期互为因果关系,此方法的思路为,先根据综合经济效果确定批量,然后推算生产间隔期,对间隔期做适当的修正后,再对批量做调整。这种方式又有几种具体的方法:最小批量法、经济批量法等。 (二) 以期定量法 此方法的思路为先确定生产间隔期,在推算出批量。按照零件复杂程度、体积大小、价值高低确定各个零件的生产间隔期,然后根据生产数量推算出批量。为了管理上的方便企业都事先制定好标准生产间隔期,数值通常取月工作日(20天)的约数,如1天、2天、4天、5天(一周)、10天、20天(1月)等等。采用这种方法使生产间隔期和相应的批量规范化了,便于管理。标准生产间隔期表如下表1所示: 表1 标准生产间隔期表 生产间隔期与批量的总数不宜太多,一般不超过六种为宜。 二、 生产周期 生产周期是指从加工对象投产起,到它完工时止所经历的日历时间。生产周期这一期量标准是编制生产作业计划和确定产品及其零件在各工艺阶段投入和产出日期的主要依据,是成批生产作业计划的一项重要期量标准。 对产品来说,它的生产周期包括毛坯准备、零件加工、部件装配、成品总装、油漆,直到入库为止的全部时间,如下图2所示: 图2 产品生产周期结构示意图 生产周期可以按零件工序、零件加工过程和产品进行计算。其中零件工序生产周期是计算产品生产周期的基础。这里分别介绍它们的计算方法: 1、 零件工序生产周期 指一批零件在某道工序上的作业时间。计算公式如下: 式中:Tp--修正后的零件加工生产周期; a--为平行系数。 上述公式也适用于计算装配阶段的生产周期。 2、 产品生产周期 产品生产周期是各工艺阶段的生产周期与所有保险期之和。 [多品种轮番生产的最小生产费用计划方法] 多品种轮番生产的最小生产费用计划方法是车间制定生产作业计划时常可用到的一种很有用的定量方法。这种方法的思路是将计划期划分为几个长度相等的循环流程,在每个循环流程中实行多品种轮番生产;以循环流程长度作为因变量,列出生产费用函数,求出最小费用循环流程;最后从该流程长度推算出各品种的批量。 设: Di--第i种产品计划期需求量; Pi--第i种产品计划期生产能力; tmi--第i种产品单件加工时间,tmi=1/Pi; ti--第i种产品批量生产时间,ti=Qi·tmi; tsi--第i种产品准备与结束时间; Si--第i种产品一次准备、结束单位时间的费用; Ci--第i种产品单位产品计划期储存费用; Qi--第i种产品生产批量; Ii--第i种产品在制品数量; L--循环流程长度,
云篆 2019-12-02 01:19:19 0 浏览量 回答数 0

问题

节点管理API

AddNodes 批量添加计算节点 请求参数 字段类型是否必须默认值描述ActionString是-操作接口名,系统规定参数,取值:AddNodesRegionIdString是-地域IDC...
反向一觉 2019-12-01 21:08:28 1120 浏览量 回答数 0

回答

您好。 通用型实例规格族 g5 规格族特点 I/O优化实例 仅支持SSD云盘和高效云盘 处理器与内存配比为1:4 超高网络PPS收发包能力 处理器:2.5 GHz主频的Intel Xeon Platinum 8163(Skylake),计算性能稳定 实例网络性能与计算规格对应(规格越高网络性能越强) 适用场景: 高网络包收发场景,如视频弹幕、电信业务转发等 各种类型和规模的企业级应用 中小型数据库系统、缓存、搜索集群 数据分析和计算 计算集群、依赖内存的数据处理 计算型实例规格族 c5 规格族特点 I/O优化实例 仅支持SSD云盘和高效云盘 处理器与内存配比为1:2 超高网络PPS收发包能力 处理器:2.5 GHz主频的Intel Xeon Platinum 8163(Skylake),计算性能稳定 实例网络性能与计算规格对应(规格越高网络性能越强) 适用场景: 高网络包收发场景,如视频弹幕、电信业务转发等 Web前端服务器 大型多人在线游戏(MMO)前端 数据分析、批量计算、视频编码 高性能科学和工程应用 通用型实例规格族 g5 规格族特点 I/O优化实例 仅支持SSD云盘和高效云盘 处理器与内存配比为1:4 超高网络PPS收发包能力 处理器:2.5 GHz主频的Intel Xeon Platinum 8163(Skylake),计算性能稳定 实例网络性能与计算规格对应(规格越高网络性能越强) 适用场景: 高网络包收发场景,如视频弹幕、电信业务转发等 各种类型和规模的企业级应用 中小型数据库系统、缓存、搜索集群 数据分析和计算 计算集群、依赖内存的数据处理 mn4适用于 网站和Web应用程序 轻量级数据库、缓存 综合应用,轻量级企业服务 如果您对我的回答满意,请您采纳一下,谢谢!
zihangu 2019-12-02 00:07:15 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台定义和管理存储空间内所有对象或对象的某个子集(通过指定关键词名称前缀)的生命周期。设置生命周期一般用于文件的批量管理和自动碎片删除等操作。 对于规则匹配的对象,系统会保证在生效日期两日内将数据清除或转换为其他存储类型。 应用生命周期规则而批量删除的数据将无法恢复,请谨慎配置该规则。 操作步骤 进入OSS管理控制台界面。 在左侧存储空间列表中,单击目标存储空间名称,打开该存储空间概览页面。 单击基础设置页签,找到生命周期区域,然后单击设置。 单击创建规则,打开生命周期创建规则对话框。 配置生命周期规则。 状态:指定本条规则的状态,分别表示启用该规则和停用该规则。 策略:选择匹配对象策略,可以选择按前缀配置(按照对象名称前缀匹配),也可以选择配置到整个Bucket(直接匹配到整个存储空间)。 前缀:如果策略选择了按前缀配置,则需要输入对象名称的前缀。假设您在存储空间中存储了图片对象,这些对象使用img/作为名称前缀,要对这些文件进行生命周期管理,则在此键入img/。 删除文件 过期天数:设置对象文件保留天数,以该文件最后修改时间的天数为起始计算,超过设定天数时即执行规则进行删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为30天,最后修改日期为2016-1-1的对象会在2016年1月31号被后端程序扫描删除或转换为其他存储类型。设置项包括: 文件保留指定天数后转换到低频访问 文件保留指定天数后转换到归档冷备 文件保留指定天数后删除 过期日期:将最后修改时间为指定日期之前的所有文件删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为2012-12-21,最后修改日期为2012-12-21之前的对象会被后端程序扫描删除或转换为其他存储类型。设置项包括: 转换指定日期之前的文件到低频访问 转换指定日期之前的文件到归档冷备 删除指定日期之前的文件 不启用:不启用文件自动删除或转换存储类型的功能。 删除碎片 过期日期:删除初始化时间为指定日期之前的所有分块上传事件。如设置时间为2012-12-21,在2012-12-21之前初始化的分块上传事件会被后端程序扫描删除。 过期天数:设置分块上传事件保留天数,以该事件初始化时为起始计算,超过设定天数时即执行规则进行删除。如设置时间为30天,在2016-1-1初始化的分块上传事件会在1 月31号被后端程序扫描删除。 不启用:不启用碎片自动删除功能。 单击确定。 说明 规则保存成功后,您可以在策略列表中查看已设置的生命周期规则,并进行相应的编辑或者删除操作。
2019-12-01 23:13:12 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台定义和管理存储空间内所有对象或对象的某个子集(通过指定关键词名称前缀)的生命周期。设置生命周期一般用于文件的批量管理和自动碎片删除等操作。 对于规则匹配的对象,系统会保证在生效日期两日内将数据清除或转换为其他存储类型。 应用生命周期规则而批量删除的数据将无法恢复,请谨慎配置该规则。 操作步骤 进入OSS管理控制台界面。 在左侧存储空间列表中,单击目标存储空间名称,打开该存储空间概览页面。 单击基础设置页签,找到生命周期区域,然后单击设置。 单击创建规则,打开生命周期创建规则对话框。 配置生命周期规则。 状态:指定本条规则的状态,分别表示启用该规则和停用该规则。 策略:选择匹配对象策略,可以选择按前缀配置(按照对象名称前缀匹配),也可以选择配置到整个Bucket(直接匹配到整个存储空间)。 前缀:如果策略选择了按前缀配置,则需要输入对象名称的前缀。假设您在存储空间中存储了图片对象,这些对象使用img/作为名称前缀,要对这些文件进行生命周期管理,则在此键入img/。 删除文件 过期天数:设置对象文件保留天数,以该文件最后修改时间的天数为起始计算,超过设定天数时即执行规则进行删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为30天,最后修改日期为2016-1-1的对象会在2016年1月31号被后端程序扫描删除或转换为其他存储类型。设置项包括: 文件保留指定天数后转换到低频访问 文件保留指定天数后转换到归档冷备 文件保留指定天数后删除 过期日期:将最后修改时间为指定日期之前的所有文件删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为2012-12-21,最后修改日期为2012-12-21之前的对象会被后端程序扫描删除或转换为其他存储类型。设置项包括: 转换指定日期之前的文件到低频访问 转换指定日期之前的文件到归档冷备 删除指定日期之前的文件 不启用:不启用文件自动删除或转换存储类型的功能。 删除碎片 过期日期:删除初始化时间为指定日期之前的所有分块上传事件。如设置时间为2012-12-21,在2012-12-21之前初始化的分块上传事件会被后端程序扫描删除。 过期天数:设置分块上传事件保留天数,以该事件初始化时为起始计算,超过设定天数时即执行规则进行删除。如设置时间为30天,在2016-1-1初始化的分块上传事件会在1 月31号被后端程序扫描删除。 不启用:不启用碎片自动删除功能。 单击确定。 说明 规则保存成功后,您可以在策略列表中查看已设置的生命周期规则,并进行相应的编辑或者删除操作。
2019-12-01 23:13:11 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台定义和管理存储空间内所有对象或对象的某个子集(通过指定关键词名称前缀)的生命周期。设置生命周期一般用于文件的批量管理和自动碎片删除等操作。 对于规则匹配的对象,系统会保证在生效日期两日内将数据清除或转换为其他存储类型。 应用生命周期规则而批量删除的数据将无法恢复,请谨慎配置该规则。 操作步骤 进入OSS管理控制台界面。 在左侧存储空间列表中,单击目标存储空间名称,打开该存储空间概览页面。 单击基础设置页签,找到生命周期区域,然后单击设置。 单击创建规则,打开生命周期创建规则对话框。 配置生命周期规则。 状态:指定本条规则的状态,分别表示启用该规则和停用该规则。 策略:选择匹配对象策略,可以选择按前缀配置(按照对象名称前缀匹配),也可以选择配置到整个Bucket(直接匹配到整个存储空间)。 前缀:如果策略选择了按前缀配置,则需要输入对象名称的前缀。假设您在存储空间中存储了图片对象,这些对象使用img/作为名称前缀,要对这些文件进行生命周期管理,则在此键入img/。 删除文件 过期天数:设置对象文件保留天数,以该文件最后修改时间的天数为起始计算,超过设定天数时即执行规则进行删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为30天,最后修改日期为2016-1-1的对象会在2016年1月31号被后端程序扫描删除或转换为其他存储类型。设置项包括: 文件保留指定天数后转换到低频访问 文件保留指定天数后转换到归档冷备 文件保留指定天数后删除 过期日期:将最后修改时间为指定日期之前的所有文件删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为2012-12-21,最后修改日期为2012-12-21之前的对象会被后端程序扫描删除或转换为其他存储类型。设置项包括: 转换指定日期之前的文件到低频访问 转换指定日期之前的文件到归档冷备 删除指定日期之前的文件 不启用:不启用文件自动删除或转换存储类型的功能。 删除碎片 过期日期:删除初始化时间为指定日期之前的所有分块上传事件。如设置时间为2012-12-21,在2012-12-21之前初始化的分块上传事件会被后端程序扫描删除。 过期天数:设置分块上传事件保留天数,以该事件初始化时为起始计算,超过设定天数时即执行规则进行删除。如设置时间为30天,在2016-1-1初始化的分块上传事件会在1 月31号被后端程序扫描删除。 不启用:不启用碎片自动删除功能。 单击确定。 说明 规则保存成功后,您可以在策略列表中查看已设置的生命周期规则,并进行相应的编辑或者删除操作。
2019-12-01 23:13:12 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台定义和管理存储空间内所有对象或对象的某个子集(通过指定关键词名称前缀)的生命周期。设置生命周期一般用于文件的批量管理和自动碎片删除等操作。 对于规则匹配的对象,系统会保证在生效日期两日内将数据清除或转换为其他存储类型。 应用生命周期规则而批量删除的数据将无法恢复,请谨慎配置该规则。 操作步骤 进入OSS管理控制台界面。 在左侧存储空间列表中,单击目标存储空间名称,打开该存储空间概览页面。 单击基础设置页签,找到生命周期区域,然后单击设置。 单击创建规则,打开生命周期创建规则对话框。 配置生命周期规则。 状态:指定本条规则的状态,分别表示启用该规则和停用该规则。 策略:选择匹配对象策略,可以选择按前缀配置(按照对象名称前缀匹配),也可以选择配置到整个Bucket(直接匹配到整个存储空间)。 前缀:如果策略选择了按前缀配置,则需要输入对象名称的前缀。假设您在存储空间中存储了图片对象,这些对象使用img/作为名称前缀,要对这些文件进行生命周期管理,则在此键入img/。 删除文件 过期天数:设置对象文件保留天数,以该文件最后修改时间的天数为起始计算,超过设定天数时即执行规则进行删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为30天,最后修改日期为2016-1-1的对象会在2016年1月31号被后端程序扫描删除或转换为其他存储类型。设置项包括: 文件保留指定天数后转换到低频访问 文件保留指定天数后转换到归档冷备 文件保留指定天数后删除 过期日期:将最后修改时间为指定日期之前的所有文件删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为2012-12-21,最后修改日期为2012-12-21之前的对象会被后端程序扫描删除或转换为其他存储类型。设置项包括: 转换指定日期之前的文件到低频访问 转换指定日期之前的文件到归档冷备 删除指定日期之前的文件 不启用:不启用文件自动删除或转换存储类型的功能。 删除碎片 过期日期:删除初始化时间为指定日期之前的所有分块上传事件。如设置时间为2012-12-21,在2012-12-21之前初始化的分块上传事件会被后端程序扫描删除。 过期天数:设置分块上传事件保留天数,以该事件初始化时为起始计算,超过设定天数时即执行规则进行删除。如设置时间为30天,在2016-1-1初始化的分块上传事件会在1 月31号被后端程序扫描删除。 不启用:不启用碎片自动删除功能。 单击确定。 说明 规则保存成功后,您可以在策略列表中查看已设置的生命周期规则,并进行相应的编辑或者删除操作。
2019-12-01 23:13:11 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台定义和管理存储空间内所有对象或对象的某个子集(通过指定关键词名称前缀)的生命周期。设置生命周期一般用于文件的批量管理和自动碎片删除等操作。 对于规则匹配的对象,系统会保证在生效日期两日内将数据清除或转换为其他存储类型。 应用生命周期规则而批量删除的数据将无法恢复,请谨慎配置该规则。 操作步骤 进入OSS管理控制台界面。 在左侧存储空间列表中,单击目标存储空间名称,打开该存储空间概览页面。 单击基础设置页签,找到生命周期区域,然后单击设置。 单击创建规则,打开生命周期创建规则对话框。 配置生命周期规则。 状态:指定本条规则的状态,分别表示启用该规则和停用该规则。 策略:选择匹配对象策略,可以选择按前缀配置(按照对象名称前缀匹配),也可以选择配置到整个Bucket(直接匹配到整个存储空间)。 前缀:如果策略选择了按前缀配置,则需要输入对象名称的前缀。假设您在存储空间中存储了图片对象,这些对象使用img/作为名称前缀,要对这些文件进行生命周期管理,则在此键入img/。 删除文件 过期天数:设置对象文件保留天数,以该文件最后修改时间的天数为起始计算,超过设定天数时即执行规则进行删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为30天,最后修改日期为2016-1-1的对象会在2016年1月31号被后端程序扫描删除或转换为其他存储类型。设置项包括: 文件保留指定天数后转换到低频访问 文件保留指定天数后转换到归档冷备 文件保留指定天数后删除 过期日期:将最后修改时间为指定日期之前的所有文件删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为2012-12-21,最后修改日期为2012-12-21之前的对象会被后端程序扫描删除或转换为其他存储类型。设置项包括: 转换指定日期之前的文件到低频访问 转换指定日期之前的文件到归档冷备 删除指定日期之前的文件 不启用:不启用文件自动删除或转换存储类型的功能。 删除碎片 过期日期:删除初始化时间为指定日期之前的所有分块上传事件。如设置时间为2012-12-21,在2012-12-21之前初始化的分块上传事件会被后端程序扫描删除。 过期天数:设置分块上传事件保留天数,以该事件初始化时为起始计算,超过设定天数时即执行规则进行删除。如设置时间为30天,在2016-1-1初始化的分块上传事件会在1 月31号被后端程序扫描删除。 不启用:不启用碎片自动删除功能。 单击确定。 说明 规则保存成功后,您可以在策略列表中查看已设置的生命周期规则,并进行相应的编辑或者删除操作。
2019-12-01 23:13:12 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台定义和管理存储空间内所有对象或对象的某个子集(通过指定关键词名称前缀)的生命周期。设置生命周期一般用于文件的批量管理和自动碎片删除等操作。 对于规则匹配的对象,系统会保证在生效日期两日内将数据清除或转换为其他存储类型。 应用生命周期规则而批量删除的数据将无法恢复,请谨慎配置该规则。 操作步骤 进入OSS管理控制台界面。 在左侧存储空间列表中,单击目标存储空间名称,打开该存储空间概览页面。 单击基础设置页签,找到生命周期区域,然后单击设置。 单击创建规则,打开生命周期创建规则对话框。 配置生命周期规则。 状态:指定本条规则的状态,分别表示启用该规则和停用该规则。 策略:选择匹配对象策略,可以选择按前缀配置(按照对象名称前缀匹配),也可以选择配置到整个Bucket(直接匹配到整个存储空间)。 前缀:如果策略选择了按前缀配置,则需要输入对象名称的前缀。假设您在存储空间中存储了图片对象,这些对象使用img/作为名称前缀,要对这些文件进行生命周期管理,则在此键入img/。 删除文件 过期天数:设置对象文件保留天数,以该文件最后修改时间的天数为起始计算,超过设定天数时即执行规则进行删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为30天,最后修改日期为2016-1-1的对象会在2016年1月31号被后端程序扫描删除或转换为其他存储类型。设置项包括: 文件保留指定天数后转换到低频访问 文件保留指定天数后转换到归档冷备 文件保留指定天数后删除 过期日期:将最后修改时间为指定日期之前的所有文件删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为2012-12-21,最后修改日期为2012-12-21之前的对象会被后端程序扫描删除或转换为其他存储类型。设置项包括: 转换指定日期之前的文件到低频访问 转换指定日期之前的文件到归档冷备 删除指定日期之前的文件 不启用:不启用文件自动删除或转换存储类型的功能。 删除碎片 过期日期:删除初始化时间为指定日期之前的所有分块上传事件。如设置时间为2012-12-21,在2012-12-21之前初始化的分块上传事件会被后端程序扫描删除。 过期天数:设置分块上传事件保留天数,以该事件初始化时为起始计算,超过设定天数时即执行规则进行删除。如设置时间为30天,在2016-1-1初始化的分块上传事件会在1 月31号被后端程序扫描删除。 不启用:不启用碎片自动删除功能。 单击确定。 说明 规则保存成功后,您可以在策略列表中查看已设置的生命周期规则,并进行相应的编辑或者删除操作。
2019-12-01 23:13:11 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台定义和管理存储空间内所有对象或对象的某个子集(通过指定关键词名称前缀)的生命周期。设置生命周期一般用于文件的批量管理和自动碎片删除等操作。 对于规则匹配的对象,系统会保证在生效日期两日内将数据清除或转换为其他存储类型。 应用生命周期规则而批量删除的数据将无法恢复,请谨慎配置该规则。 操作步骤 进入OSS管理控制台界面。 在左侧存储空间列表中,单击目标存储空间名称,打开该存储空间概览页面。 单击基础设置页签,找到生命周期区域,然后单击设置。 单击创建规则,打开生命周期创建规则对话框。 配置生命周期规则。 状态:指定本条规则的状态,分别表示启用该规则和停用该规则。 策略:选择匹配对象策略,可以选择按前缀配置(按照对象名称前缀匹配),也可以选择配置到整个Bucket(直接匹配到整个存储空间)。 前缀:如果策略选择了按前缀配置,则需要输入对象名称的前缀。假设您在存储空间中存储了图片对象,这些对象使用img/作为名称前缀,要对这些文件进行生命周期管理,则在此键入img/。 删除文件 过期天数:设置对象文件保留天数,以该文件最后修改时间的天数为起始计算,超过设定天数时即执行规则进行删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为30天,最后修改日期为2016-1-1的对象会在2016年1月31号被后端程序扫描删除或转换为其他存储类型。设置项包括: 文件保留指定天数后转换到低频访问 文件保留指定天数后转换到归档冷备 文件保留指定天数后删除 过期日期:将最后修改时间为指定日期之前的所有文件删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为2012-12-21,最后修改日期为2012-12-21之前的对象会被后端程序扫描删除或转换为其他存储类型。设置项包括: 转换指定日期之前的文件到低频访问 转换指定日期之前的文件到归档冷备 删除指定日期之前的文件 不启用:不启用文件自动删除或转换存储类型的功能。 删除碎片 过期日期:删除初始化时间为指定日期之前的所有分块上传事件。如设置时间为2012-12-21,在2012-12-21之前初始化的分块上传事件会被后端程序扫描删除。 过期天数:设置分块上传事件保留天数,以该事件初始化时为起始计算,超过设定天数时即执行规则进行删除。如设置时间为30天,在2016-1-1初始化的分块上传事件会在1 月31号被后端程序扫描删除。 不启用:不启用碎片自动删除功能。 单击确定。 说明 规则保存成功后,您可以在策略列表中查看已设置的生命周期规则,并进行相应的编辑或者删除操作。
2019-12-01 23:13:11 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台定义和管理存储空间内所有对象或对象的某个子集(通过指定关键词名称前缀)的生命周期。设置生命周期一般用于文件的批量管理和自动碎片删除等操作。 对于规则匹配的对象,系统会保证在生效日期两日内将数据清除或转换为其他存储类型。 应用生命周期规则而批量删除的数据将无法恢复,请谨慎配置该规则。 操作步骤 进入OSS管理控制台界面。 在左侧存储空间列表中,单击目标存储空间名称,打开该存储空间概览页面。 单击基础设置页签,找到生命周期区域,然后单击设置。 单击创建规则,打开生命周期创建规则对话框。 配置生命周期规则。 状态:指定本条规则的状态,分别表示启用该规则和停用该规则。 策略:选择匹配对象策略,可以选择按前缀配置(按照对象名称前缀匹配),也可以选择配置到整个Bucket(直接匹配到整个存储空间)。 前缀:如果策略选择了按前缀配置,则需要输入对象名称的前缀。假设您在存储空间中存储了图片对象,这些对象使用img/作为名称前缀,要对这些文件进行生命周期管理,则在此键入img/。 删除文件 过期天数:设置对象文件保留天数,以该文件最后修改时间的天数为起始计算,超过设定天数时即执行规则进行删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为30天,最后修改日期为2016-1-1的对象会在2016年1月31号被后端程序扫描删除或转换为其他存储类型。设置项包括: 文件保留指定天数后转换到低频访问 文件保留指定天数后转换到归档冷备 文件保留指定天数后删除 过期日期:将最后修改时间为指定日期之前的所有文件删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为2012-12-21,最后修改日期为2012-12-21之前的对象会被后端程序扫描删除或转换为其他存储类型。设置项包括: 转换指定日期之前的文件到低频访问 转换指定日期之前的文件到归档冷备 删除指定日期之前的文件 不启用:不启用文件自动删除或转换存储类型的功能。 删除碎片 过期日期:删除初始化时间为指定日期之前的所有分块上传事件。如设置时间为2012-12-21,在2012-12-21之前初始化的分块上传事件会被后端程序扫描删除。 过期天数:设置分块上传事件保留天数,以该事件初始化时为起始计算,超过设定天数时即执行规则进行删除。如设置时间为30天,在2016-1-1初始化的分块上传事件会在1 月31号被后端程序扫描删除。 不启用:不启用碎片自动删除功能。 单击确定。 说明 规则保存成功后,您可以在策略列表中查看已设置的生命周期规则,并进行相应的编辑或者删除操作。
2019-12-01 23:13:11 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台定义和管理存储空间内所有对象或对象的某个子集(通过指定关键词名称前缀)的生命周期。设置生命周期一般用于文件的批量管理和自动碎片删除等操作。 对于规则匹配的对象,系统会保证在生效日期两日内将数据清除或转换为其他存储类型。 应用生命周期规则而批量删除的数据将无法恢复,请谨慎配置该规则。 操作步骤 进入OSS管理控制台界面。 在左侧存储空间列表中,单击目标存储空间名称,打开该存储空间概览页面。 单击基础设置页签,找到生命周期区域,然后单击设置。 单击创建规则,打开生命周期创建规则对话框。 配置生命周期规则。 状态:指定本条规则的状态,分别表示启用该规则和停用该规则。 策略:选择匹配对象策略,可以选择按前缀配置(按照对象名称前缀匹配),也可以选择配置到整个Bucket(直接匹配到整个存储空间)。 前缀:如果策略选择了按前缀配置,则需要输入对象名称的前缀。假设您在存储空间中存储了图片对象,这些对象使用img/作为名称前缀,要对这些文件进行生命周期管理,则在此键入img/。 删除文件 过期天数:设置对象文件保留天数,以该文件最后修改时间的天数为起始计算,超过设定天数时即执行规则进行删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为30天,最后修改日期为2016-1-1的对象会在2016年1月31号被后端程序扫描删除或转换为其他存储类型。设置项包括: 文件保留指定天数后转换到低频访问 文件保留指定天数后转换到归档冷备 文件保留指定天数后删除 过期日期:将最后修改时间为指定日期之前的所有文件删除或转换为其他存储类型(低频访问类型或归档类型)。如设置时间为2012-12-21,最后修改日期为2012-12-21之前的对象会被后端程序扫描删除或转换为其他存储类型。设置项包括: 转换指定日期之前的文件到低频访问 转换指定日期之前的文件到归档冷备 删除指定日期之前的文件 不启用:不启用文件自动删除或转换存储类型的功能。 删除碎片 过期日期:删除初始化时间为指定日期之前的所有分块上传事件。如设置时间为2012-12-21,在2012-12-21之前初始化的分块上传事件会被后端程序扫描删除。 过期天数:设置分块上传事件保留天数,以该事件初始化时为起始计算,超过设定天数时即执行规则进行删除。如设置时间为30天,在2016-1-1初始化的分块上传事件会在1 月31号被后端程序扫描删除。 不启用:不启用碎片自动删除功能。 单击确定。 说明 规则保存成功后,您可以在策略列表中查看已设置的生命周期规则,并进行相应的编辑或者删除操作。
2019-12-01 23:13:11 0 浏览量 回答数 0

回答

Cromwell 是 Broad Institute 开发的工作流管理系统,当前已获得阿里云批量计算服务的支持。通过 Cromwell 可以将 WDL 描述的 workflow 转化为批量计算的作业(Job)运行。用户将为作业运行时实际消耗的计算和存储资源付费,不需要支付资源之外的附加费用。本文将介绍如何使用 Cromwell 在阿里云批量计算服务上运行工作流。 准备工作 A) 开通批量计算服务 要使用批量计算服务,请根据官方文档里面的指导开通批量计算和其依赖的相关服务,如OSS等。 注意:创建 OSS Bucket 的区域,需要和使用批量计算的区域一致。 B) 下载 Cromwell Cromwell 官方下载 注意:为了确保所有的特性可用,建议下载45及之后的最新版本。 C) 开通 ECS 作为 Cromwell server 当前批量计算提供了 Cromwell server 的 ECS 镜像,用户可以用此镜像开通一台 ECS 作为 server。镜像中提供了 Cromwell 官网要求的基本配置和常用软件。在此镜像中,Cromwell 的工作目录位于/home/cromwell,上一步下载的 Crowwell jar 包可以放置在 /home/cromwell/cromwell 目录下。 注意:用户也可以自己按照 Cromwell 官方的要求自己搭建 Cromwell server, 上面的镜像只是提供了方便的方式,不是强制要求。 使用 Cromwell 配置文件 Cromwell 运行的配置文件,包括: Cromwell 公共配置。 批量计算相关配置,包含了批量计算作为后端需要的存储、计算等资源配置。 关于配置参数的详细介绍请参考 Cromwell 官方文档。如下是一个批量计算配置文件的例子 bcs.conf: include required(classpath("application")) database { profile = "slick.jdbc.MySQLProfile$" db { driver = "com.mysql.jdbc.Driver" url = "jdbc:mysql://localhost/db_cromwell?rewriteBatchedStatements=true&useSSL=false&allowPublicKeyRetrieval=true" user = "user_cromwell" #Your mysql password password = "" connectionTimeout = 5000 } } workflow-options { workflow-log-dir = "/home/cromwell/cromwell/logs/" } call-caching { # Allows re-use of existing results for jobs you've already run # (default: false) enabled = false # Whether to invalidate a cache result forever if we cannot reuse them. Disable this if you expect some cache copies # to fail for external reasons which should not invalidate the cache (e.g. auth differences between users): # (default: true) invalidate-bad-cache-results = true } docker { hash-lookup { enabled = false # Set this to match your available quota against the Google Container Engine API #gcr-api-queries-per-100-seconds = 1000 # Time in minutes before an entry expires from the docker hashes cache and needs to be fetched again #cache-entry-ttl = "20 minutes" # Maximum number of elements to be kept in the cache. If the limit is reached, old elements will be removed from the cache #cache-size = 200 # How should docker hashes be looked up. Possible values are "local" and "remote" # "local": Lookup hashes on the local docker daemon using the cli # "remote": Lookup hashes on docker hub and gcr method = "remote" #method = "local" alibabacloudcr { num-threads = 5 #aliyun CR credentials auth { #endpoint = "cr.cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } } } } engine { filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } } } } backend { default = "BCS" providers { BCS { actor-factory = "cromwell.backend.impl.bcs.BcsBackendLifecycleActorFactory" config { root = "oss://your-bucket/cromwell_dir" region = "cn-shanghai" access-id = "" access-key = "" filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } caching { # When a cache hit is found, the following duplication strategy will be followed to use the cached outputs # Possible values: "copy", "reference". Defaults to "copy" # "copy": Copy the output files # "reference": DO NOT copy the output files but point to the original output files instead. # Will still make sure than all the original output files exist and are accessible before # going forward with the cache hit. duplication-strategy = "reference" } } } default-runtime-attributes { failOnStderr: false continueOnReturnCode: 0 autoReleaseJob: true cluster: "OnDemand ecs.sn1.medium img-ubuntu-vpc" #cluster: cls-6kihku8blloidu3s1t0006 vpc: "192.168.0.0/16" } } } } } 如果使用前面章节中的镜像开通 ECS 作为 Cromwell server,配置文件位于 /home/cromwell/cromwell/bcs_sample.conf,只需要填写自己的配置即可使用 Cromwell。 注意:Cromwell 可以在公网环境(如本地服务器、配置了公网 IP 的阿里云 ECS 等)运行,也可以在阿里云 VPC 环境下运行。在 VPC 环境下使用时,有如下几处要修改为 VPC 内网下的配置: OSS 的内网 endpoint : engine.filesystems.oss.auth.endpoint = "oss-cn-shanghai-internal.aliyuncs.com" backend.providers.BCS.config.filesystems.oss.auth.endpoint = "oss-cn-shanghai-internal.aliyuncs.com" 添加批量计算的内网 endpoint: backend.providers.BCS.config.user-defined-region = "cn-shanghai-vpc" backend.providers.BCS.config.user-defined-domain = "batchcompute-vpc.cn-shanghai.aliyuncs.com" 添加容器镜像服务的内网 endpoint: docker.hash-lookup.alibabacloudcr.auth.endpoint = "cr-vpc.cn-shanghai.aliyuncs.com" 运行模式 Cromwell支持两种模式: run 模式 server 模式 关于两种模式的详细描述,请参考 Cromwell 官网文档。下面重点介绍这两种模式下如何使用批量计算。 A) run模式 run模式适用于本地运行一个单独的 WDL 文件描述的工作流,命令行如下:java -Dconfig.file=bcs.conf -jar cromwell.jar run echo.wdl --inputs echo.inputs WDL 文件:描述详细的工作流。工作流中每个 task 对应批量计算的一个作业(Job)。 inputs文件:是 WDL 中定义的工作流的输入信息inputs 文件是用来描述 WDL 文件中定义的工作流及其 task 的输入文件。如下所示: { "workflow_name.task_name.input1": "xxxxxx" } 运行成功后,WDL 文件中描述的工作流中的一个 task 会作为批量计算的一个作业(Job)来提交。此时登录批量计算的控制台就可以看到当前的 Job 状态。 show_bcs_job 当 workflow 中所有的 task 对应的作业运行完成后,工作流运行完成。 B) server 模式 启动 server 相比 run 模式一次运行只能处理一个 WDL 文件,server 模式可以并行处理多个 WDL 文件。关于 server 模式的更多信息,请参考 Cromwell 官方文档。可以采用如下命令行启动 server:java -Dconfig.file=bsc.conf -jar cromwell.jar serverserver 启动成功后,就可以接收来自 client 的工作流处理请求。下面分别介绍如何使用 API 和 CLI 的方式向 server 提交工作流。 使用 API 提交工作流 server 启动后,可以通过浏览器访问 Cromwell Server,比如 Server 的 IP 为39.105.xxx.yyy,则在浏览器中输入http://39.105.xxx.yyy:8000,通过如下图所示的界面提交任务:cromwell_server更多API接口及用法,请参考 Cromwell 官网文档。 使用 CLI 提交工作流[推荐] 除了可以使用 API 提交工作流以外,Cromwell 官方还提供了一个开源的 CLI 命令行工具 widder。可以使用如下的命令提交一个工作流: python widdler.py run echo.wdl echo.inputs -o bcs_workflow_tag:tagxxx -S localhost 其中-o key:value是用于设置option,批量计算提供了 bcs_workflow_tag:tagxxx 选项,用于配置作业输出目录的tag(下一节查看运行结果中会介绍)。 如果使用前面章节中的镜像开通 ECS 作为 Cromwell server,镜像中已经安装了 widdler,位于 /home/cromwell/widdler。可以使用如下的命令提交工作流: widdler run echo.wdl echo.inputs -o bcs_workflow_tag:tagxxx -S localhost 更多命令用法可使用widdler -h命令查看,或参考官方文档。 查看运行结果 工作流运行结束后,输出结果被上传到了配置文件或 WDL 中定义的 OSS 路径下。在OSS路径上面的目录结构如下: cromwell_output_dir如上图所示,在配置文件中的config.root目录下有如下输出目录: 第一层:workflowname 工作流的名称 第二层:通过上一节中 CLI 命令的-o设置的目录tag 第三层:workflow id,每次运行会生成一个 第四层:workflow 中每个 task 的运行输出,比如上图中的 workflow 15e45adf-6dc7-4727-850c-89545faf81b0 有两个 task,每个task对应的目录命名是call-taskname,目录中包含三部分内容: 批量计算的日志,包括 bcs-stdout 和 bcs-stderr 当前 task 的输出,比如图中的 output1/output2 等 当前 task 执行的 stdout 和 stderr 4. 使用建议 在使用过程中,关于 BCS 的配置,有如下的建议供参考: 使用集群 批量计算提供了两种使用集群的方式: 自动集群 固定集群 A) 自动集群 在config配置文件中指定默认的资源类型、实例类型以及镜像类型,在提交批量计算 Job 时就会使用这些配置自动创建集群,比如: default-runtime-attributes { cluster : "OnDemand ecs.sn1ne.large img-ubuntu-vpc" } 如果在某些 workflow 中不使用默认集群配置,也可以通过inputs文件中指定 workflow 中某个 task 的对应的批量计算的集群配置(将 cluster_config 作为 task 的一个输入),比如: { "workflow_name.task_name.cluster_config": "OnDemand ecs.sn2ne.8xlarge img-ubuntu-vpc" } 然后在 task 中重新设置运行配置: task task_demo { String cluster_config runtime { cluster: cluster_config } } 就会覆盖默认配置,使用新的配置信息创建集群。 B) 固定集群 使用自动集群时,需要创建新集群,会有一个等待集群的时间。如果对于启动时间有要求,或者有了大量的作业提交,可以考虑使用固定集群。比如: default-runtime-attributes { cluster : "cls-xxxxxxxxxx" } 注意:使用固定集群时,如果使用完毕,请及时释放集群,否则集群中的实例会持续收费。 Cromwell Server 配置建议 大压力作业时,建议使用较高配置的机器作为 Cromwell Server,比如ecs.sn1ne.8xlarge等32核64GB的机器。 大压力作业时,修改 Cromwell Server 的最大打开文件数。比如在ubuntu下可以通过修改/etc/security/limits.conf文件,比如修改最大文件数为100万: root soft nofile 1000000 root hard nofile 1000000 * soft nofile 1000000 * hard nofile 1000000 确认 Cromwell Server 有配置数据库,防止作业信息丢失。 设置 bcs.conf 里面的并发作业数,比如 system.max-concurrent-workflows = 1000 开通批量计算相关配额 如果有大压力场景,可能需要联系批量计算服务开通对应的配额,比如: 一个用户所有作业的数量(包括完成的、运行的、等待的等多种状态下); 同时运行的作业的集群的数量(包括固定集群和自动集群); 使用 NAS 使用 NAS 时要注意以下几点: NAS 必须在 VPC 内使用,要求添加挂载点时,必须指定 VPC; 所以要求在 runtime 中必须包含: VPC 信息 mounts 信息 下面的例子可供参考: runtime { cluster: cluster_config mounts: "nas://1f****04-xkv88.cn-beijing.nas.aliyuncs.com:/ /mnt/ true" vpc: "192.168.0.0/16 vpc-2zexxxxxxxx1hxirm" } 高级特性支持 Glob Cromwell 支持使用 glob 来指定工作流中多个文件作为 task 的输出,比如: task globber { command <<< for i in seq 1 5 do mkdir out-$i echo globbing is my number $i best hobby out-$i/$i.txt done output { Array[File] outFiles = glob("out-/.txt") } } workflow test { call globber } 当 task 执行结束时,通过 glob 指定的多个文件会作为输出,上传到 OSS 上。 Call Caching Call Caching 是 Cromwell 提供的高级特性,如果检测到工作流中某个 task (对应一个批量计算的 job )和之前已经执行过的某个 task 具有相同的输入和运行时等条件,则不需要再执行,直接取之前的运行结果,这样可以为客户节省时间和费用。一个常见的场景是如果一个工作流有 n 个 task,当执行到中间某一个 task 时由于某些原因失败了,排除了错误之后,再次提交这个工作流运行后,Cromwell 判断如果满足条件,则已经完成的几个 task 不需要重新执行,只需要从出错的 task 开始继续运行。 配置 Call Caching 要在 BCS 后端情况下使用 Call Caching 特性,需要如下配置项: database { profile = "slick.jdbc.MySQLProfile$" db { driver = "com.mysql.jdbc.Driver" url = "jdbc:mysql://localhost/db_cromwell?rewriteBatchedStatements=true&useSSL=false" user = "user_cromwell" password = "xxxxx" connectionTimeout = 5000 } } call-caching { # Allows re-use of existing results for jobs you have already run # (default: false) enabled = true # Whether to invalidate a cache result forever if we cannot reuse them. Disable this if you expect some cache copies # to fail for external reasons which should not invalidate the cache (e.g. auth differences between users): # (default: true) invalidate-bad-cache-results = true } docker { hash-lookup { enabled = true # How should docker hashes be looked up. Possible values are local and remote # local: Lookup hashes on the local docker daemon using the cli # remote: Lookup hashes on alibab cloud Container Registry method = remote alibabacloudcr { num-threads = 10 auth { access-id = "xxxx" access-key = "yyyy" } } } } engine { filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "xxxx" access-key = "yyyy" } } } } backend { default = "BCS" providers { BCS { actor-factory = "cromwell.backend.impl.bcs.BcsBackendLifecycleActorFactory" config { #其他配置省略 filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "xxxx" access-key = "yyyy" } caching { # When a cache hit is found, the following duplication strategy will be followed to use the cached outputs # Possible values: copy, reference. Defaults to copy # copy: Copy the output files # reference: DO NOT copy the output files but point to the original output files instead. # Will still make sure than all the original output files exist and are accessible before # going forward with the cache hit. duplication-strategy = "reference" } } } default-runtime-attributes { failOnStderr: false continueOnReturnCode: 0 cluster: "OnDemand ecs.sn1.medium img-ubuntu-vpc" vpc: "192.168.0.0/16" } } } } } database 配置:Cromwell 将 workflow 的执行元数据存储在数据库中,所以需要添加数据库配置,详细情况参考Cromwell 官网指导。 call-caching 配置:Call Caching 的开关配置等; docker.hash-lookup 配置: 设置 Hash 查找开关及阿里云 CR 等信息,用于查找镜像的 Hash 值。 backend.providers.BCS.config.filesystems.oss.caching 配置:设置 Call Caching命中后,使用原来输出的方式,批量计算在这里支持 reference 模式,不需要拷贝原有的结果,节省时间和成本。 命中条件 使用批量计算作为后端时,Cromwell 通过如下条件判断一个 task 是否需要重新执行: 条件 解释 inputs task 的输入,比如 OSS 上的样本文件 command task 定义中的命令行 continueOnReturnCode 公共运行时参数,可以继续执行的返回码 docker 公共运行时参数,后端的Docker配置 failOnStderr 公共运行时参数,stderr非空时是否失败 imageId 批量计算后端运行时参数,标识作业运行的 ECS 镜像,如果使用的官方镜像如img-ubuntu-vpc可不用填写此项 userData 批量计算后端,用户自定义数据 如果一个 task 的上述参数未发生改变,Cromwell 会判定为不需要执行的 task,直接获取上次执行的结果,并继续工作流的执行。
1934890530796658 2020-03-28 20:47:14 0 浏览量 回答数 0

回答

介绍 GTX-FPGA产品是由未来实验室 GTX-Laboratory开发的全基因组分析加速工具,采用CPU和FPGA协同工作的异构加速技术,利用各自的特性进行基因数据的高性能计算。可以将30X的全基因组数据分析时间从30小时缩短至30分钟;将100X全外显子数据分析时间从6小时缩短至5分钟完成。 GTX-FPGA 分析主要包括:index(构建索引)、align(基因组对比)、 vc(突变检测)、wgs(整合,将alin 和 vc 整合到一起,下文中的 GTX one也是指该步骤)等步骤。 本文主要介绍如果通过阿里云批量计算直接使用 GTX-FPGA 产品,实现全基因组数据分析、全外显子数据分析作业一键式运行。 使用约束 GTX-FPGA 产品目前只支持阿里云 F3 型 ECS 实例类型。同时每个实例类型需要配置一定容量的 SSD 数据盘,容量大小和fasta大小有关;其中 align 需要的磁盘大小是 2 个 fastq 文件大小的和再乘以 2(例如:需要计算的 fastq1 是 40G,fastq2 是 42G, 需要的数据盘空间大小是 164G);wgs需要的计算空间大小是 fasta 文件大小的8倍(例如human30x.fasta数据大小是 3.4G,则需要的数据盘大小是 252G)。针对人类基因组数据盘大小可以采用下文中 demo 示例的设置默认值。 GTX-FPGA 产品目前只支持 北京 区域测试。 GTX-FPGA 产品目前处于公测阶段,公测阶段 GTX-FPGA 产品不收取费用,只收取作业所需要的实例以及相关存储费用。 前置条件 登录阿里云,并确保账号余额大于100元,以便体验完整分析流程。 开通批量计算服务,用于执行分析任务。 开通OSS对象存储, 用于上传用户自己的测序数据,保存分析结果。创建bucket,例如 gtx-wgs-demo 查看或者创建的AccessKey, 如果您使用的是子账号,请确认具有以上批量计算和OSS的产品使用权限,参考快速开始文档。复制AccessKey ID(如LTAI8xxxxx), Access Key Secret(如vVGZVE8qUNjxxxxxxxx) 备用。 使用说明 GTX-FPGA 支持WDL模式运行以及DAG作业模式运行。 1 GTX 命令格式 gtxcmd 2 WDL模式运行 WDL 模式使用方式请参考文档 3 DAG作业模式 3.1 示例脚本 下载 DAG 作业示例代码。 其中: genGtxIndexCmd 则是对应 GTX 的建索引命令;命令使用方法可以参考代码中帮助信息。genGtxWgsCmd 则是对应 GTX one的命令;命令使用方法可以参考代码中帮助信息。genGtxAlignCmd 则是对应 GTX 基因组对比命令;命令使用方法可以参考代码中帮助信息。genGtxVcCmd 则是对应 GTX 突变检测命令;命令使用方法可以参考代码中帮助信息。 可以自定义以上步骤中每项 GTX 参数,也可以按默认值来执行。 建索引操作是非必选项目,本 demo 示例默认索引构建完成;若需要构建索引在执行脚本时需要增加参数(isNeedIndex)描述。 read_group_header 可以通过命令行传入也可以使用默认值。 示例代码默认运行 GTX one流程,一次性执行对比以及编译检测流程;若需要按分步骤执行则需要设置对应参数。 更新批量计算python SDK到最新版本 “pip install —upgrade batchcompute”。 3.1 执行命令 python test.py --reference oss://xxx/ref/hg19.fa --fastq1 oss://xxx/input/human30x_10m_1.fastq --fastq2 oss://xxxx/_input/human30x_10m_2.fastq --output oss://xxx/testoutput/ 3.2 执行结果 gtxonegtxret
1934890530796658 2020-03-28 21:41:48 0 浏览量 回答数 0

问题

【精品问答】实时计算

阿里云实时计算(Alibaba Cloud Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理等场景。 ...
montos 2020-04-08 14:08:41 3 浏览量 回答数 1

回答

弹性高性能计算E-HPC的管理控制台提供了E-HPC集群节点相关的节点查询、重启、重置、删除、停机等功能,以及调度器管理功能,如节点队列创建、迁移、删除。 进入节点管控界面 进入E-HPC管理控制台,点选左侧栏的节点和队列标签,进入如下界面: node-management_summary 选择节点 选出需要调整的节点主要有以下步骤: 选择地域 关于地域的说明,请参考地域和可用区 节点所属集群所在的地域即为节点所在地域,需通过地域筛选出节点所在集群。 选择集群 在地域标签下方,点击集群选择框旁边的下拉菜单,根据集群名称可选择节点所在的集群。 选择节点类型 E-HPC集群主要有三种节点类型,可在节点类型按钮旁边的下拉框选择节点。 (1)管控节点,包括调度服务器和域帐户服务器。 调度服务器:主要作用是运行PBS或SLURM等调度工具的服务端,处理作业提交、管理调度等。 域帐户服务器:集中管理E-HPC集群内用户帐户。 (2)计算节点 运行高性能计算作业的服务器,其配置决定了E-HPC集群总体性能。 (3)登录节点 E-HPC集群普通用户能够操作的唯一节点类型。您可在登录节点上进行软件调试、编译和安装,作业提交等操作。 管理节点 完成以上节点所在地域、集群以及节点类型选择后,您可从节点概要信息表中找到需要调整的节点,在右侧操作栏点击“重启”或“更多”按钮,进行重启节点、重置节点、删除节点、查看详情等操作;对于多个节点,可进行批量停机、启动、删除操作。 重启节点 注意:如无特殊需要(如故障修复等),请勿对处于运行中状态的节点执行重启操作。 点击重启按钮,在弹出界面选择普通重启或强制重启。 node-management_node_reboot 普通重启:向节点上运行的操作系统(如CentOS)远程发送重启指令,由操作系统完成终止进程,系统重启等操作。相当于物理机按下Ctrl+Alt+Del触发的重启。 强制重启:直接重启节点运行的虚拟机,相当于物理机按下Reset按钮。一般是普通重启无效时才使用强制重启方式。 提醒:当节点重启无法修复故障时可尝试 重置节点。 重置节点 注意:如无特殊需要(如故障修复等),请勿对处于运行中状态的节点执行重置操作。 点开更多下拉菜单,点击重置节点按钮,确认后即触发节点重置流程: 把当前节点恢复到刚创建ECS实例云服务器的初始状态 重新安装初始化E-HPC管控系统,如调度配置或域帐号管理配置等 重新安装E-HPC集群软件栈 加入E-HPC集群 3. 删除节点 注意:仅计算节点可从集群移除,管控节点和登录节点不可删除。且删除计算节点是目前集群缩容的唯一途径。若需增加计算节点,请参考集群扩容。 单个节点删除:点开更多按钮下拉菜单,点击删除节点按钮,确认后节点将释放。 批量节点删除:勾选需要删除的计算节点,点击界面上方批量删除按钮,确认后选中节点将被全部释放。 4. 停机和启动 注意:仅计算节点可进行停机操作,管控节点和登录节点不可停机。 E-HPC控制台支持批量节点的停机和启动操作。 节点停机:首先,勾选需要停机的节点,然后点击上方停机按钮,确认后选中的节点将全部被停机。 节点启动:同理,勾选需要启动的节点(说明:节点已处在停机状态,否则不可启动),点击上方启动按钮,确认后停机节点将在5分钟左右被全部启动。 节点启动推荐使用上面的方法。 除了以上启动方式外,您也可以进入云服务器ECS管理控制台,选择左侧的 实例 标签,跳转后选择您集群所在region,找到被停止的实例,点击 实例ID 进入停止实例页面,最后在右上角,点击启动按钮,启动该节点。操作完成之后,再去E-HPC管理控制台的节点界面,查看节点启动成功。 调度器管理 为更高效的管理大量运行作业的计算节点,E-HPC推出调度器管理功能,将运行不同作业或执行不同任务的节点进行分类,加入到不同的队列进行分类管理。如下图所示: newqueue 首先,选择集群节点类型为计算节点,点击新建队列按钮,在弹出框输入队列名称,确认后队列创建完成。 说明:新建的队列,可以在”队列”栏的下拉框中查看。 其次,新创建的队列中不包含节点,您可以勾选需要移动到新队列的节点,然后点击移动到队列按钮,在弹出框选择目标队列,确认后即可完成迁移。 最后,删除不需要的队列时,只需要在“队列”栏选择需要删除的队列名称,然后点击删除队列按钮,确认后即可完成删除操作。 说明: 1. 默认队列不可删除;2. 使用pbs调度器的集群,队列中存在节点时不可删除;
1934890530796658 2020-03-23 17:11:57 0 浏览量 回答数 0

回答

在集群节点登录之前,首先需要为集群添加至少一个用户,请参考用户管理。E-HPC提供了如下两种登录方式: 控制台远程连接 进入E-HPC管理控制台首页,在集群页面对应集群的右侧,点击“远程连接”按钮,弹出远程连接框,输入添加的用户名和密码,点击“连接”。 远程连接 最后,在新页窗口跳出登录节点终端页面,则表示登陆成功。 登陆终端 第三方软件登录 E-HPC集群创建完成后,会自动为每个登录节点分配一个公网IP。点选左侧栏的“节点”,跳转至节点界面,在集群栏下拉框选择目标集群,然后在节点类型栏下拉框选择“登录节点”,跳转至如下界面,在 IP地址/ID 栏会显示登录节点对应的公网IP地址和私网IP地址。 登录节点 在获取到公网IP地址之后,通过普通ssh终端使用预设root账户和集群密码即可登录。默认登录shell为bash。 上一篇:自动伸缩 下一篇:导入数据 相关文档 用户管理 导入数据 自动伸缩 节点管理 控制台提交作业 命令行提交作业 相关产品 弹性高性能计算E-HPC 弹性高性能计算(E-HPC)基于阿里云基础设施,为用户提供一站式公共云HPC服务,主要面向教育科研、企事业单位和个人,提供快捷、弹性、安全和与阿里云产品互通的技术计算云平台。 云服务器 ECS 云服务器(Elastic Compute Service,简称 ECS)是一种简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本,使您更专注于核心业务创新。 批量计算 批量计算(BatchCompute)是一种适用于大
1934890530796658 2020-03-23 17:14:40 0 浏览量 回答数 0

问题

如何创建云数据库 HybridDB for PostgreSQL 实例

您可以通过如下两种方式购买或创建云数据库 HybridDB for PostgreSQL 实例: 在阿里云官网的 云数据库 HybridDB for PostgreSQL 购买页面 直接购买。在阿里云 HybridDB for...
云栖大讲堂 2019-12-01 21:28:03 1275 浏览量 回答数 0

回答

数据通道 批量历史数据通道 Tunnel是MaxCompute为您提供的数据传输服务,提供高并发的离线数据上传下载服务。支持每天TB/PB级别的数据导入导出,特别适合于全量数据或历史数据的批量导入。Tunnel为您提供Java编程接口,并且在MaxCompute的客户端工具中,提供对应的命令实现本地文件与服务数据的互通。 实时增量数据通道 针对实时数据上传的场景,MaxCompute提供了延迟低、使用方便的DataHub服务,特别适用于增量数据的导入。DataHub还支持多种数据传输插件,例如Logstash、Flume、Fluentd、Sqoop等,同时支持日志服务Log Service中的投递日志到MaxCompute,进而使用DataWorks进行日志分析和挖掘。 计算及分析任务 MaxCompute支持多种计算模型,详情如下: SQL:MaxCompute以表的形式存储数据,支持多种数据类型,并对外提供SQL查询功能。您可以将MaxCompute作为传统的数据库软件操作,但其却能处理TB、PB级别的海量数据。 说明 MaxCompute SQL不支持事务、索引,也不支持Update或Delete操作。 MaxCompute的SQL语法与Oracle、MySQL有一定差别,您无法将其他数据库中的SQL语句无缝迁移至MaxCompute中。详情请参见与其他SQL语法的差异。 MaxCompute主要用于100GB以上规模的数据计算,因此MaxCompute SQL最快支持在分钟或秒钟级别完成查询返回结果,但无法在毫秒级别返回结果。 MaxCompute SQL的优点是学习成本低,您不需要了解复杂的分布式计算概念。如果您具备数据库操作经验,便可快速熟悉MaxCompute SQL的使用。 UDF:即用户自定义函数。 MaxCompute提供了很多内建函数来满足您的计算需求,同时您还可以通过创建自定义函数来满足不同的计算需求。 MapReduce:MaxCompute MapReduce是MaxCompute提供的Java MapReduce编程模型,它可以简化开发流程,更为高效。使用MaxCompute MapReduce,需要对分布式计算概念有基本了解,并有相对应的编程经验。MaxCompute MapReduce为您提供Java编程接口。 Graph:MaxCompute提供的Graph功能是一套面向迭代的图计算处理框架。图计算作业使用图进行建模,图由点 (Vertex)和边(Edge)组成,点和边包含权值(Value)。通过迭代对图进行编辑、演化,最终求解出结果,典型应用:PageRank、单源最短距离算法 、K-均值聚类算法等。 Spark on MaxCompute:Spark on MaxCompute是阿里云开发的大数据分析引擎,为您提供大数据处理能力。详情请参见Spark概述。 SDK SDK是MaxCompute提供给开发者的工具包,当前支持Java SDK及Python SDK。 安全 MaxCompute提供了功能强大的安全服务,为您的数据安全提供保护,详情请参见安全指南。
LiuWH 2020-03-18 18:45:12 0 浏览量 回答数 0

问题

【MaxCompute】的产品概述

大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 为您提供了完善的数据导入方案以及多种经典的分布式计算模型&#...
玄学酱 2019-12-01 21:55:03 1428 浏览量 回答数 0

回答

能干的多了去了看下面弹性计算云服务器ECS:可弹性扩展、安全、稳定、易用的计算服务块存储:可弹性扩展、高性能、高可靠的块级随机存储专有网络 VPC:帮您轻松构建逻辑隔离的专有网络负载均衡:对多台云服务器进行流量分发的负载均衡服务弹性伸缩:自动调整弹性计算资源的管理服务资源编排:批量创建、管理、配置云计算资源容器服务:应用全生命周期管理的Docker服务高性能计算HPC:加速深度学习、渲染和科学计算的GPU物理机批量计算:简单易用的大规模并行批处理计算服务E-MapReduce:基于Hadoop/Spark的大数据处理分析服务数据库云数据库RDS:完全兼容MySQL,SQLServer,PostgreSQL云数据库MongoDB版:三节点副本集保证高可用云数据库Redis版:兼容开源Redis协议的Key-Value类型云数据库Memcache版:在线缓存服务,为热点数据的访问提供高速响应PB级云数据库PetaData:支持PB级海量数据存储的分布式关系型数据库云数据库HybridDB:基于Greenplum Database的MPP数据仓库云数据库OceanBase:金融级高可靠、高性能、分布式自研数据库数据传输:比GoldenGate更易用,阿里异地多活基础架构数据管理:比phpMyadmin更强大,比Navicat更易用存储对象存储OSS:海量、安全和高可靠的云存储服务文件存储:无限扩展、多共享、标准文件协议的文件存储服务归档存储:海量数据的长期归档、备份服务块存储:可弹性扩展、高性能、高可靠的块级随机存储表格存储:高并发、低延时、无限容量的Nosql数据存储服务网络CDN:跨运营商、跨地域全网覆盖的网络加速服务专有网络 VPC:帮您轻松构建逻辑隔离的专有网络高速通道:高速稳定的VPC互联和专线接入服务NAT网关:支持NAT转发、共享带宽的VPC网关大数据(数加)MaxCompute:原名ODPS,是一种快速、完全托管的TB/PB级数据仓库解决方案大数据开发套件:提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,拥有强大的Open API为数据应用开发者提供良好的再创作生态DataV数据可视化:专精于业务数据与地理信息融合的大数据可视化,通过图形界面轻松搭建专业的可视化应用, 满足您日常业务监控、调度、会展演示等多场景使用需求关系网络分析:基于关系网络的大数据可视化分析平台,针对数据情报侦察场景赋能,如打击虚假交易,审理保险骗赔,案件还原研判等推荐引擎:推荐服务框架,用于实时预测用户对物品偏好,支持 A/B Test 效果对比公众趋势分析:利用语义分析、情感算法和机器学习,分析公众对品牌形象、热点事件和公共政策的认知趋势企业图谱:提供企业多维度信息查询,方便企业构建基于企业画像及企业关系网络的风险控制、市场监测等企业级服务数据集成:稳定高效、弹性伸缩的数据同步平台,为阿里云各个云产品提供离线(批量)数据进出通道分析型数据库:在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索流计算:流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具人工智能机器学习:基于阿里云分布式计算引擎的一款机器学习算法平台,用户通过拖拉拽的方式可视化的操作组件来进行试验,平台提供了丰富的组件,包括数据预处理、特征工程、算法组件、预测与评估语音识别与合成:基于语音识别、语音合成、自然语言理解等技术,为企业在多种实际应用场景下,赋予产品“能听、会说、懂你”式的智能人机交互体验人脸识别:提供图像和视频帧中人脸分析的在线服务,包括人脸检测、人脸特征提取、人脸年龄估计和性别识别、人脸关键点定位等独立服务模块印刷文字识别:将图片中的文字识别出来,包括身份证文字识别、门店招牌识别、行驶证识别、驾驶证识别、名片识别等证件类文字识别场景云安全(云盾)服务器安全(安骑士):由轻量级Agent和云端组成,集检测、修复、防御为一体,提供网站后门查杀、通用Web软件0day漏洞修复、安全基线巡检、主机访问控制等功能,保障服务器安全DDoS高防IP:云盾DDoS高防IP是针对互联网服务器(包括非阿里云主机)在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠Web应用防火墙:网站必备的一款安全防护产品。 通过分析网站的访问请求、过滤异常攻击,保护网站业务可用及资产数据安全加密服务:满足云上数据加密,密钥管理、加解密运算需求的数据安全解决方案CA证书服务:云上签发Symantec、CFCA、GeoTrust SSL数字证书,部署简单,轻松实现全站HTTPS化,防监听、防劫持,呈现给用户可信的网站访问数据风控:凝聚阿里多年业务风控经验,专业、实时对抗垃圾注册、刷库撞库、活动作弊、论坛灌水等严重威胁互联网业务安全的风险绿网:智能识别文本、图片、视频等多媒体的内容违规风险,如涉黄,暴恐,涉政等,省去90%人力成本安全管家:基于阿里云多年安全实践经验为云上用户提供的全方位安全技术和咨询服务,为云上用户建立和持续优化云安全防御体系,保障用户业务安全云盾混合云:在用户自有IDC、专有云、公共云、混合云等多种业务环境为用户建设涵盖网络安全、应用安全、主机安全、安全态势感知的全方位互联网安全攻防体系态势感知:安全大数据分析平台,通过机器学习和结合全网威胁情报,发现传统防御软件无法覆盖的网络威胁,溯源攻击手段、并且提供可行动的解决方案先知:全球顶尖白帽子和安全公司帮你找漏洞,最私密的安全众测平台。全面体检,提早发现业务漏洞及风险,按效果付费移动安全:为移动APP提供安全漏洞、恶意代码、仿冒应用等检测服务,并可对应用进行安全增强,提高反破解和反逆向能力。互联网中间件企业级分布式应用服务EDAS:以应用为中心的中间件PaaS平台、消息队列MQ:Apache RocketMQ商业版企业级异步通信中间件分布式关系型数据库服务DRDS:水平拆分/读写分离的在线分布式数据库服务云服务总线CSB:企业级互联网能力开放平台业务实施监控服务ARMS:端到端一体化实时监控解决方案产品分析E-MapReduce:基于Hadoop/Spark的大数据处理分析服务云数据库HybirdDB:基于Greenplum Database的MPP数据仓库高性能计算HPC:加速深度学习、渲染和科学计算的GPU物理机大数据计算服务MaxCompute:TB/PB级数据仓库解决方案分析型数据库:海量数据实时高并发在线分析开放搜索:结构化数据搜索托管服务管理与监控云监控:指标监控与报警服务访问控制:管理多因素认证、子账号与授权、角色与STS令牌资源编排:批量创建、管理、配置云计算资源操作审计:详细记录控制台和API操作密钥管理服务:安全、易用、低成本的密钥管理服务应用服务日志服务:针对日志收集、存储、查询和分析的服务开放搜索:结构化数据搜索托管服务性能测试:性能云测试平台,帮您轻松完成系统性能评估邮件推送:事务/批量邮件推送,验证码/通知短信服务API网关:高性能、高可用的API托管服务,低成本开放API物联网套件:助您快速搭建稳定可靠的物联网应用消息服务:大规模、高可靠、高并发访问和超强消息堆积能力视频服务视频点播:安全、弹性、高可定制的点播服务媒体转码:为多媒体数据提供的转码计算服务视频直播:低延迟、高并发的音频视频直播服务移动服务移动推送:移动应用通知与消息推送服务短信服务:验证码和短信通知服务,三网合一快速到达HTTPDNS:移动应用域名防劫持和精确调整服务移动安全:为移动应用提供全生命周期安全服务移动数据分析:移动应用数据采集、分析、展示和数据输出服务移动加速:移动应用访问加速云通信短信服务:验证码和短信通知服务,三网合一快速到达语音服务:语音通知和语音验证,支持多方通话流量服务:轻松玩转手机流量,物联卡专供物联终端使用私密专线:号码隔离,保护双方的隐私信息移动推送:移动应用通知与消息推送服务消息服务:大规模、高可靠、高并发访问和超强消息堆积能力邮件推送:事务邮件、通知邮件和批量邮件的快速发送
巴洛克上校 2019-12-02 00:25:55 0 浏览量 回答数 0

回答

单击您的项目,系统默认进入知识图谱页面。选择数据链路,在画布中的数据接入区域,单击设备数据接入组件。在关联云资源模块中,选择您已经添加的MaxCompute和Datahub资源,单击完成。 本案例选择的云资源如下: 关联成功后,系统会显示关联云资源成功。 如果您还没有相关的云资源,可单击 +新建云资源,系统会跳转到 云资源管理页面。单击 +添加云计算资源,选择 MaxCompute或 Datahub Service类型的资源,填写相关信息,单击 添加,完成云资源的添加。 添加上云设备及测点。 本案例选择 批量录入。您也可以选择 手动录入,需要手动输入设备和测点信息。 单击下载设备&测点导入模板,下载数据模板并填入准备好的数据。 单击批量导入设备&测点,选择填好的数据文件。单击打开,等待加载完成后,单击录入。勾选所有已经录入的设备,单击导出已选设备和测点,下载设备配置文件。前往您的数据采集软件进行配置,配置完成后,采集的数据将会导入到您关联的DataHub和MaxCompute中,供算法调用。
剑曼红尘 2020-03-24 10:04:20 0 浏览量 回答数 0

回答

CDN提供以下相关API接口。 数据监控类接口 API 描述 DescribeDomainSrcHttpCodeData 调用DescribeDomainSrcHttpCodeData获取加速域名5分钟计算粒度的回源HTTP返回码的总数和占比数据,支持获取最近90天的数据。 DescribeDomainTopReferVisit 调用DescribeDomainTopReferVisit获取加速域名某天的热门页面引用次数排名,支持获取最近90天的数据。 DescribeDomainTopUrlVisit 调用DescribeDomainTopUrlVisit获取加速域名某天内的热门URL列表,支持获取最近90天的数据。 DescribeDomainAverageResponseTime 调DescribeDomainAverageResponseTime获取加速域名的平均响应时间,支持获取最近90天的数据。 DescribeDomainFileSizeProportionData 调用DescribeDomainFileSizeProportionData获取加速域名1小时粒度的文件大小占比统计,支持获取最近90天的数据。 DescribeDomainBpsDataByTimeStamp 调用DescribeDomainBpsDataByTimeStamp获取加速域名在某个时刻的带宽数据。 DescribeDomainISPData 调用DescribeDomainISPData获取加速域名天粒度的用户运营商分布数据统计,支持获取最近90天的数据。 DescribeCdnRegionAndIsp 调用DescribeCdnRegionAndIsp获取区域和运营商列表。 DescribeRangeDataByLocateAndIspService 调用DescribeRangeDataByLocateAndIspService获取加速域名在某个时刻不同运营商和区域上的带宽数据。 DescribeDomainRealTimeBpsData 调用DescribeDomainRealTimeBpsData获取加速域名1分钟粒度带宽数据,支持查询7天内的数据。 DescribeDomainRealTimeSrcBpsData 调用DescribeDomainRealTimeSrcBpsData获取域名1分钟粒度回源带宽数据,支持获取最近7天的数据。 DescribeDomainRealTimeSrcHttpCodeData 调用DescribeDomainRealTimeSrcHttpCodeData获取加速域名回源1分钟粒度HTTP返回码的总数和占比数据,支持获取最近7天的数据。 DescribeDomainRealTimeSrcTrafficData 调用DescribeDomainRealTimeSrcTrafficData获取加速域名的1分钟回源流量监控数据,支持获取最近90天的数据,数据单位:bit。 DescribeDomainRealTimeByteHitRateData 调用DescribeDomainRealTimeByteHitRateData获取域名1分钟粒度字节命中率数据,支持查询7天内的数据。 DescribeDomainRealTimeQpsData 调用DescribeDomainRealTimeQpsData获取加速域名1分钟粒度每秒访问次数数据,支持查询7天内的数据。 DescribeDomainRealTimeHttpCodeData 调用DescribeDomainRealTimeHttpCodeData获取加速域名1分钟粒度HTTP返回码的总数和占比数据,支持获取最近7天的数据。 DescribeDomainRealTimeTrafficData 调用DescribeDomainRealTimeTrafficData获取加速域名的1分钟粒度流量监控数据,支持获取最近90天的数据,数据单位:Byte。 DescribeDomainRealTimeReqHitRateData 调用DescribeDomainRealTimeReqHitRateData获取加速域名1分钟粒度请求命中率数据,支持查询7天内的数据。 DescribeDomainBpsData 调用DescribeDomainBpsData获取加速域名的网络带宽监控数据,支持获取最近90天的数据。 DescribeDomainSrcBpsData 调用DescribeDomainSrcBpsData获取加速域名的回源带宽监控数据,支持获取最近90天的数据。 DescribeDomainSrcTrafficData 调用DescribeDomainSrcTrafficData获取加速域名的回源流量监控数据,支持获取最近90天的数据,单位:bit。 DescribeDomainsUsageByDay 调用DescribeDomainsUsageByDay获取加速域名天粒度监控统计数据,支持获取最近90天的数据。 DescribeDomainHitRateData 调用DescribeDomainHitRateData获取加速域名的字节命中率(命中字节百分比),支持获取最近90天的数据。 DescribeL2VipsByDomain 调用DescribeL2VipsByDomain查询指定域名的L2节点的回源IP。 DescribeDomainReqHitRateData 调用DescribeDomainReqHitRateData获取加速域名的请求命中率(命中请求百分比),支持获取最近90天的数据。 DescribeDomainHttpCodeData 调用DescribeDomainHttpCodeData获取加速域名HTTP返回码的总数和占比数据,支持获取最近90天的数据。 DescribeDomainTrafficData 调用DescribeDomainTrafficData获取加速域名的网络流量监控数据,支持获取最近90天的数据,单位:byte。 DescribeTopDomainsByFlow 调用DescribeTopDomainsByFlow获取用户按流量排名的域名,支持获取最近90天的数据。 DescribeDomainRegionData 调用DescribeDomainRegionData获取加速域名天粒度的用户区域分布数据统计。 DescribeDomainUvData 调用DescribeDomainUvData获取加速域名1小时粒度的UV页面独立访问统计,支持获取最近90天的数据。 DescribeDomainPvData 调用DescribeDomainPvData获取加速域名1小时粒度的PV页面访问统计。 DescribeDomainQpsData 调用DescribeDomainQpsData获取5分钟计算粒度加速域名的每秒访问次数QPS,支持获取最近90天的数据。 ListFCTrigger 调用ListFCTrigger获取指定事件的函数计算触发器列表。 DescribeDomainQpsDataByLayer 调用DescribeDomainQpsDataByLayer获取加速域名的每秒访问次数QPS,支持获取最近90天的数据。 DescribeDomainTopClientIpVisit 调用DescribeDomainTopClientIpVisit获取加速域名在指定时间范围内按照访问次数或流量排序的Client IP排行,支持获取最近90天的数据。 DescribeDomainRealTimeDetailData 调用DescribeDomainRealTimeDetailData批量获取域名的各地区运营商流量和访问次数的1分钟粒度数据,支持查询7天内的数据。 DescribeDomainSrcTopUrlVisit 调用DescribeDomainSrcTopUrlVisit获取加速域名回源的热门Url。 DescribeDomainSrcQpsData 调用DescribeDomainSrcQpsData获取加速域名的回源请求QPS数据。 域名管理类接口 API 描述 AddCdnDomain 调用AddCdnDomain添加加速域名。 DeleteCdnDomain 调用DeleteCdnDomain删除已添加的加速域名。 StopCdnDomain 调用StopCdnDomain停用某个加速域名,将DomainStatus变更为Offline。 StartCdnDomain 调用StartCdnDomain启用状态为停用的加速域名,将DomainStatus变更为Online。 BatchStartCdnDomain 调用BatchStartCdnDomain批量启用状态为停用的加速域名,将DomainStatus变更为Online。 BatchSetCdnDomainConfig 调用BatchSetCdnDomainConfig进行域名批量配置。 ModifyCdnDomain 调用ModifyCdnDomain修改加速域名信息。 DescribeUserDomains 调用DescribeUserDomains查询用户名下所有的域名与状态,支持域名模糊匹配过滤和域名状态过滤。 DescribeCdnCertificateList 调用DescribeCdnCertificateList获取证书列表信息。 DescribeDomainCertificateInfo 调用DescribeDomainCertificateInfo获取指定加速域名证书信息。 DescribeCdnDomainDetail 调用DescribeCdnDomainDetail获取指定加速域名配置的基本信息。 DescribeDomainsBySource 调用DescribeDomainsBySource查询用户名下,源站对应的所有域名名称列表。 SetDomainServerCertificate 调用SetDomainServerCertificate设置指定域名下证书功能是否启用及修改证书信息。 BatchStopCdnDomain 调用BatchStopCdnDomain批量停用加速域名,将DomainStatus变更为Offline。 DescribeCdnDomainConfigs 调用DescribeCdnDomainConfigs查询域名配置,一次可查询多个功能配置。 DeleteSpecificConfig 调用DeleteSpecificConfig删除加速域名的配置。 DescribeUserVipsByDomain 调用DescribeUserVipsByDomain按域名查询vip列表。 BatchAddCdnDomain 调用BatchAddCdnDomain批量添加加速域名,一个用户最多添加20个域名。 DescribeCdnHttpsDomainList 调用DescribeCdnHttpsDomainList获取用户所有证书信息。 ModifyCdnDomainSchdmByProperty 调用ModifyCdnDomainSchdmByProperty修改加速域名加速区域。 BatchUpdateCdnDomain 调用BatchUpdateCdnDomain批量更新加速域名信息。 BatchSetCdnDomainServerCertificate 调用BatchSetCdnDomainServerCertificate批量设置域名下证书功能是否启用及修改证书信息。 SetWafConfig 调用SetWafConfig设置加速域名的Waf防护功能。 DescribeCdnDomainByCertificate 调用DescribeCdnDomainByCertificate根据证书信息获取加速域名。 SetWaitingRoomConfig 调用SetWaitingRoomConfig设置waiting_room功能,只支持全站加速类型域名。 DescribeCdnCertificateDetail 调用DescribeCdnCertificateDetail查询CDN证书详细信息。 日志信息类接口 API 描述 DescribeCdnDomainLogs 调用DescribeCdnDomainLogs获取指定域名的原始访问日志的下载地址。 CreateRealTimeLogDelivery 调用CreateRealTimeLogDelivery创建域名实时日志投递。 DeleteRealtimeLogDelivery 调用DeleteRealtimeLogDelivery删除实时日志推送域名。 DescribeDomainRealtimeLogDelivery 调用DescribeDomainRealtimeLogDelivery查询域名实时日志投递信息。 DescribeRealtimeDeliveryAcc 调用DescribeRealtimeDeliveryAcc查询实时日志投递次数。 DisableRealtimeLogDelivery 调用DisableRealtimeLogDelivery暂停域名实时日志投递。 EnableRealtimeLogDelivery 调用EnableRealtimeLogDelivery开启域名实时日志投递。 ListRealtimeLogDeliveryDomains 调用ListRealtimeLogDeliveryDomains查询实时日志投递服务下所有域名。 ListRealtimeLogDeliveryInfos 调用ListRealtimeLogDeliveryInfos查询所有实时日志投递服务信息。 ModifyRealtimeLogDelivery 调用ModifyRealtimeLogDelivery更改域名实时日志投递。一个域名同时仅支持投递单个logstore。 DescribeDomainCustomLogConfig 调用DescribeDomainCustomLogConfig获取域名自定义日志格式配置信息。 ListDomainsByLogConfigId 调用ListDomainsByLogConfigId查询应用某自定义日志格式的所有域名列表。 ListUserCustomLogConfig 调用ListUserCustomLogConfig获取用户下所有自定义日志配置信息。 ModifyUserCustomLogConfig 调用ModifyUserCustomLogConfig修改用户下自定义日志配置信息。 DescribeCustomLogConfig 调用DescribeCustomLogConfig根据configId查询自定义日志配置详细信息。 刷新预热类接口 API 描述 PushObjectCache 调用PushObjectCache将源站的内容主动预热到L2 Cache节点上,您首次访问可直接命中缓存,缓解源站压力。 DescribeRefreshQuota DescribeRefreshQuota查询当天url刷新、目录刷新、预热及封禁的最大限制数量和剩余量。 DescribeRefreshTasks 调用DescribeRefreshTasks查询刷新、预热状态是否在全网生效。 RefreshObjectCaches 调用RefreshObjectCaches刷新节点上的文件内容。刷新指定URL内容至Cache节点,支持URL批量刷新。 服务类接口 API 描述 OpenCdnService 调用OpenCdnService开通CDN服务。只有开通服务后,才能进行域名操作。 ModifyCdnService 调用ModifyCdnService变更CDN服务的计费类型。 DescribeCdnService 调用DescribeCdnService查询CDN服务状态。包括:当前计费类型、服务开通时间、下次生效的计费类型、当前业务状态等。 DescribeCdnUserResourcePackage 调用DescribeCdnUserResourcePackage查询CDN用户当前流量包。 DescribeCdnUserQuota 调用DescribeCdnUserQuota查询用户资源上限及已使用情况。 用量查询类接口 API 描述 DescribeUserUsageDataExportTask 调用DescribeUserUsageDataExportTask查询用户最近三个月的用量导出任务信息。 CreateUserUsageDataExportTask 调用CreateUserUsageDataExportTask创建账号历史用量数据导出任务,将历史用量生成PDF文件用于下载。 CreateUsageDetailDataExportTask 调用CreateUsageDetailDataExportTask创建用量详细数据导出任务,将详细用量生成excel文件用于下载。 DescribeUserUsageDetailDataExportTask 调用DescribeUserUsageDetailDataExportTask查询您账户下单个或多个域名5分钟明细数据的导出任务。 DescribeDomainUsageData 调用DescribeDomainUsageData查询域名在特定计费区域的用量数据。 DeleteUserUsageDataExportTask 调用DeleteUserUsageDataExportTask删除账号历史用量数据导出任务。 DeleteUsageDetailDataExportTask 调用DeleteUsageDetailDataExportTask删除用量详细数据导出任务。 标签类接口 API 描述 DescribeTagResources 调用DescribeTagResources查询资源对应的标签。 DescribeUserTags 调用DescribeUserTags查询用户标签。 UntagResources 调用UntagResources删除资源标签。 TagResources 调用TagResources添加资源标签。 辅助工具类接口 API 描述 DescribeIpInfo 调用DescribeIpInfo验证指定的IP是否为阿里云CDN节点的IP地址。
保持可爱mmm 2020-03-30 14:30:26 0 浏览量 回答数 0

问题

如何搭建监控系统?

基于日志服务的监控系统 日志服务简介 日志服务是阿里云一个重要的基础设施,支撑着阿里云所有集群日志数据的收集和分发。众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据,利用...
轩墨 2019-12-01 21:58:48 1241 浏览量 回答数 0

回答

批量增加计算节点。 描述 可以批量增加 1-99 个计算节点,在增加计算节点前,您可以: 调用 ListRegions 查询可用地域列表 调用 DescribeCluster 查询集群信息 请求参数 名称 类型 是否必需 默认值 描述 Action String 是 - 操作接口名,系统规定参数,取值:AddNodes。 RegionId String 是 - 地域 ID。 ClusterId String 是 - 集群 ID。 Count Integer 是 - 添加的计算节点数量,取值范围:1-99。 ComputeSpotStrategy String 否 - 计算节点竞价策略,取值NoSpot、SpotWithPriceLimit 或 SpotAsPriceGo。 ComputeSpotPriceLimit String 否 - 设置实例的每小时最高价格,取值是浮点数,取值范围是当前的价格区间。 ImageOwnerAlias String 否 system 镜像类型,system、self、others 或 marketplace ImageId String 否 - 镜像 Id, 如果 ImageType 是system, 就只根据 OsTag 来决定基础镜像 ID; 如果是self、others 或 marketplace, ImageId 就是必填的。 InstanceType String 否 - 扩容的实例规格,如果没有配置,就使用上次扩容或者创建集群时的计算节点实例规格。 EcsChargeType String 否 PostPaid 集群使用ECS实例的付费类型,PostPaid:按量付费,PrePaid:包年包月。若选择包年包月类型,默认开启自动续费,节点释放后将关闭自动续费。 Period Integer 否 - 购买资源的时长,单位为:月。当参数 EcsChargeType 取值为 PrePaid 时才生效且为必选值。 PeriodUnit String 否 - 购买资源的时长。可选值 Week/Month。 AutoRenew Boolean 否 false true:自动续费;false:不自动续费。 AutoRenewPeriod Integer 否 1 每次自动续费的时长,当参数 AutoRenew 取值 True 时生效。 CreateMode String 否 manual 节点是如何创建的,manual 手动扩容, autoscale 自动扩容 返回参数 公共返回参数 注: 由于AddNodes是异步操作,请求成功就会立即返回,不会等待实例创建,所以没有返回InstanceId,可以通过ListNodes查询节点列表来获取InstanceId 示例 请求示例 https://ehpc.cn-hangzhou.aliyuncs.com/?Action=AddNodes&RegionId=cn-hangzhou&ClusterId=<集群ID>&Count=1&<公共请求参数> 返回示例 XML格式 04F0F334-1335-436C-A1D7-6C044FE73368 JSON格式 { "RequestId": "04F0F334-1335-436C-A1D7-6C044FE73368", "InstanceIds": { "InstanceId": [] } } 错误码 查询 E-HPC 接口错误码请访问 错误码。更多错误码,请访问 API 错误中心。 批量删除计算节点。 描述 批量删除集群中的计算节点,请您确认已经导出节点上所有作业数据后再进行操作。在删除计算节点前,您可以: 调用 ListRegions 查询可用地域列表 调用 DescribeCluster 查询指定集群信息 请求参数 名称 类型 是否必需 默认值 描述 Action String 是 - 操作接口名,系统规定参数,取值:DeleteNodes。 RegionId String 是 - 地域 ID。 ClusterId String 是 - 集群 ID。 Instance.n.Id String 是 - 第 n 个(n 从 1 开始编号,可以有多条)要移除的节点实例 ID。 ReleaseInstance Boolean 否 true 是否释放由 E-HPC 创建的实例 返回参数 公共参数,了解更多请参阅 公共参数。 示例 请求示例 https://ehpc.cn-hangzhou.aliyuncs.com/?Action=DeleteNodes&RegionId=cn-hangzhou&ClusterId=<集群ID>&Instance.1.Id=<实例ID>&Instance.2.Id=<实例ID>&<公共请求参数> 返回示例 XML格式 04F0F334-1335-436C-A1D7-6C044FE73368 JSON格式 { "RequestId": "04F0F334-1335-436C-A1D7-6C044FE73368" } 错误码 查询 E-HPC 接口错误码请访问 错误码。更多错误码,请访问 API 错误中心。 查询集群中节点列表。 描述 查询用户集群中的节点列表,接口会返回所有节点信息。 请求参数 名称 类型 是否必需 默认值 描述 Action String 是 - 操作接口名,系统规定参数,取值:ListNodes。 RegionId String 是 - 地域 ID。 ClusterId String 是 - 集群 ID。 Role String 否 - 节点角色,可选项包括 Manager:管控节点,Login:跳板机,Compute:计算节点。 HostName String 否 - 节点名称,支持模糊查询, 支持 MySQL 的正则表达式。 OnlyDetached Boolean 否 false 是否仅查询不由 E-HPC 管理的节点信息。如果为true, 则仅返回不由 E-HPC 释放的节点(比如包月节点或者非 E-HPC 创建的节点)。 PageNumber Integer 否 1 显示的页码,起始值为 1。 PageSize Integer 否 10 每页显示的条数,1-50。 返回参数 除公共返回参数外返回如下结果: 名称 类型 描述 Nodes Array 节点信息数组。 TotalCount Integer 列表条目总数。 PageNumber Integer 当前页码。 PageSize Integer 本页条数。 其中,NodeInfo 结构包含以下字段: 名称 类型 描述 Id String 节点实例 ID。 RegionId String 地域 ID。 Status String 节点状态。 CreateByEhpc Boolean 是否由 E-HPC 创建,目前都是。 Role String 节点类别,Scheduler:主调度器,SchedulerBackup:备用调度器,Account:主域服务器,AccountBackup:备用域服务器,Login:跳板机,Compute:计算节点。调度器和域服务器都属于管控节点(Manager)。 Roles Array 否 TotalResources Struct 资源总量。 UsedResources Struct 计算节点资源使用量,其他类型节点返回值为空。 AddTime Date 加入集群时间。 SpotStrategy String 后付费实例的竞价策略。 LockReason String 节点被锁定类型,默认返回为空字符串。 ExpiredTime Date 包月节点到期时间。如果节点是按量节点,则此项为空。 Expired Boolean 包月节点是否到期。如果节点是按量节点,则为false。 ImageOwnerAlias String 镜像类型,system、self、others 或 marketplace。 ImageId String 镜像 ID。 Location String 节点所在位置,是本地节点 OnPremise 还是公共云上节点 PublicCloud 。 CreateMode String 节点是如何创建的,manual 手动扩容, autoscale 自动扩容 其中,计算节点资源 ResourceType 结构包含以下字段: 名称 类型 描述 Cpu Integer CPU资源总量,单位:核。 Memory Integer 内存资源总量,单位:GB。 Gpu Integer GPU资源总量,单位:卡。 节点状态 Status 的可能取值: 取值 描述 uninit 未初始化 init 初始化中 ready 空闲 running 运行中 exception 异常 示例 请求示例 https://ehpc.cn-hangzhou.aliyuncs.com/?Action=ListNodes&RegionId=cn-shanghai&ClusterId=<集群ID>&<公共请求参数> 返回示例 XML格式 04F0F334-1335-436C-A1D7-6C044FE73368 1 1 1 i-uf68t1zu3jkhs8wyxhil cn-shanghai running 2018-05-28T02:59:44.000Z false NoSpot system centos_7_02_64_20G_alibase_20170818.vhd public_cloud Compute 2 4096 0 0 0 0 JSON格式 { "RequestId": "04F0F334-1335-436C-A1D7-6C044FE73368" "TotalCount": 1, "PageNumber": 1, "PageSize": 1, "Nodes": { "NodeInfo" : [ { "Id": "i-uf68t1zu3jkhs8wyxhil", "RegionId": "cn-shanghai", "Status": "running", "AddTime": "2018-05-28T02:59:44.000Z", "Expired": false, "SpotStrategy": "NoSpot", "LockReason": "", "ImageOwnerAlias": "system", "ImageId": "centos_7_02_64_20G_alibase_20170818.vhd", "Location": "public_cloud", "TotalResources": { "Cpu": 2, "Memory": 4096, "Gpu": 0 }, "UsedResources": { "Cpu": 0, "Memory": 0, "Gpu": 0 } } ] } } 错误码 查询 E-HPC 接口错误码请访问 错误码。更多错误码,请访问 API 错误中心。 描述 不分页查询用户指定集群中的节点列表,接口会返回查询到的所有节点信息。 请求参数 名称 类型 是否必需 默认值 描述 Action String 是 - 操作接口名,系统规定参数,取值:ListNodesNoPaging。 RegionId String 是 - 地域 ID。 ClusterId String 是 - 集群 ID。 Role String 否 - 节点角色,可选项包括 Manager:管控节点,Login:跳板机,Compute:计算节点。 HostName String 否 - 节点名称,支持模糊查询, 支持MySQL的正则表达式。 OnlyDetached Boolean 否 false 是否仅查询不由 E-HPC 管理的节点信息。如果为true, 则仅返回不由 E-HPC 释放的节点(比如包月节点或者非 E-HPC 创建的节点)。 返回参数 除公共返回参数外返回如下结果: 名称 类型 描述 Nodes Array 节点信息数组。 其中,NodeInfo 结构包含以下字段: 名称 类型 描述 Id String 节点实例 ID。 RegionId String 地域 ID。 Status String 节点状态。 CreateByEhpc Boolean 是否由 E-HPC 创建,目前都是。 Role String 节点类别,Scheduler:主调度器,SchedulerBackup:备用调度器,Account:主域服务器,AccountBackup:备用域服务器,Login:跳板机,Compute:计算节点。调度器和域服务器都属于管控节点(Manager)。 Roles Array 节点角色类型数组 TotalResources Struct 资源总量。 UsedResources Struct 计算节点资源使用量,其他类型节点返回值为空。 AddTime Date 加入集群时间。 SpotStrategy String 后付费实例的竞价策略。 LockReason String 节点被锁定类型,默认返回为空字符串。 ExpiredTime Date 包月节点到期时间。如果节点是按量节点,则此项为空。 Expired Boolean 包月节点是否到期。如果节点是按量节点,则为false。 ImageOwnerAlias String 镜像类型,system、self、others 或 marketplace。 ImageId String 镜像 ID。 Location String 节点所在位置,是本地节点 OnPremise 还是公共云上节点 PublicCloud。 其中,计算节点资源 ResourceType 结构包含以下字段: 名称 类型 描述 Cpu Integer CPU资源总量,单位:核。 Memory Integer 内存资源总量,单位:GB。 Gpu Integer GPU资源总量,单位:卡。 节点状态 Status 的可能取值: 取值 描述 uninit 未初始化 init 初始化中 ready 空闲 running 运行中 exception 异常 示例 请求示例 https://ehpc.cn-hangzhou.aliyuncs.com/?Action=ListNodesNoPaging&RegionId=cn-shanghai&ClusterId=<集群ID>&<公共请求参数> 返回示例 XML格式 04F0F334-1335-436C-A1D7-6C044FE73368 i-uf68t1zu3jkhs8wyxhil cn-shanghai running 2018-05-28T02:59:44.000Z false NoSpot system centos_7_02_64_20G_alibase_20170818.vhd public_cloud Compute 2 4096 0 0 0 0 JSON格式 { "RequestId": "04F0F334-1335-436C-A1D7-6C044FE73368", "Nodes": { "NodeInfo" : [ { "Id": "i-uf68t1zu3jkhs8wyxhil", "RegionId": "cn-shanghai", "Status": "running", "AddTime": "2018-05-28T02:59:44.000Z", "Expired": false, "SpotStrategy": "NoSpot", "LockReason": "", "ImageOwnerAlias": "system", "ImageId": "centos_7_02_64_20G_alibase_20170818.vhd", "Location": "public_cloud", "TotalResources": { "Cpu": 2, "Memory": 4096, "Gpu": 0 }, "UsedResources": { "Cpu": 0, "Memory": 0, "Gpu": 0 } } ] } } 错误码 查询 E-HPC 接口错误码请访问 错误码。更多错误码,请访问 API 错误中心。 批量重置计算节点。 描述 批量重置集群中的计算节点,在重置计算节点前,您可以: 调用 ListRegions 查询可用地域列表 调用 DescribeCluster 查询指定集群信息 请求参数 名称 类型 是否必需 默认值 描述 Action String 是 - 操作接口名,系统规定参数,取值:ResetNodes。 RegionId String 是 - 地域 ID。 ClusterId String 是 - 集群 ID。 Instance.n.Id String 是 - 第 n 个(n 从 1 开始编号,可以有多条)要重置的节点实例 ID。 返回参数 公共参数,了解更多请参阅 公共参数。 示例 请求示例 https://ehpc.cn-hangzhou.aliyuncs.com/?Action=ResetNodes&RegionId=cn-hangzhou&ClusterId=<集群ID>&Instance.1.Id=<实例ID>&Instance.2.Id=<实例ID>&<公共请求参数> 返回示例 XML格式 04F0F334-1335-436C-A1D7-6C044FE73368 JSON格式 { "RequestId": "04F0F334-1335-436C-A1D7-6C044FE73368" } 错误码 查询 E-HPC 接口错误码请访问 错误码。更多错误码,请访问 API 错误中心。 启动集群中节点列表。 描述 在停止集群中节点实例(StopNodes)后,可以批量启动集群中节点实例。 请求参数 名称 类型 是否必需 默认值 描述 Action String 是 - 操作接口名,系统规定参数,取值:StartNodes。 RegionId String 是 - 地域 ID。 ClusterId String 是 - 集群 ID。 Instance.n.Id String 是 - 第 n 个(n 从 1 开始编号,可以有多条)要移除的节点实例 ID。 Role String 否 Compute 节点角色,可选项包括 Manager:管控节点,Login:跳板机,Compute:计算节点。 返回参数 公共参数,了解更多请参阅 公共参数。 示例 请求示例 https://ehpc.cn-hangzhou.aliyuncs.com/?Action=StartNodes&RegionId=cn-hangzhou&ClusterId=<集群ID>&Instance.1.Id=<实例ID>&Instance.2.Id=<实例ID>&<公共请求参数> 返回示例 XML格式 04F0F334-1335-436C-A1D7-6C044FE73368 JSON格式 { "RequestId": "04F0F334-1335-436C-A1D7-6C044FE73368" } 错误码 查询 E-HPC 接口错误码请访问 错误码。更多错误码,请访问 API 错误中心。 停止集群中节点列表。 描述 批量停止集群中节点实例,在停止节点实例后,可以使用 StartNodes 接口来重新启动节点实例。 请求参数 名称 类型 是否必需 默认值 描述 Action String 是 - 操作接口名,系统规定参数,取值:StopNodes。 RegionId String 是 - 地域 ID。 ClusterId String 是 - 集群 ID。 Instance.n.Id String 是 - 第 n 个(n 从 1 开始编号,可以有多条)要移除的节点实例 ID。 Role String 否 Compute 节点角色,可选项包括 Manager:管控节点,Login:跳板机,Compute:计算节点。 返回参数 公共参数,了解更多请参阅 公共参数。 示例 请求示例 https://ehpc.cn-hangzhou.aliyuncs.com/?Action=StopNodes&RegionId=cn-hangzhou&ClusterId=<集群ID>&Instance.1.Id=<实例ID>&Instance.2.Id=<实例ID>&<公共请求参数> 返回示例 XML格式 04F0F334-1335-436C-A1D7-6C044FE73368 JSON格式 { "RequestId": "04F0F334-1335-436C-A1D7-6C044FE73368" } 错误码 查询 E-HPC 接口错误码请访问 错误码。更多错误码,请访问 API 错误中心。 按队列查询节点信息。 描述 按队列分组查询用户账户下单个集群的节点信息。 请求参数 名称 类型 是否必需 默认值 描述 Action String 是 - 操作接口名,系统规定参数,取值:ListNodesByQueue。 ClusterId String 是 - 集群ID。 RegionId String 是 - 地域 ID。 QueueName String 是 - 队列名。 PageNumber int 否 1 显示的页码,起始值为 1。 PageSize int 否 10 每页显示的条数,1-50。 返回参数 除公共返回参数外返回如下结果: 名称 类型 描述 Nodes Array 节点信息数组。 TotalCount Integer 列表条目总数。 PageNumber Integer 当前页码。 PageSize Integer 本页条数。 其中,NodeInfo 结构包含以下字段: 名称 类型 描述 AddTime Date 加入集群时间。 CreateMode String 节点是如何创建的,manual 手动扩容, autoscale 自动扩容 HostName String 主机名称。 Id String 节点实例 ID。 ImageId String 镜像 ID。 ImageOwnerAlias String 镜像类型,system、self、others 或 marketplace。 InstanceInfo String 实例详细信息。 IpInfo String IP详细信息。其中包含:PrivateIpAddress和PublicIpAddress两种。 Location String 节点所在位置,是本地节点 OnPremise 还是公共云上节点 PublicCloud 。 LockReason String 节点被锁定类型,默认返回为空字符串。 SpotStrategy String 后付费实例的竞价策略。 Status String 节点状态。 TotalResources Struct 资源总量。 UsedResources Struct 计算节点资源使用量,其他类型节点返回值为空。 VSwitchId String 虚拟交换机ID。 VpcId String 专有网络ID。 ZoneId String 实例可用区ID。 其中,计算节点资源 ResourceType 结构包含以下字段: 名称 类型 描述 Cpu Integer CPU资源总量,单位:核。 Memory Integer 内存资源总量,单位:GB。 Gpu Integer GPU资源总量,单位:卡。 节点状态 Status 的可能取值: 取值 描述 Uninit 未初始化 Init 初始化中 Ready 空闲 Running 运行中 Exception 异常 示例 请求示例 https://ehpc.cn-hangzhou.aliyuncs.com/?Action=ListNodesByQueue&RegionId=cn-hangzhou&ClusterId=<集群ID>&QueueName=workq&<公共请求参数> 返回示例 XML格式 1 3 50 5457B047-AC0A-4C75-B212-59759E38810F m-bpcccccccccccccccekw4cd 170.6.1.208 2 16384 m-bpcccccccccccccccccccc2ekw4cd cn-hangzhou-g true adb22432-ccccccccccccccccccccc219f784bfc7 2 16384 true sg-bp1ecccccccccoi6dtz linux CentOS 7.2 64位 vpc compute0 2019-04-22T11:53Z none cn-hangzhou false 2099-12-31T15:59Z ecs.r5 i-bpccccccccc9v788g 00:16:3e:11:8e:dd 172.16.1.208 eni-bp1ccccccccccccccueuoggzn5 0 PayByTraffic NoSpot Not-applicable 0 172.16.1.208 vsw-bp16ccccccccced144r vpc-bp1ccccccccq4txlicvt 0 2019-04-22T14:29Z ehpc-hz-5ccccc28c_compute0 CentOS 7.2 64 bit ecs.r5.large Running false PostPaid 0 public_cloud cn-hangzhou-g self vsw-bpccccccz6ted144r compute0 NoSpot manual vpc-bcccccccccubaq4txlicvt 0 0 running i-bp1ccccccv6e9v788g 2019-04-22T11:53:01.000Z JSON格式 { "PageNumber": 1, "TotalCount": 3, "PageSize": 50, "RequestId": "5457B047-AC0A-4C75-B212-59759E38810F", "Nodes": { "NodeInfo": [ { "ImageId": "m-bpcccccccccccccccekw4cd", "IpInfo": { "PrivateIpAddress": { "IpAddress": [ "100.16.1.208" ] }, "PublicIpAddress": { "IpAddress": [ "" ] } }, "TotalResources": { "Cpu": 2, "Memory": 16384 }, "InstanceInfo": { "ImageId": "m-bpcccccccccccccccccccc2ekw4cd", "VlanId": "", "EipAddress": { "IpAddress": "", "AllocationId": "", "InternetChargeType": "" }, "ZoneId": "cn-hangzhou-g", "IoOptimized": true, "SerialNumber": "adb22432-ccccccccccccccccccccc219f784bfc7", "Cpu": 2, "Memory": 16384, "DeviceAvailable": true, "SecurityGroupIds": { "SecurityGroupId": [ "sg-bp1ecccccccccoi6dtz" ] }, "SaleCycle": "", "AutoReleaseTime": "", "ResourceGroupId": "", "OSType": "linux", "OSName": "CentOS 7.2 64位", "InstanceNetworkType": "vpc", "HostName": "compute0", "CreationTime": "2019-04-22T11:53Z", "EcsCapacityReservationAttr": { "CapacityReservationPreference": "none", "CapacityReservationId": "" }, "RegionId": "cn-hangzhou", "DeletionProtection": false, "OperationLocks": { "LockReason": [] }, "ExpiredTime": "2099-12-31T15:59Z", "InnerIpAddress": { "IpAddress": [] }, "InstanceTypeFamily": "ecs.r5", "InstanceId": "i-bpccccccccc9v788g", "NetworkInterfaces": { "NetworkInterface": [ { "MacAddress": "00:16:3e:11:8e:dd", "PrimaryIpAddress": "172.16.1.208", "NetworkInterfaceId": "eni-bp1ccccccccccccccueuoggzn5" } ] }, "InternetMaxBandwidthIn": 0, "CreditSpecification": "", "InternetChargeType": "PayByTraffic", "SpotStrategy": "NoSpot", "StoppedMode": "Not-applicable", "InternetMaxBandwidthOut": 0, "VpcAttributes": { "NatIpAddress": "", "PrivateIpAddress": { "IpAddress": [ "172.16.1.208" ] }, "VSwitchId": "vsw-bp16ccccccccced144r", "VpcId": "vpc-bp1ccccccccq4txlicvt" }, "SpotPriceLimit": 0, "StartTime": "2019-04-22T14:29Z", "InstanceName": "ehpc-hz-5ccccc28c_compute0", "Description": "", "OSNameEn": "CentOS 7.2 64 bit", "PublicIpAddress": { "IpAddress": [] }, "InstanceType": "ecs.r5.large", "Status": "Running", "Recyclable": false, "ClusterId": "", "GPUSpec": "", "InstanceChargeType": "PostPaid", "GPUAmount": 0, "DedicatedHostAttribute": { "DedicatedHostId": "", "DedicatedHostName": "" }, "DeploymentSetId": "" }, "Location": "public_cloud", "ZoneId": "cn-hangzhou-g", "ImageOwnerAlias": "self", "VSwitchId": "vsw-bpccccccz6ted144r", "HostName": "compute0", "SpotStrategy": "NoSpot", "CreateMode": "manual", "VpcId": "vpc-bcccccccccubaq4txlicvt", "UsedResources": { "Cpu": 0, "Memory": 0 }, "Status": "running", "Id": "i-bp1ccccccv6e9v788g", "LockReason": "", "AddTime": "2019-04-22T11:53:01.000Z" }, ] } } 错误码 查询 E-HPC 接口错误码请访问 错误码。更多错误码,请访问 API 错误中心。 更新队列配置信息。 描述 为集群中的队列更新资源组和计算节点实例的信息。 请求参数 字段 类型 是否必须 默认值 描述 Action String 是 - 操作接口名,系统规定参数,取值:UpdateQueueConfig ClusterId String 是 - 集群ID RegionId String 是 - 地域ID QueueName String 是 - 任务队列名 ResourceGroupId String 是 - 资源组ID ComputeInstanceType String 否 - 计算节点实例类型 返回参数 返回公共返回参数。 示例 请求示例 https://ehpc.cn-hangzhou.aliyuncs.com/?Action=UpdateQueueConfig&RegionId=cn-hangzhou&ClusterId=<集群ID>&QueueName=workq&ResourceGroupId=<资源组ID>&<公共请求参数> 返回示例 XML格式 5198C3E8-85F5-4280-8547-687C1710FE08 JSON格式 { "requestId": "5198C3E8-85F5-4280-8547-687C1710FE08", } 错误码 查询E-HPC接口错误码请访问 错误码。更多错误码,请访问 API 错误中心。
1934890530796658 2020-03-23 18:25:01 0 浏览量 回答数 0

回答

参照:1、直接附加存储:DAS表示直接连接到PC或服务器,典型地使用USB 2.0或USB 3.0外设端口存储设备。DAS的一个缺点是,你需要做的临时或批量备份数据复制,这意味着它们可能包含了过期版本的文件。2、网络连接存储:NAS设备是直接连接到网络的存储设备。它具有一个文件服务器的服务员能力和接受多个存储驱动器。冗余是在RAID功能的形式提供的,因为NAS支持多种文件协议的工作直接台式机和笔记本电脑。一些NAS型号提供给选定文件夹或卷与支持能力的第二,远程NAS同步的能力。3、灾难保护的存储:顾名思义,灾难保护存储-这可以进来DAS或NAS的形式-硬化针对就会容易被破坏不受保护的数据灾难的类型。例如,ioSafe说,它的灾难保护的存储设备可以承受火长达30分钟,并在水中完全沉浸了好几天。4、在线存储:虽然它可能似乎直观地把所有在线存储同一类别,其实有两种不同类型的产品的。有些人,如亚马逊简单存储服务(S3),作为存储设备的亚马逊弹性云计算平台云版本。此外,还有旨在帮助消费者和企业存储或云中的备份数据在线存储。5、私有云:不舒服的把他们的数据在第三方公共云供应商手中,一些企业已经采取措施来建立云服务的士兵的版本,以获得一些电力和灵活性的固有优势。虽然这曾经是出小企业的覆盖面,创新意味着小企业可能尚未能够进军私有云存储。
AI事儿 2019-12-02 01:58:41 0 浏览量 回答数 0

问题

DDL列的类型和属性是什么?

在DDL中,建表时一列的定义是:col_name type [NOT NULL | NULL] [DEFAULT default_value] [PRIMARY KEY] [COMMENT 'string...
nicenelly 2019-12-01 21:25:11 903 浏览量 回答数 0

问题

列的类型和属性是什么?

在DDL中,建表时一列的定义是:col_name type [NOT NULL | NULL] [DEFAULT default_value] [PRIMARY KEY] [COMMENT 'string...
nicenelly 2019-12-01 21:10:35 1129 浏览量 回答数 0
阿里云企业服务平台 陈四清的老板信息查询 上海奇点人才服务相关的云产品 爱迪商标注册信息 安徽华轩堂药业的公司信息查询 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 天籁阁商标注册信息 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 北京芙蓉天下的公司信息查询