• 关于 区域数据如何搭建 的搜索结果

问题

RDS专业问题,请技术大神解答下,

aiya 2019-12-01 21:56:40 4537 浏览量 回答数 1

问题

全站HTTPS 基于阿里云OSS的Wordpress博客云储存方案

51干警网 2019-12-01 21:33:28 2537 浏览量 回答数 1

问题

阿里云服务器 如何处理网站高并发流量问题?(含教程)

元芳啊 2019-12-01 21:54:35 1511 浏览量 回答数 1

海外云虚拟主机包年25元/月起

海外独享虚拟主机全面上线,助力构建海外网站,提升公司国际形象;全球有效覆盖,超高性价比;建站入门首选,助力出口,适合跨境贸易企业。

问题

OSS如何实现快速搭建移动应用直传服务(一)?

青衫无名 2019-12-01 21:38:28 1224 浏览量 回答数 0

回答

高可用架构部署方案 高可用架构提供业务分发、弹性扩展、多可用区部署等功能。相较于使用单台ECS实例部署数据库与应用,高可用架构只需简单部署,并且拥有更高的稳定性和可扩展性。 高可用架构特点 高可用架构具有如下特点: 使用多可用区高可用版的负载均衡SLB(Server Load Balancer)对多台云服务器ECS进行流量分发,可扩展应用系统对外服务能力、消除单点故障,提升应用系统的可用性。使用SLB自动跨可用区部署,可加强业务容灾能力。 通过自定义镜像,可以迅速复制出相同应用部署的云服务器ECS实例,之后将实例添加到SLB后端服务器组中,实现业务高可用。SLB可以同时配置四层和七层监听,及轮循、加权轮循、加权最小连接数等多种算法,合理分配后端ECS计算资源。 使用云数据库RDS(Relational Database Service),针对高并发场景进行特殊优化,同时引入线程池、并行复制、隐含主键等功能保证系统持续稳定和高吞吐。云数据库CloudDBA具有完备的性能监控数据,实时监控实例硬件使用指标、慢SQL,并给出各种优化建议,帮您快速定位并解决问题。 部署流程 假设您已拥有一台ECS实例,并且在该实例上部署了数据库与应用,您可以将单实例部署方式转变为单可用区或多可用区高可用架构。本教程指导您如何使用ECS、EIP、SLB和RDS产品来部署多可用区高可用架构。 高可用结构图 使用自定义镜像,部署多台相同配置的ECS实例。详情请参见复制ECS实例。 创建负载均衡SLB实例,将实例添加到SLB后端服务器组中,用于跨可用区挂载ECS实例,实现业务的高可用性。详情请参见配置SLB实例。 使用DTS将ECS实例上的自建数据库迁移至RDS实例,保障业务数据库不中断,自动备份保障数据不丢失。详情请参见迁移自建数据库至RDS实例。 复制ECS实例为了支持跨可用区容灾部署,本教程使用源实例的自定义镜像复制出三台ECS实例。一台与源实例位于同一可用区,两台与源实例位于同一地域下的不同可用区。 前提条件 已注册阿里云账号。如还未注册,请先完成账号注册。 已拥有待复制的源ECS实例。 操作步骤 为ECS实例创建自定义镜像。 登录ECS管理控制台。 在左侧导航栏,单击实例与镜像 > 实例。 在顶部状态栏处,选择地域。 找到目标实例。在操作列中,单击更多 > 磁盘和镜像 > 创建自定义镜像。 输入镜像名称和描述信息。 单击创建。 说明 创建镜像需要一段时间,请您耐心等待。 在左侧导航栏,单击实例与镜像 > 镜像。当目标镜像的进度为100%、状态为可用时,表示镜像创建成功。自定义镜像 使用自定义镜像创建3台ECS实例。 在左侧导航栏,单击实例与镜像 > 镜像。 在自定义镜像页面,找到上一步创建的自定义镜像,在操作列,单击创建实例。 在自定义购买页面,镜像区域已设置为您选择的自定义镜像。根据页面提示,完成其他配置项并购买1台ECS实例。 其中: 地域:选择与源实例相同的地域。 可用区:选择与源实例相同的可用区。 公网带宽:取消勾选分配公网IPv4地址。 更多配置详情,请参见使用向导创建实例。 重复第i步和第ii步。在自定义购买页,镜像区域已设置为您选择的自定义镜像。根据页面提示,完成其他配置项并购买2台实例。 其中: 地域:选择与源实例相同的地域。 可用区:选择与源实例不同的可用区。 实例区域:设置购买实例数量为2。 公网带宽区域:取消勾选分配公网IPv4地址。 更多配置详情,请参见使用向导创建实例。 执行结果 在左侧导航栏,单击实例与镜像 > 实例。在实例列表页面,四台ECS实例的状态均为运行中,可用区两两相同。 ecs_instances 配置SLB实例 ECS实例复制完成后,在支持多可用区的地域创建负载均衡SLB实例,用于跨可用区挂载ECS实例,扩展应用系统对外服务能力、消除单点故障,提升应用系统的可用性。本文介绍SLB实例的部署方法。 前提条件 已复制三台ECS实例,详情请参见复制ECS实例。 四台ECS实例的Web服务均已启动并正常运行。 注意 若Web服务未运行,则SLB实例与ECS实例之间无法正常通信。 操作步骤 创建SLB实例。具体操作,请参见创建负载均衡实例。 本教程使用的配置如下: 地域:必须与ECS实例位于同一地域。 可用区类型:选择多可用区。 实例类型:选择私网。 网络类型:选择专有网络。 主可用区和备可用区:按需配置。 create_slb 将源实例的公网IP转换为弹性公网IP。具体操作,请参见专有网络公网IP转换为弹性公网IP。 说明 为避免影响业务,需保证源实例IP地址不变。因此,需要先将源实例的公网IP转换为弹性公网IP,与源实例解绑后,再将其绑定至高可用版SLB实例上。 ip_eip 解绑源实例与弹性公网IP。 在源实例的IP地址列,单击弹性IP地址链接。 click_eip 在弹性公网IP页面,单击解绑。 unbindEIP 单击确定。更多详情,请参见解绑EIP。 绑定弹性公网IP至SLB实例。 在弹性公网IP页面,找到与源实例解绑后的弹性公网IP。 bindEIP 在操作列,单击绑定。 实例类型选择SLB实例,SLB实例选择刚创建的SLB实例,单击确定。更多详情,请参见绑定SLB实例。 配置SLB实例。具体操作,请参见配置负载均衡实例。 基本配置如下: 在协议&监听页签,完成以下配置。 负载均衡协议:选择TCP。 监听端口:输入80。 调度算法:按需选择。本教程选择轮询。 其他配置使用默认值。 configure_slb 单击下一步。在后端服务器页签,选择默认服务器组,单击继续添加添加ECS实例。 addEcsInstance 勾选源实例和已复制的三台ECS实例,单击下一步:配置权重和端口号。端口配置为80,其他值保持默认,单击下一步。 configure_ports 在健康检查页签,使用默认值,单击下一步。 在配置审核页签,核对信息后,单击提交。 单击确定,返回实例管理页面,单击refresh。 当健康检查状态为正常时,表示后端ECS实例可以正常处理负载均衡转发的请求了。 说明 健康检查需要几分钟时间,请您耐心等待并单击刷新图标查看状态。 health_check 执行结果 为方便测试,本教程分别在四台ECS实例上搭建了静态网页,以标识每台ECS实例。在浏览器中输入负载均衡实例的服务地址,测试负载均衡服务。由于调度算法为轮询,请求会轮流发往每台ECS实例。 slb_test 迁移自建数据库至RDS实例 将源ECS实例上的数据库迁移至高可用版云数据库RDS,可实现数据库服务的高可用性、高可靠性、高安全性和高易用性。本教程以MySQL数据库为例,介绍如何使用DTS将ECS实例上的自建数据库迁移至RDS实例。 前提条件 已配置SLB实例,详情请参见配置SLB实例。 已创建高可用版RDS实例。如未创建,请参见创建RDS for MySQL实例。 已为RDS实例创建账号。如未创建,请参见创建账号和数据库。 已为ECS实例上的自建数据库创建非root账号,用于DTS迁移。 例如,您可以运行以下命令为MySQL数据库创建名为dts、密码为123456的账号。 grant all on . to 'dts'@'%' IDENTIFIED BY '123456'; 背景信息 DTS提供的数据迁移功能能够支持同异构数据源之间的数据迁移,同时提供了库表列三级映射、数据过滤多种ETL特性。您可以使用DTS进行零停机迁移,在迁移过程中,源数据库正常持续提供服务,最大程度降低迁移对业务的影响。DTS支持的数据库类型请参见数据迁移。 操作步骤 登录数据传输DTS控制台。 在左侧导航栏,选择数据迁移。 选择目标RDS实例所在地域,并单击创建迁移任务。 配置迁移任务。 配置任务名称。 您可以使用默认的名称或者自定义名称。 配置源库信息。 DTS支持通过公网、VPN网关、专线及智能网关访问的自建数据库。本教程使用的源数据库为ECS实例上的自建数据库。其他类型数据库的迁移方案,请参见DTS用户手册。 参数名称 描述 实例类型 ECS上的自建数据库。 实例地区 源ECS实例所在地域。 ECS实例ID 源ECS实例的实例ID。DTS支持经典网络及专有网络的ECS实例。 数据库类型 源ECS实例上自建数据库的类型。本示例中,数据库类型为MySQL。 端口 MySQL数据库监听的端口号。 数据库账号 源ECS实例上MySQL数据库的非root账号。 说明 数据库账号必须填写非root账号,否则测试连接时会报错。 数据库密码 非root账号对应的密码。 单击源库信息右下角的测试连接。 当返回的结果为测试通过时,表示源库连接正常。 配置目标库信息。 参数名称 参数值 实例类型 RDS实例。 实例地区 RDS实例所在地域。 RDS实例ID RDS实例的实例ID。 数据库账号 RDS实例的账号。 为RDS实例创建账号,请参见创建账号和数据库。 说明 数据库账号必须填写非root账号,否则测试连接时会报错。 数据库密码 账号对应的密码。 单击目标库信息右下角的测试连接。 当返回的结果为测试通过时,表示目标库连接正常。 单击授权白名单并进入下一步。 配置迁移类型及迁移对象。 配置迁移类型。 业务零停机迁移,请选择:结构迁移+全量数据迁移+增量数据迁移。 全量迁移,请选择:结构迁移+全量数据迁移。 配置迁移对象。 在迁移对象框中单击要迁移的数据库对象,如数据库、表或列,然后单击>添加到已选择对象框中。 说明 默认情况下,数据库对象迁移到ECS自建MySQL实例后,对象名跟本地MySQL实例一致。如果迁移的数据库对象在源实例跟目标实例上名称不同,您需要使用DTS提供的对象名映射功能,详情请参见库表列映射。 单击预检查并启动。 在迁移任务正式启动之前,会预检查连通性、权限及日志格式等。下图表示预检查成功通过。 precheck 预检查通过后,您可以在迁移任务列表中查看迁移任务的迁移状态及进度。 task_result 后续步骤 在应用程序中配置RDS实例的连接地址和账号密码,以连接到RDS实例。您还可以使用数据管理服务DMS(Data Management Service)或客户端管理RDS实例。具体操作,请参见连接MySQL实例。

1934890530796658 2020-03-25 19:18:04 0 浏览量 回答数 0

回答

当您拥有一台或多台DDH时,您可以在DDH上创建对应规格的ECS实例。 前提条件 在指定的DDH上创建ECS实例前,您必须先完成以下工作。 创建DDH。详细步骤,请参见创建DDH。 完成实名认证。 如果要创建按量付费ECS实例,账户余额不能少于100元人民币。充值详情,请参见如何充值付款。 在DDH所在地域里,搭建IPv4专有网络,详情请参见搭建IPv4专有网络。 如果不使用系统自动创建的默认安全组,必须在目标地域创建一个安全组并添加满足您业务需求的安全组规则。具体步骤,请参见创建安全组和添加安全组规则。 创建Linux实例时如果要绑定SSH密钥对,必须在目标地域创建一个SSH密钥对,详情请参见创建SSH密钥对。 如果要设置自定义数据,必须准备实例自定义数据,详情请参见实例自定义数据。 如果要让实例扮演某个角色,必须创建实例RAM角色并授权,详情请参见通过控制台使用实例 RAM 角色。 背景信息 在DDH上只能创建VPC类型ECS实例。DDH上的ECS实例与共享宿主机上ECS实例的功能差异,请参见ECS实例功能对比。 操作步骤 登录ECS管理控制台。 在左侧导航栏,单击实例与镜像 > 专有宿主机 DDH。 在顶部状态栏处,选择地域。 找到待创建ECS实例的DDH,在操作列,单击创建实例。 完成基础配置。 选择专有宿主机。 默认是您选中的DDH。您可以更换专有宿主机。 设置关联宿主机。 选中关联宿主机:已停机释放资源的实例再次启动时,依然会部署在当前DDH上。若当前DDH可用资源不足,则实例启动失败。 取消勾选关联宿主机:已停机释放资源的实例再次启动时,若当前DDH可用资源不足,则系统自动选择您账号下其他满足自动部署条件的DDH部署实例。更多详情,请参见关联宿主机功能介绍。 选择计费方式。 根据DDH的计费方式选择ECS实例的计费方式。您可以在包年包月DDH上创建包年包月或者按量付费的ECS实例。 说明 如果要创建按周付费的ECS实例,必须选择包年包月,并将页面底部的购买周期设置为1周。ECS实例各计费方式的区别,请参见计费对比。 确认地域。 ECS实例的地域及可用区与DDH相同。 选择实例规格并设置实例数量。 可供选择的实例规格由DDH的主机规格及剩余资源决定。宿主机规格详情,请参见宿主机规格。 选择镜像。 您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。如何选择镜像,请参见选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详情请参见实例自定义数据支持的镜像。 选择存储。 系统盘(必选):用于安装操作系统。请指定系统盘的云盘类型和容量。 云盘类型:当前地域可供选择的所有云盘类型。 容量:系统盘默认容量为40GiB,最大为500GiB。如果选择的镜像文件大于40GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 操作系统 系统盘容量 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500]GiB CoreOS [max{30, 镜像文件大小}, 500]GiB Windows [max{40, 镜像文件大小}, 500]GiB 数据盘:若添加数据盘,必须选择云盘类型、容量、数量,并选择是否加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i2),这里会显示实例规格对应的本地盘信息,不可配置。本地盘实例规格对应的本地盘信息,请参见实例规格族。 单击下一步:网络和安全组。 完成网络和安全组设置。 选择网络。 只能选择专有网络,并选择一个专有网络和交换机。如果您没有创建专有网络和交换机,可以使用默认专有网络和默认交换机。 设置公网带宽。 如果要为实例分配一个公网IP地址,必须选中分配公网IP地址,再选择按使用流量或按固定带宽 进行公网带宽计费,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见公网带宽计费。 如果您的实例不需要访问公网或者要使用弹性公网IP(EIP)地址访问公网,不能选择分配公网IP地址。 选择安全组。 所选安全组中的规则必须满足您的业务需求。 说明 如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见默认安全组规则。 添加弹性网卡。 如果所选实例规格支持弹性网卡,您可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以在ECS控制台或者使用DetachNetworkInterface接口分离实例和网卡。 单击下一步:系统配置。 可选: 完成系统配置。 选择并设置登录凭证。 您可以直接设置,也可以选择创建后设置。根据镜像的操作系统,选择登录凭证。 Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称及主机名。 设置高级选项。 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例的启动行为或者向实例传入数据。 单击下一步:分组设置。 可选: 完成分组设置。 如果您有多台实例,为了方便管理,建议您为实例添加标签。 如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,您可以按资源组管理实例。 确认订单并创建实例。 在所选配置区域,确认配置信息。 您可以单击图标重新编辑配置。 如果ECS实例计费方式为按量付费,可以设置自动释放服务时间。 如果ECS实例计费方式为包年包月,可以设置购买时长,并选择是否开启自动续费。 说明 包年包月ECS实例的购买时长终点不能晚于包年包月DDH计费时长的终点。 确认配置费用。这时显示的费用包括系统盘、数据盘(如果有)和公网带宽的费用。 阅读并确认云服务器ECS服务条款。 单击创建实例。 执行结果 实例创建后,单击管理控制台回到ECS管理控制台查看新建的ECS实例。在相应地域的实例列表中,您能查看新建实例的实例ID、公网IP地址、私有IP地址等信息。如果您已经设置了实例列表的自定义列表项,您还可以看到ECS实例的宿主机信息。 说明 设置自定义列表项的步骤,请参见在不同DDH之间迁移ECS实例。 后续步骤 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见Linux操作系统加固。 Windows实例,请参见Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见Linux格式化数据盘或Windows格式化数据盘。

1934890530796658 2020-03-30 15:00:18 0 浏览量 回答数 0

问题

云服务器ECS【问答合集】

马铭芳 2019-12-01 20:19:32 18617 浏览量 回答数 6

问题

云服务器ECS【问答合集】

游客886 2019-12-01 21:30:13 1366 浏览量 回答数 0

回答

如何选配置? [选型推荐-核算您需要什么配置的服务器] http://www.aliyun.com/promotion/bijia?spm=5176.383518.0.57.jDuuqz 如何选带宽? [带宽常见问题]http://help.aliyun.com/guide?spm=5176.383377.0.64.0ocz6Y&helpId=1504 相关链接: [论坛经验-从零入门新手速成] http://bbs.aliyun.com/read.php?tid=138210 [论坛经验-看看其它人都选了什么配置?] http://bbs.aliyun.com/read.php?tid=133272 [论坛经验-如何选择配置和带宽?] http://bbs.aliyun.com/read.php?tid=135619&displayMode=1#377610 ------------------------- 如何选节点? 当前可选区域: 华东杭州节点        华东青岛节点 相关FAQ:Q:华东青岛节点是什么线路? A:华东青岛节点和华东杭州节点都是一样采用BGP多线接入,采用绿色节能多线路机房,中国电信、联通、教育网等多线接入,保证全国用户高速访问。价格都是一样的。 Q:我申请试用之后,再去购买服务器,后期想更换下节点,可以吗? A:试用的服务器默认在青岛节点,试用后转正购买云服务器不可以更换节点。所以您在提交试用转正订单前,请慎重选择。 相关链接: [官方教程-区域选择帮助]http://bbs.aliyun.com/read.php?spm=0.0.0.0.PTJkXc&tid=130553 ------------------------- 如何选操作系统? 1. Windows 1) 系统内含正版激活2) 适合于运行windows下开发的程序,如.net等3) 支持SQL Server等数据库(需自行安装)4) 可以使用远程桌面方式登录进行管理 2.Linux 1) 最流行的服务器端操作系统,强大的安全性和稳定性2) 免费且开源,轻松建立和编译源代码3) 通过SSH方式远程访问您的云服务器4) 一般用于高性能web等服务器应用,支持常见的PHP/Python等编程语言,支持MySQL等数据库(需自行安装) 相关链接: [官方教程-操作系统选择建议] http://bbs.aliyun.com/read.php?spm=0.0.0.0.Qm0jpI&tid=120515 [论坛经验-教程101之服务器系统选择]http://bbs.aliyun.com/read.php?tid=135791 ------------------------- 服务器如何搭建? [官方教程-服务器使用的基本教程]http://bbs.aliyun.com/read.php?tid=136480 [论坛经验-阿里云服务器从入门到精通,精华帖汇总] http://bbs.aliyun.com/read.php?tid=135619&displayMode=1#377612 ------------------------- 性能测试常见方法推荐[论坛经验-如何测试云服务器的磁盘 IO性能 CPU性能 和 带宽充裕程度性能]http://bbs.aliyun.com/read.php?tid=138865[论坛经验-小试用,大学问!菜鸟也要知道如何去试用之云服务器测评] http://bbs.aliyun.com/read.php?tid=138867[论坛经验-云服务器试用及评测(带unixbench跑分)]http://bbs.aliyun.com/read.php?tid=117031 [论坛经验-Linux硬盘网络等性能综合测试]http://bbs.aliyun.com/read.php?tid=7331 ------------------------- 备案那点儿事为了确保您的网站正常运行,您需要按照相关规定提交备案。您只需按指导手册逐步操作,并根据审核意见及时修正,以顺利通过备案。[官方教程-阿里云备案专题]http://www.aliyun.com/act/webbaindex.html?spm=0.0.0.0.uyYNuH[论坛经验-新手入门备案篇]http://bbs.aliyun.com/read.php?tid=135619&displayMode=1#377613 ------------------------- 试用体验 1、小伙子网          网址:www.xiaohuozi365.com     客户感言:      页面打开很快,网站成员和读者都很满意。阿里云的工单方式比起传统IDC和机房封闭式的霸道管理人性化了很多,另外在解决问题时客户的电话很及时。希望网站在阿里云上能发展的更好。另外一个服务器可以放多个网站,解决我们公司的需求。 2、萝莉盒      网址:www.lolitabox.com       客户感言:      通过阿里云服务器的控制台,可以很方便的监测到系统中的状态信息,CPU、I/O、带宽的使用情况都可以及时的了解到,当做推广活动时遇到的流量激增问题,可以通过阿里云的带宽弹性调整功能进行动态的设置,带宽成本可以很好的得到控制。3、缔梦无限      网址:http://blog.dreamoe.com      客户感言:      解决了服务租用和维护成本的问题,同时高度的可扩展性让我们也不用担心应对业务增长,让我们这样的创业团队把更多的精力放到业务拓展中去。       4、弘通围棋网      网址:http://www.hoetom.com/      客户感言:      云服务器是大势所趋,使我们可以把注意力集中在程序和数据上,解决了困扰我们多年的南北网络互联互通问题,不用再担心硬件设备的单点故障,不用再操心硬件资源的按需扩展。  5、玩艺儿      网址:www.gart360.com     客户感言:      使用阿里云的云服务器没有多久,不敢言过其实,但是事先考察过和阿里云齐名的大企业,阿里云的性价比最高,产品好不好只有使用了才知道,期待阿里云更出色的表现。 6、玩物尚志      网址:http://www.wanwushangzhi.cn/            客户感言:      很庆幸我们选择了阿里云服务器,整体架构搭建快速稳定,会员普遍反应访问顺畅,同时阿里云客服响应速度极快而且能有效解决问题。

qiujin2012 2019-12-02 01:14:41 0 浏览量 回答数 0

问题

OSS让你体验超大文件上传、下载,飞一般的感觉(新手必看)

聚小编 2019-12-01 20:29:02 14239 浏览量 回答数 4

问题

OSS一键开通CDN和实现域名设置上线完整体验

jack.cai 2019-12-01 20:59:14 14829 浏览量 回答数 4

问题

如何通过ECS快速搭建 ThinkPHP 框架

boxti 2019-12-01 21:45:01 1484 浏览量 回答数 0

问题

如何实现CDN加速OSS?

青衫无名 2019-12-01 21:38:48 1387 浏览量 回答数 0

回答

Ali-Tomcat 是 SAE 中的服务运行时可依赖的一个容器,它主要集成了服务的发布、订阅、调用链追踪等一系列的核心功能。无论是开发环境还是运行时,您均可将应用程序发布在该容器中。 Pandora 是一个轻量级的隔离容器,也就是 taobao-hsf.sar。它用来隔离应用和中间件的依赖,也用来隔离中间件之间的依赖。SAE 的 Pandora 中集成了服务发现、配置推送和调用链跟踪等各种中间件功能产品插件。您可以利用该插件对 EDAS 应用进行服务监控、治理、跟踪、分析等全方位运维管理。 本文介绍如何安装 Ali-Tomcat 和 Pandora,以及如何配置 Eclipse 和 IntelliJ IDEA 的开发环境。 安装 Ali-Tomcat 和 Pandora Ali-Tomcat 和 Pandora 为 SAE 中的服务运行时所依赖的容器,集成了服务的发布、订阅、调用链追踪等一系列心功能,应用程序须发布在该容器中运行。 注意 请使用 JDK 1.7及以上版本。 下载 Ali-Tomcat,保存并解压至相应的目录(如:d:\work\tomcat\)。 下载 Pandora 容器,保存并解压至 Ali-Tomcat 的 deploy 目录(d:\work\tomcat\deploy)下。 查看 Pandora 容器的目录结构。 Linux 系统中,在相应路径下执行 tree -L 2 deploy/ 命令查看目录结构。 d:\work\tomcat > tree -L 2 deploy/ deploy/ └── taobao-hsf.sar ├── META-INF ├── lib ├── log.properties ├── plugins ├── sharedlib └── version.properties Windows 中,直接进入相应路径进行查看。Pandora容器目录结构 如果您在安装和使用 Ali-Tomcat 和 Pandora 过程中遇到问题,请参见 Ali-Tomcat 问题和Pandora 问题 配置 Eclipse 开发环境 配置 Eclipse 需要下载 Tomcat4E 插件,并存放在安装 Ali-TomcatPandora 容器的保存路径中,完成配置后可以直接在 Eclipse 中发布、调试本地代码。 下载 Tomcat4E 插件 压缩包内容如下图所示。Tomcat4E 插件 打开 Eclipse,在菜单栏中选择Help > Install New Software 。 在 Install 对话框中 Work with 区域右侧单击 Add,且在弹出的 Add Repository 对话框中单击 Local,并在弹出的对话框中选中已下载并解压的 Tomcat4E 插件的目录(d:\work\tomcat4e\),单击 OK。 返回 Install 对话框,单击 Select All,并单击 Next。 后续步骤,请按界面提示操作。安装完成后,请重启 Eclipse,使 Tomcant4E 插件生效。 重启 Eclipse 后,在 Eclipse 菜单中选择 Run As > Run Configurations 。 选择左侧导航选项中的 AliTomcat Webapp,单击上方的 New launch configuration 图标。 在弹出的界面中,选择 AliTomcat页签,并在 taobao-hsf.sar Location 区域单击 Browse,选择本地的 Pandora 路径,如:d:\work\tomcat\deploy\taobao-hsf.sar。 单击 Apply 或 Run,完成设置。 一个工程只需配置一次,下次可直接启动。 查看工程运行的打印信息,如果出现下图 Pandora Container 的相关信息,即说明 Eclipse 开发环境配置成功。 edas-DG-pandora-success 配置 IntelliJ IDEA 开发环境 注意 目前仅支持 IDEA 商业版,社区版暂不支持。 运行 IntelliJ IDEA。 在菜单栏中选择 Run > Edit Configuration。 在 Run/Debug Configuration 页面左侧的导航栏中选择 Defaults > Tomcat Server > Local 。 配置 AliTomcat。 在右侧页面单击 Server 页签,并在 Application Server 区域单击 Configure。 在 Application Server 页面右上角单击 +,并在 Tomcat Server 对话框中设置 Tomcat Home 和 Tomcat base directory 路径,且单击 OK。 将 Tomcat Home 的路径设置为本地解压后的 Ali-Tomcat 路径,Tomcat base directory 可以自动使用该路径,无需再设置。 在 Application Server 区域的下拉菜单中,选择刚刚配置好的 Ali-Tomcat。 在 VM Options 区域的文本框中,设置 JVM 启动参数指向 Pandora 的路径。 列如:-Dpandora.location=d:\work\tomcat\deploy\taobao-hsf.sar 将d:\work\tomcat\deploy\taobao-hsf.sar 替换为在本地安装 Pandora 的实际路径。 单击 Apply 或 OK 完成配置。 介绍如何使用 SDK 快速开发 HSF 应用,完成服务注册与发现。 下载 Demo 工程 您可以按照本文的步骤一步步搭建工程,也可以直接下载本文对应的示例工程,或者使用 Git 下载: git clone https://github.com/aliyun/alibabacloud-microservice-demo.git。 该项目包含了众多示例工程,本文对应的示例工程位于 alibabacloud-microservice-demo/microservice-doc-demo/hsf-ali-tomcat,包含 itemcenter-api,itemcenter 和 detail 三个 Maven 工程文件夹。 itemcenter-api:提供接口定义 itemcenter:服务提供者 detail:消费者服务 说明 请使用 JDK 1.7 及以上版本。 定义服务接口 HSF 服务基于接口实现,当接口定义好之后,生产者将使用该接口实现具体的服务,消费者也基于此接口去订阅服务。 在 Demo 的 itemcenter-api 工程中,定义了一个服务接口 com.alibaba.edas.carshop.itemcenter.ItemService。 public interface ItemService { public Item getItemById(long id); public Item getItemByName(String name); } 该服务接口将提供两个方法:getItemById 与 getItemByName。 开发服务提供者 服务提供者将实现服务接口以提供具体服务。同时,如果使用了 Spring 框架,还需要在 xml 文件中配置服务属性。 说明 Demo 工程中的 itemcenter 文件夹为服务提供者的示例代码。 实现服务接口。 请参考 ItemServiceImpl.java 文件中的示例代码构建服务接口。 public class ItemServiceImpl implements ItemService { @Override public Item getItemById( long id ) { Item car = new Item(); car.setItemId( 1l ); car.setItemName( "Mercedes Benz" ); return car; } @Override public Item getItemByName( String name ) { Item car = new Item(); car.setItemId( 1l ); car.setItemName( "Mercedes Benz" ); return car; } } 服务提供者配置。 实现服务接口中实现了 com.alibaba.edas.carshop.itemcenter.ItemService,并在两个方法中返回了 Item 对象。代码开发完成之后,除了在 web.xml 中进行必要的常规配置,您还需要增加相应的 Maven 依赖,同时在 Spring 配置文件使用 标签注册并发布该服务。 在 pom.xml 中添加 Maven 依赖。 javax.servlet servlet-api 2.5 provided com.alibaba.edas.carshop itemcenter-api 1.0.0-SNAPSHOT org.springframework spring-web 2.5.6(及其以上版本) com.alibaba.edas edas-sdk 1.8.1 在 hsf-provider-beans.xml 文件中增加 Spring 关于 HSF 服务的配置。 interface=“com.alibaba.edas.carshop.itemcenter.ItemService" ref=“itemService" version=“1.0.0" 上面的示例为基本配置,您也可以根据您的实际需求,参考下面的生产者服务属性列表,增加其它配置。 属性 描述 interface 必须配置,类型为 [String],为服务对外提供的接口。 version 可选配置,类型为 [String],含义为服务的版本,默认为 1.0.0。 clientTimeout 该配置对接口中的所有方法生效,但是如果客户端通过 methodSpecials 属性对某方法配置了超时时间,则该方法的超时时间以客户端配置为准。其他方法不受影响,还是以服务端配置为准。 serializeType 可选配置,类型为 [String(hessian|java)],含义为序列化类型,默认为 hessian。 corePoolSize 单独针对这个服务设置核心线程池,从公用线程池中划分出来。 maxPoolSize 单独针对这个服务设置线程池,从公用线程池中划分出来。 enableTXC 开启分布式事务 GTS。 ref 必须配置,类型为 [ref],为需要发布为 HSF 服务的 Spring Bean ID。 methodSpecials 可选配置,用于为方法单独配置超时时间(单位 ms),这样接口中的方法可以采用不同的超时时间。该配置优先级高于上面的 clientTimeout 的超时配置,低于客户端的 methodSpecials 配置。 服务创建及发布存在以下限制: 名称 示例 限制大小 是否可调整 {服务名}:{版本号} com.alibaba.edas.testcase.api.TestCase:1.0.0 最大192字节 否 组名 HSF 最大32字节 否 单个 Pandora 应用实例发布的服务数 N/A 最大 800 个 可在应用基本信息页面单击应用设置部分右侧的设置,在下拉列表中选择JVM,在弹出的应用设置对话框中进入自定义 > 自定义参数,-DCC.pubCountMax=1200属性参数(该参数值可根据应用实际发布的服务数调整)。 服务提供者属性配置示例: <hsf:provider id="simpleService" interface="com.taobao.edas.service.SimpleService" ref="impl" version="1.0.1" clientTimeout="3000" enableTXC="true" serializeType="hessian"> hsf:methodSpecials <hsf:methodSpecial name="sum" timeout="2000" /> </hsf:methodSpecials> </hsf:provider> 开发服务消费者 消费者订阅服务从代码编写的角度分为两个部分。 Spring 的配置文件使用标签 hsf:consumer/ 定义好一个 Bean。 在使用的时候从 Spring 的 context 中将 Bean 取出来。 说明 Demo 工程中的 detail 文件夹为消费者服务的示例代码。 与生产者相同,消费者的服务属性配置分为 Maven 依赖配置与 Spring 的配置。 配置服务属性。 在 pom.xml 文件中添加 Maven 依赖。 javax.servlet servlet-api 2.5 provided com.alibaba.edas.carshop itemcenter-api 1.0.0-SNAPSHOT org.springframework spring-web 2.5.6(及其以上版本) com.alibaba.edas edas-sdk 1.8.1 在 hsf-consumer-beans.xml 文件中添加 Spring 关于 HSF 服务的配置。 增加消费者的定义,HSF 框架将根据该配置文件去服务中心订阅所需的服务。 id="item" interface="com.alibaba.edas.carshop.itemcenter.ItemService" version="1.0.0"> 服务消费者配置。 请参考 StartListener.java 文件中的示例进行。 public class StartListener implements ServletContextListener{ @Override public void contextInitialized( ServletContextEvent sce ) { ApplicationContext ctx = WebApplicationContextUtils.getWebApplicationContext( sce.getServletContext() ); // 根据 Spring 配置中的 Bean ID “item” 获取订阅到的服务 final ItemService itemService = ( ItemService ) ctx.getBean( "item" ); …… // 调用服务 ItemService 的 getItemById 方法 System.out.println( itemService.getItemById( 1111 ) ); // 调用服务 ItemService 的 getItemByName 方法 System.out.println( itemService.getItemByName( "myname is le" ) ); …… } } 上面的示例中为基本配置,您也可以根据您的实际需求,参考下面的服务属性列表,增加其它配置。 属性 描述 interface 必须配置,类型为 [String],为需要调用的服务的接口。 version 可选配置,类型为 [String],为需要调用的服务的版本,默认为1.0.0。 methodSpecials 可选配置,为方法单独配置超时时间(单位 ms)。这样接口中的方法可以采用不同的超时时间,该配置优先级高于服务端的超时配置。 target 主要用于单元测试环境和开发环境中,手动地指定服务提供端的地址。如果不想通过此方式,而是通过配置中心推送的目标服务地址信息来指定服务端地址,可以在消费者端指定 -Dhsf.run.mode=0。 connectionNum 可选配置,为支持设置连接到 server 连接数,默认为1。在小数据传输,要求低延迟的情况下设置多一些,会提升 TPS。 clientTimeout 客户端统一设置接口中所有方法的超时时间(单位 ms)。超时时间设置优先级由高到低是:客户端 methodSpecials,客户端接口级别,服务端 methodSpecials,服务端接口级别 。 asyncallMethods 可选配置,类型为 [List],设置调用此服务时需要采用异步调用的方法名列表以及异步调用的方式。默认为空集合,即所有方法都采用同步调用。 maxWaitTimeForCsAddress 配置该参数,目的是当服务进行订阅时,会在该参数指定时间内,阻塞线程等待地址推送,避免调用该服务时因为地址为空而出现地址找不到的情况。若超过该参数指定时间,地址还是没有推送,线程将不再等待,继续初始化后续内容。注意,在应用初始化时,需要调用某个服务时才使用该参数。如果不需要调用其它服务,请勿使用该参数,会延长启动时间。 消费者服务属性配置示例 <hsf:consumer id="service" interface="com.taobao.edas.service.SimpleService" version="1.1.0" clientTimeout="3000" target="10.1.6.57:12200?_TIMEOUT=1000" maxWaitTimeForCsAddress="5000"> hsf:methodSpecials <hsf:methodSpecial name="sum" timeout="2000" ></hsf:methodSpecial> </hsf:methodSpecials> </hsf:consumer> 本地运行服务 完成代码、接口开发和服务配置后,在 Eclipse 或 IDEA 中,可直接以 Ali-Tomcat 运行该服务(具体请参见安装及开发环境配置)。 在开发环境配置时,有一些额外 JVM 启动参数来改变 HSF 的行为,具体如下: 属性 描述 -Dhsf.server.port 指定 HSF 的启动服务绑定端口,默认值为 12200。 -Dhsf.serializer 指定 HSF 的序列化方式,默认值为 hessian。 -Dhsf.server.max.poolsize 指定 HSF 的服务端最大线程池大小,默认值为 720。 -Dhsf.server.min.poolsize 指定 HSF 的服务端最小线程池大小。默认值为 50。 -DHSF_SERVER_PUB_HOST 指定对外暴露的 IP,如果不配置,使用 -Dhsf.server.ip 的值。 -DHSF_SERVER_PUB_PORT 指定对外暴露的端口,该端口必须在本机被监听,并对外开放了访问授权,默认使用 -Dhsf.server.port 的配置,如果 -Dhsf.server.port 没有配置,默认使用12200。 本地查询 HSF 服务 在开发调试的过程中,如果您的服务是通过轻量级注册配置中心进行服务注册与发现,就可以通过 EDAS 控制台查询某个应用提供或调用的服务。 假设您在一台 IP 为 192.168.1.100 的机器上启动了 EDAS 配置中心。 进入 http://192.168.1.100:8080/ 在左侧菜单栏单击服务列表,输入服务名、服务组名或者 IP 地址进行搜索,查看对应的服务提供者以及服务调用者。 说明 配置中心启动之后默认选择第一块网卡地址做为服务发现的地址,如果开发者所在的机器有多块网卡的情况,可设置启动脚本中的 SERVER_IP 变量进行显式的地址绑定。 常见查询案例 提供者列表页 在搜索框中输入 IP 地址,单击搜索,即可查询该 IP 地址的物理机所提供的服务。 在搜索框中输入服务名或服务分组,即可查询提供该服务的 IP 地址。 调用者列表页 在搜索框中输入 IP 地址,单击搜索,即可查询该 IP 地址的物理机所调用的服务。 在搜索框中输入服务名或服务分组,即可查询调用该服务的 IP 地址。 部署到 SAE 本地使用轻量级配置及注册中心的应用可以直接部署到 SAE 中,无需做任何修改,注册中心会被自动替换为 SAE 上的注册中心。 正常打包出可供 EDAS-Container 运行的 WAR 包,需要添加如下的 Maven 打包插件 在 pom.xml 文件中添加以下打包插件的配置。 itemcenter org.apache.maven.plugins maven-compiler-plugin 3.1 执行 mvn clean package 将本地的程序打成 WAR 包。 应用运行时环境需要选择 EDAS-Container。 具体部署操作请参见应用部署概述。

1934890530796658 2020-03-27 12:56:58 0 浏览量 回答数 0

回答

Cromwell 是 Broad Institute 开发的工作流管理系统,当前已获得阿里云批量计算服务的支持。通过 Cromwell 可以将 WDL 描述的 workflow 转化为批量计算的作业(Job)运行。用户将为作业运行时实际消耗的计算和存储资源付费,不需要支付资源之外的附加费用。本文将介绍如何使用 Cromwell 在阿里云批量计算服务上运行工作流。 准备工作 A) 开通批量计算服务 要使用批量计算服务,请根据官方文档里面的指导开通批量计算和其依赖的相关服务,如OSS等。 注意:创建 OSS Bucket 的区域,需要和使用批量计算的区域一致。 B) 下载 Cromwell Cromwell 官方下载 注意:为了确保所有的特性可用,建议下载45及之后的最新版本。 C) 开通 ECS 作为 Cromwell server 当前批量计算提供了 Cromwell server 的 ECS 镜像,用户可以用此镜像开通一台 ECS 作为 server。镜像中提供了 Cromwell 官网要求的基本配置和常用软件。在此镜像中,Cromwell 的工作目录位于/home/cromwell,上一步下载的 Crowwell jar 包可以放置在 /home/cromwell/cromwell 目录下。 注意:用户也可以自己按照 Cromwell 官方的要求自己搭建 Cromwell server, 上面的镜像只是提供了方便的方式,不是强制要求。 使用 Cromwell 配置文件 Cromwell 运行的配置文件,包括: Cromwell 公共配置。 批量计算相关配置,包含了批量计算作为后端需要的存储、计算等资源配置。 关于配置参数的详细介绍请参考 Cromwell 官方文档。如下是一个批量计算配置文件的例子 bcs.conf: include required(classpath("application")) database { profile = "slick.jdbc.MySQLProfile$" db { driver = "com.mysql.jdbc.Driver" url = "jdbc:mysql://localhost/db_cromwell?rewriteBatchedStatements=true&useSSL=false&allowPublicKeyRetrieval=true" user = "user_cromwell" #Your mysql password password = "" connectionTimeout = 5000 } } workflow-options { workflow-log-dir = "/home/cromwell/cromwell/logs/" } call-caching { # Allows re-use of existing results for jobs you've already run # (default: false) enabled = false # Whether to invalidate a cache result forever if we cannot reuse them. Disable this if you expect some cache copies # to fail for external reasons which should not invalidate the cache (e.g. auth differences between users): # (default: true) invalidate-bad-cache-results = true } docker { hash-lookup { enabled = false # Set this to match your available quota against the Google Container Engine API #gcr-api-queries-per-100-seconds = 1000 # Time in minutes before an entry expires from the docker hashes cache and needs to be fetched again #cache-entry-ttl = "20 minutes" # Maximum number of elements to be kept in the cache. If the limit is reached, old elements will be removed from the cache #cache-size = 200 # How should docker hashes be looked up. Possible values are "local" and "remote" # "local": Lookup hashes on the local docker daemon using the cli # "remote": Lookup hashes on docker hub and gcr method = "remote" #method = "local" alibabacloudcr { num-threads = 5 #aliyun CR credentials auth { #endpoint = "cr.cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } } } } engine { filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } } } } backend { default = "BCS" providers { BCS { actor-factory = "cromwell.backend.impl.bcs.BcsBackendLifecycleActorFactory" config { root = "oss://your-bucket/cromwell_dir" region = "cn-shanghai" access-id = "" access-key = "" filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } caching { # When a cache hit is found, the following duplication strategy will be followed to use the cached outputs # Possible values: "copy", "reference". Defaults to "copy" # "copy": Copy the output files # "reference": DO NOT copy the output files but point to the original output files instead. # Will still make sure than all the original output files exist and are accessible before # going forward with the cache hit. duplication-strategy = "reference" } } } default-runtime-attributes { failOnStderr: false continueOnReturnCode: 0 autoReleaseJob: true cluster: "OnDemand ecs.sn1.medium img-ubuntu-vpc" #cluster: cls-6kihku8blloidu3s1t0006 vpc: "192.168.0.0/16" } } } } } 如果使用前面章节中的镜像开通 ECS 作为 Cromwell server,配置文件位于 /home/cromwell/cromwell/bcs_sample.conf,只需要填写自己的配置即可使用 Cromwell。 注意:Cromwell 可以在公网环境(如本地服务器、配置了公网 IP 的阿里云 ECS 等)运行,也可以在阿里云 VPC 环境下运行。在 VPC 环境下使用时,有如下几处要修改为 VPC 内网下的配置: OSS 的内网 endpoint : engine.filesystems.oss.auth.endpoint = "oss-cn-shanghai-internal.aliyuncs.com" backend.providers.BCS.config.filesystems.oss.auth.endpoint = "oss-cn-shanghai-internal.aliyuncs.com" 添加批量计算的内网 endpoint: backend.providers.BCS.config.user-defined-region = "cn-shanghai-vpc" backend.providers.BCS.config.user-defined-domain = "batchcompute-vpc.cn-shanghai.aliyuncs.com" 添加容器镜像服务的内网 endpoint: docker.hash-lookup.alibabacloudcr.auth.endpoint = "cr-vpc.cn-shanghai.aliyuncs.com" 运行模式 Cromwell支持两种模式: run 模式 server 模式 关于两种模式的详细描述,请参考 Cromwell 官网文档。下面重点介绍这两种模式下如何使用批量计算。 A) run模式 run模式适用于本地运行一个单独的 WDL 文件描述的工作流,命令行如下:java -Dconfig.file=bcs.conf -jar cromwell.jar run echo.wdl --inputs echo.inputs WDL 文件:描述详细的工作流。工作流中每个 task 对应批量计算的一个作业(Job)。 inputs文件:是 WDL 中定义的工作流的输入信息inputs 文件是用来描述 WDL 文件中定义的工作流及其 task 的输入文件。如下所示: { "workflow_name.task_name.input1": "xxxxxx" } 运行成功后,WDL 文件中描述的工作流中的一个 task 会作为批量计算的一个作业(Job)来提交。此时登录批量计算的控制台就可以看到当前的 Job 状态。 show_bcs_job 当 workflow 中所有的 task 对应的作业运行完成后,工作流运行完成。 B) server 模式 启动 server 相比 run 模式一次运行只能处理一个 WDL 文件,server 模式可以并行处理多个 WDL 文件。关于 server 模式的更多信息,请参考 Cromwell 官方文档。可以采用如下命令行启动 server:java -Dconfig.file=bsc.conf -jar cromwell.jar serverserver 启动成功后,就可以接收来自 client 的工作流处理请求。下面分别介绍如何使用 API 和 CLI 的方式向 server 提交工作流。 使用 API 提交工作流 server 启动后,可以通过浏览器访问 Cromwell Server,比如 Server 的 IP 为39.105.xxx.yyy,则在浏览器中输入http://39.105.xxx.yyy:8000,通过如下图所示的界面提交任务:cromwell_server更多API接口及用法,请参考 Cromwell 官网文档。 使用 CLI 提交工作流[推荐] 除了可以使用 API 提交工作流以外,Cromwell 官方还提供了一个开源的 CLI 命令行工具 widder。可以使用如下的命令提交一个工作流: python widdler.py run echo.wdl echo.inputs -o bcs_workflow_tag:tagxxx -S localhost 其中-o key:value是用于设置option,批量计算提供了 bcs_workflow_tag:tagxxx 选项,用于配置作业输出目录的tag(下一节查看运行结果中会介绍)。 如果使用前面章节中的镜像开通 ECS 作为 Cromwell server,镜像中已经安装了 widdler,位于 /home/cromwell/widdler。可以使用如下的命令提交工作流: widdler run echo.wdl echo.inputs -o bcs_workflow_tag:tagxxx -S localhost 更多命令用法可使用widdler -h命令查看,或参考官方文档。 查看运行结果 工作流运行结束后,输出结果被上传到了配置文件或 WDL 中定义的 OSS 路径下。在OSS路径上面的目录结构如下: cromwell_output_dir如上图所示,在配置文件中的config.root目录下有如下输出目录: 第一层:workflowname 工作流的名称 第二层:通过上一节中 CLI 命令的-o设置的目录tag 第三层:workflow id,每次运行会生成一个 第四层:workflow 中每个 task 的运行输出,比如上图中的 workflow 15e45adf-6dc7-4727-850c-89545faf81b0 有两个 task,每个task对应的目录命名是call-taskname,目录中包含三部分内容: 批量计算的日志,包括 bcs-stdout 和 bcs-stderr 当前 task 的输出,比如图中的 output1/output2 等 当前 task 执行的 stdout 和 stderr 4. 使用建议 在使用过程中,关于 BCS 的配置,有如下的建议供参考: 使用集群 批量计算提供了两种使用集群的方式: 自动集群 固定集群 A) 自动集群 在config配置文件中指定默认的资源类型、实例类型以及镜像类型,在提交批量计算 Job 时就会使用这些配置自动创建集群,比如: default-runtime-attributes { cluster : "OnDemand ecs.sn1ne.large img-ubuntu-vpc" } 如果在某些 workflow 中不使用默认集群配置,也可以通过inputs文件中指定 workflow 中某个 task 的对应的批量计算的集群配置(将 cluster_config 作为 task 的一个输入),比如: { "workflow_name.task_name.cluster_config": "OnDemand ecs.sn2ne.8xlarge img-ubuntu-vpc" } 然后在 task 中重新设置运行配置: task task_demo { String cluster_config runtime { cluster: cluster_config } } 就会覆盖默认配置,使用新的配置信息创建集群。 B) 固定集群 使用自动集群时,需要创建新集群,会有一个等待集群的时间。如果对于启动时间有要求,或者有了大量的作业提交,可以考虑使用固定集群。比如: default-runtime-attributes { cluster : "cls-xxxxxxxxxx" } 注意:使用固定集群时,如果使用完毕,请及时释放集群,否则集群中的实例会持续收费。 Cromwell Server 配置建议 大压力作业时,建议使用较高配置的机器作为 Cromwell Server,比如ecs.sn1ne.8xlarge等32核64GB的机器。 大压力作业时,修改 Cromwell Server 的最大打开文件数。比如在ubuntu下可以通过修改/etc/security/limits.conf文件,比如修改最大文件数为100万: root soft nofile 1000000 root hard nofile 1000000 * soft nofile 1000000 * hard nofile 1000000 确认 Cromwell Server 有配置数据库,防止作业信息丢失。 设置 bcs.conf 里面的并发作业数,比如 system.max-concurrent-workflows = 1000 开通批量计算相关配额 如果有大压力场景,可能需要联系批量计算服务开通对应的配额,比如: 一个用户所有作业的数量(包括完成的、运行的、等待的等多种状态下); 同时运行的作业的集群的数量(包括固定集群和自动集群); 使用 NAS 使用 NAS 时要注意以下几点: NAS 必须在 VPC 内使用,要求添加挂载点时,必须指定 VPC; 所以要求在 runtime 中必须包含: VPC 信息 mounts 信息 下面的例子可供参考: runtime { cluster: cluster_config mounts: "nas://1f****04-xkv88.cn-beijing.nas.aliyuncs.com:/ /mnt/ true" vpc: "192.168.0.0/16 vpc-2zexxxxxxxx1hxirm" } 高级特性支持 Glob Cromwell 支持使用 glob 来指定工作流中多个文件作为 task 的输出,比如: task globber { command <<< for i in seq 1 5 do mkdir out-$i echo globbing is my number $i best hobby out-$i/$i.txt done output { Array[File] outFiles = glob("out-/.txt") } } workflow test { call globber } 当 task 执行结束时,通过 glob 指定的多个文件会作为输出,上传到 OSS 上。 Call Caching Call Caching 是 Cromwell 提供的高级特性,如果检测到工作流中某个 task (对应一个批量计算的 job )和之前已经执行过的某个 task 具有相同的输入和运行时等条件,则不需要再执行,直接取之前的运行结果,这样可以为客户节省时间和费用。一个常见的场景是如果一个工作流有 n 个 task,当执行到中间某一个 task 时由于某些原因失败了,排除了错误之后,再次提交这个工作流运行后,Cromwell 判断如果满足条件,则已经完成的几个 task 不需要重新执行,只需要从出错的 task 开始继续运行。 配置 Call Caching 要在 BCS 后端情况下使用 Call Caching 特性,需要如下配置项: database { profile = "slick.jdbc.MySQLProfile$" db { driver = "com.mysql.jdbc.Driver" url = "jdbc:mysql://localhost/db_cromwell?rewriteBatchedStatements=true&useSSL=false" user = "user_cromwell" password = "xxxxx" connectionTimeout = 5000 } } call-caching { # Allows re-use of existing results for jobs you have already run # (default: false) enabled = true # Whether to invalidate a cache result forever if we cannot reuse them. Disable this if you expect some cache copies # to fail for external reasons which should not invalidate the cache (e.g. auth differences between users): # (default: true) invalidate-bad-cache-results = true } docker { hash-lookup { enabled = true # How should docker hashes be looked up. Possible values are local and remote # local: Lookup hashes on the local docker daemon using the cli # remote: Lookup hashes on alibab cloud Container Registry method = remote alibabacloudcr { num-threads = 10 auth { access-id = "xxxx" access-key = "yyyy" } } } } engine { filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "xxxx" access-key = "yyyy" } } } } backend { default = "BCS" providers { BCS { actor-factory = "cromwell.backend.impl.bcs.BcsBackendLifecycleActorFactory" config { #其他配置省略 filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "xxxx" access-key = "yyyy" } caching { # When a cache hit is found, the following duplication strategy will be followed to use the cached outputs # Possible values: copy, reference. Defaults to copy # copy: Copy the output files # reference: DO NOT copy the output files but point to the original output files instead. # Will still make sure than all the original output files exist and are accessible before # going forward with the cache hit. duplication-strategy = "reference" } } } default-runtime-attributes { failOnStderr: false continueOnReturnCode: 0 cluster: "OnDemand ecs.sn1.medium img-ubuntu-vpc" vpc: "192.168.0.0/16" } } } } } database 配置:Cromwell 将 workflow 的执行元数据存储在数据库中,所以需要添加数据库配置,详细情况参考Cromwell 官网指导。 call-caching 配置:Call Caching 的开关配置等; docker.hash-lookup 配置: 设置 Hash 查找开关及阿里云 CR 等信息,用于查找镜像的 Hash 值。 backend.providers.BCS.config.filesystems.oss.caching 配置:设置 Call Caching命中后,使用原来输出的方式,批量计算在这里支持 reference 模式,不需要拷贝原有的结果,节省时间和成本。 命中条件 使用批量计算作为后端时,Cromwell 通过如下条件判断一个 task 是否需要重新执行: 条件 解释 inputs task 的输入,比如 OSS 上的样本文件 command task 定义中的命令行 continueOnReturnCode 公共运行时参数,可以继续执行的返回码 docker 公共运行时参数,后端的Docker配置 failOnStderr 公共运行时参数,stderr非空时是否失败 imageId 批量计算后端运行时参数,标识作业运行的 ECS 镜像,如果使用的官方镜像如img-ubuntu-vpc可不用填写此项 userData 批量计算后端,用户自定义数据 如果一个 task 的上述参数未发生改变,Cromwell 会判定为不需要执行的 task,直接获取上次执行的结果,并继续工作流的执行。

1934890530796658 2020-03-28 20:47:14 0 浏览量 回答数 0

问题

OSS如何实现快速搭建移动应用直传服务(二)?

青衫无名 2019-12-01 21:38:33 1089 浏览量 回答数 0

问题

消息服务的异步查询短信推送状态如何解决?

轩墨 2019-12-01 22:07:33 1444 浏览量 回答数 0

问题

消息服务的的短信推送事件如何通知?

轩墨 2019-12-01 22:07:52 1398 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 云栖号物联网 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 云栖号弹性计算 阿里云云栖号 云栖号案例 云栖号直播