E-HPC 混合云集群 您可以通过E-HPC创建HPC混合云集群,利用本地的HPC集群向阿里云扩容计算资源,统一调度公共云上资源和用户本地计算节点。
集群的调度结点(头节点),域账号管理节点都在本地,您可以通过以下方式进行本地和云上的节点通信:
云企业网:请参见 什么是云企业网。 物理专线:请参见 申请专线接入。 VPN网关:请参见 什么是VPN网关。 如何搭建VPN网关和建立连接,请参见 配置站点到站点连接。本地网关如果使用strongswan,请参见 strongSwan配置。
注意:本地网关需要允许 UDP 端口 500 和 4500 连入, strongswan 对外监听端口是 500 和 4500。本地网关需要允许域账号系统以及 HPC 集群头结点相关服务监听的端口连入。
环境要求 本地HPC集群管理节点的环境要求如下:
操作系统: Linux CentOS 6.8、6.9 或者 7.2、7.3、7.4 调度集群类型:PBSPro 18.1.1、Slurm 17.2.4 账号管理类型:nis 2.31、ldap 2.4 创建混合云集群 准备工作 搭建好网络连接、VPN、云企业网或者物理专线。 提供本地HPC集群调度节点信息:hostname、ip。 提供本地域账号节点信息: hostname、ip、账号域名 (domain name)。 E-HPC支持如下两种方式创建混合云集群
本地集群已经存在,那么本地集群节点不需要做额外的配置 本地集群还不存在,E-HPC会自动安装配置本地集群调度节点和域账号节点 API调用创建混合云集群 OpenAPI:CreateHybridCluster, 这里假设选择的地域是杭州(regionId:cn-hangzhou)。有关 API 文档,请参见 混合云管理API。
部分参数说明:
VpcId:指定以上搭建网络连接相关的VPC。 Nodes:json格式的字符串,内容包含本地集群的调度节点以及账号节点的信息,可以参照以下的例子。
[ {"Role":"AccountManager", "HostName":"account", "IpAddress":"...", "AccountType":"nis"}, {"Role":"ResourceManager", "HostName":"scheduler","IpAddress":"...","SchedulerType":"pbs"} ] 注意: 如果本地调度节点和账号节点为同一个节点,以上 AccountManager 和 ResourceManager 下只需配置 HostName 和 IpAddress 的其中一个。
集群创建成功之后,通过E-HPC控制台可以查看集群基本信息,集群状态处于“安装中”。
本地集群配置 获取集群配置 在混合云集群创建成功之后,通过 API 获取集群配置信息。OpenAPI GetHybridClusterConfig,有关文档请参见 混合云管理API。
配置本地集群节点 登录本地集群调度节点和域账号管理节点,执行如下命令:
echo -e "集群配置信息" > /root/ehpc.conf 账号节点和调度节点为两个节点 登录本地域账号管理节点运行如下命令安装配置 E-HPC agent:
curl -O http://e-hpc-hangzhou.oss-cn-hangzhou.aliyuncs.com/packages/deploy_ehpc_agent.sh chmod +x deploy_ehpc_agent.sh ./deploy_ehpc_agent.sh -r AccountManager -i -r: # 指定节点角色 -i: # 如果本地集群是已经存在的,指定这个选项就会跳过安装配置域账号服务 登录本地集群调度节点运行如下命令安装配置E-HPC agent:
curl -O http://e-hpc-hangzhou.oss-cn-hangzhou.aliyuncs.com/packages/deploy_ehpc_agent.sh chmod +x deploy_ehpc_agent.sh ./deploy_ehpc_agent.sh -r ResourceManager -i -r: # 指定节点角色 -i: # 如果本地集群是已经存在的,指定这个选项就会跳过安装配置HPC集群调度服务 账号节点和调度节点为同一个节点 登录本地集群节点运行如下命令安装配置E-HPC agent
curl -O http://e-hpc-hangzhou.oss-cn-hangzhou.aliyuncs.com/packages/deploy_ehpc_agent.sh chmod +x deploy_ehpc_agent.sh ./deploy_ehpc_agent.sh -r AccountManager,ResourceManager -i -r: #指定节点角色 -i: #如果本地集群是已经存在的,指定这个选项就会跳过安装配置HPC集群调度服务 本地管理节点部署之后,通过E-HPC控制台可以查看集群基本信息,集群状态会转变为“运行中”。
增加节点
调用 E-HPC OpenAPI AddNodes,请参见 节点管理API。
管理本地节点 E-HPC支持管理部署本地计算节点,将本地计算节点加入到混合云集群,也可以加入到云上的集群,最终统一调度管理。目前支持API方式接入:
增加本地计算节点到E-HPC集群
调用 E-HPC OpenAPI AddLocalNodes,请参见 混合云管理API。
获取新增加的节点配置
调用 E-HPC OpenAPI GetHybridClusterConfig获取该节点配置信息,注意请求参数’Node’必须设置为本地节点的hostname,请参见 混合云管理API。
登录本地计算节点运行如下命令安装配置E-HPC agent:
echo -e "节点配置信息" > /root/ehpc.conf
curl -O http://e-hpc-hangzhou.oss-cn-hangzhou.aliyuncs.com/packages/deploy_ehpc_agent.sh chmod +x deploy_ehpc_agent.sh ./deploy_ehpc_agent.sh -r ComputeNode -i -r: # 指定节点角色 -i: # 如果本地计算节点已经安装配置好,指定这个选项就会跳过安装配置HPC集群调度相关服务
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。