• 关于 阿里云docker镜像仓库地址 的搜索结果

问题

CodePipeline用户指南:选择部署方式:部署到容器服务

行者武松 2019-12-01 21:55:50 1356 浏览量 回答数 0

回答

容器服务Kubernetes集群支持通过Web界面使用镜像密钥,包括新建镜像密钥和使用已有镜像密钥。 前提条件 您已成功创建一个Kubernetes集群,参见创建 Kubernetes 集群。 您已构建一个私有镜像仓库,并将镜像上传到该仓库中。本例中使用阿里云容器镜像服务作为示例,参见使用私有镜像仓库创建应用。 背景信息 您在使用私有镜像创建应用时,为了保障镜像安全,通常需要为镜像设置密钥。通过容器服务控制台,您可方便地将私有镜像库的身份认证信息通过docker-registry类型的secret传入到kubernetes中。 操作步骤 登录容器服务管理控制台。 在 Kubernetes 菜单下,单击左侧导航栏中的应用 > 有状态,然后单击页面右上角的使用镜像创建。 在应用基本信息页面进行设置,然后单击下一步 进入应用配置页面。 应用名称:设置应用的名称。 部署集群:设置应用部署的集群。 命名空间:设置应用部署所处的命名空间,默认使用 default 命名空间。 副本数量:即应用包含的 Pod 数量。 类型:可选择无状态(Deployment)和有状态(StatefulSet)两种类型。 说明 本例中选择无状态类型,即Deployment类型。 标签:为该应用添加一个标签,标识该应用。 注解:为该应用添加一个注解(annotation)。 设置容器配置。 说明 本例仅对容器镜像密钥的配置进行说明,详细的容器配置说明请参见镜像创建无状态 Deployment 应用。 在容器配置页面,首先配置镜像名称,在镜像名称栏中输入私有镜像地址,填写格式是domainname/namespace/imagename。 说明 公共镜像无须配置镜像密钥。 在镜像版本栏中,输入私有镜像地址版本。 容器配置 单击设置镜像密钥,在弹出的对话框中进行设置。 选择新建密钥,您需要配置以下参数。 密钥名称(regsecret): 指定密钥的键名称,可自行定义。 仓库域名(docker-server):指定 Docker 仓库地址。若输入阿里云容器服务镜像仓库,会默认补齐。 用户名(docker-username): 指定 Docker 仓库用户名。若使用阿里云容器镜像服务,则为阿里云登录账号(包括阿里云主账号和子账号)。 密码(docker-password):指定 Docker 仓库登录密码。若使用阿里云容器镜像服务,即容器registry独立登录密码。 邮箱(docker-email):指定邮件地址。非必选。 新建密钥 单击确定,您可看到密钥已经成功创建。 设置密钥 您也可单击已有密钥。您可通过命令行或Yaml文件等方式预先创建好容器镜像密钥,参见如何支持私有镜像和使用私有镜像仓库创建应用。 已有密钥 完成配置后,单击下一步。 根据页面引导,完成其他配置,最后单击创建。 单击左侧导航栏应用 > 无状态,选择集群和命名空间,查看Tomcat应用运行情况。 说明 您可看到,Tomcat应用正常运行,成功通过密钥使用Tomcat私有镜像。 创建结果

1934890530796658 2020-03-31 15:21:54 0 浏览量 回答数 0

问题

Swarm 集群  构建管理  常用 Docker 相关软件下载加速

青蛙跳 2019-12-01 21:36:58 478 浏览量 回答数 0

海外云虚拟主机包年25元/月起

海外独享虚拟主机全面上线,助力构建海外网站,提升公司国际形象;全球有效覆盖,超高性价比;建站入门首选,助力出口,适合跨境贸易企业。

问题

Swarm 集群构建管理常用 Docker 相关软件下载加速

反向一觉 2019-12-01 21:19:55 1253 浏览量 回答数 0

回答

容器镜像服务 ACR(Alibaba Cloud Container Registry)默认实例版提供基础的容器镜像服务,包括安全的应用镜像托管能力、精确的镜像安全扫描功能、稳定的国内外镜像构建服务以及便捷的镜像授权功能,从而方便用户进行镜像全生命周期管理。 容器镜像服务简化了 Registry 的搭建运维工作,支持多地域的镜像托管,并联合容器服务等云产品,打造云上使用 Docker 的一体化体验。 多架构镜像托管支持 支持 Linux、Windows、ARM 等多架构容器镜像。 灵活的地域选择 用户可以根据自己的业务需求,选择不同的地域创建和删除镜像仓库。 每个镜像仓库都提供了公网、内网、VPC 网络下对应的网络地址。 镜像安全扫描 支持便捷的镜像安全扫描功能,展示详细的镜像层信息。 提供镜像漏洞报告,展示漏洞编号、漏洞等级、修复版本等多维度漏洞信息。 稳定构建服务 支持阿里云 Code、GitHub、Bitbucket、自建 GitLab 的源代码构建源。 支持自动构建,实现源代码变更后自动构建成新 Docker 镜像。 支持海外构建,实现源代码在海外构建成新 Docker 镜像。 云产品间无缝集成 整合阿里云 Code 及 CodePipeline,实现源代码到应用编译测试后,自动构建成新镜像。 整合容器服务,实现新镜像构建完成后便捷部署至容器服务集群。

1934890530796658 2020-03-20 20:31:09 0 浏览量 回答数 0

问题

【精品问答】Docker与JVM常见bug解决方案50问(附源码)

游客pklijor6gytpx 2019-12-01 21:57:35 53 浏览量 回答数 0

问题

CodePipeline快速入门:Java项目示例:构建并部署到容器服务

行者武松 2019-12-01 21:55:10 1265 浏览量 回答数 0

问题

Docker怎么入门

boxti 2019-12-01 21:49:35 2878 浏览量 回答数 0

问题

云效使用指南:持续交付:(待迁移)容器构建和部署

行者武松 2019-12-01 22:00:30 1578 浏览量 回答数 0

问题

Swarm mode 集群服务编排的不支持的Docker Compose标签

反向一觉 2019-12-01 21:22:11 1263 浏览量 回答数 0

问题

一键部署 Docker Datacenter

反向一觉 2019-12-01 21:23:15 1671 浏览量 回答数 0

问题

云效使用指南:持续交付:构建:Docker镜像构建配置

行者武松 2019-12-01 22:00:16 1450 浏览量 回答数 0

问题

使用Docker搭建Gitlab

寒喵 2019-12-01 21:51:18 1082 浏览量 回答数 0

问题

不支持的 Docker Compose 标签

反向一觉 2019-12-01 21:18:54 1245 浏览量 回答数 0

回答

Java应用迁移到 k8s集群,主要涉及应用容器化、k8s容器编排以及java应用访问并不是一个简单宽泛的问题。 在迁移之前需要考虑如下问题: 之前java应用是否有容器化,没有的话需要先将之容器化,将应用制作为docker镜像,存储到镜像仓库镜像仓库选择,因为业务镜像都是私有镜像,而且dockerhub与国内还有网络延迟问题,如果应用k8s集群在阿里云,推荐使用阿里云镜像仓库,可以直接使用VPC内网地址拉取镜像;或者自己搭建harbor镜像仓库k8s集群的选择,是阿里云容器服务,还是在ECS上自己搭建K8S集群,这里推荐阿里云容器服务托管版,master节点是免费提供的使用的java框架,是使用的Spring Cloud 还是 dubbo ,还是其他的,这步很重要,涉及到容器环境下的网络调用模式及服务访问方式服务的资源分配、Java应用很吃内存,需要确定JVM配置,根据JVM配置来手动配置K8S资源,或者设置JVM自动获取,但是要升级java版本,使其可以正确获取容器内的资源服务的访问方式,是http访问还是RPC调用,K8S自动服务发现,但是像dubbo这样的框架也都带有服务发现,这里就要确定是使用K8S自带的还是使用框架的,这里推荐使用原来的,这样代码修改量想,更好迁移如何访问集群,这里推荐使用nginx-ingress来统一接受k8s集群外的访问,nginx-ingress使用的很广泛并且配置简单,易于使用 上面介绍的都只是迁移之前需要考虑的问题,具体迁移的问题有很多,并不是一个问答能解决的,同时也需要开发和运维人员去适应K8S下的开发模式,淌坑也是必须的。

郭旭东x 2019-12-02 02:10:35 0 浏览量 回答数 0

问题

Swarm 集群 服务编排 不支持的 Docker Compose 标签

青蛙跳 2019-12-01 21:34:59 692 浏览量 回答数 0

问题

CodePipeline流水线实现自动发布Serverless Kubernetes

福利达人 2019-12-01 22:04:26 1835 浏览量 回答数 0

问题

容器服务Docker 镜像的基本使用

反向一觉 2019-12-01 21:23:21 1959 浏览量 回答数 0

问题

Swarm 集群  DevOps  基于 Jenkins 的持续交付

青蛙跳 2019-12-01 21:36:21 643 浏览量 回答数 0

回答

本文主要为您介绍如何创建和使用带有 NPU 资源的 Kubernetes 集群。 前提条件 您需要开通容器服务和访问控制(RAM)服务。 背景信息 与大型算法模型中 CPU 相比,NPU 处理器最明显的优势是信息处理能力快。NPU 采用了“数据驱动并行计算”架构,颠覆了 CPU 所采用的传统冯·诺依曼计算机架构,这种数据流类型的处理器大大提升了计算能力与功耗的比率。NPU 特别适合处理视频、图像类的海量多媒体数据的场景,不仅速度比 CPU 要高出 100 ~ 1000 倍,同时功耗也远远低于 CPU。 您可以通过阿里云 Kubernetes 集群 + ALI NPU 运行机器学习,图像处理等高运算密度等任务,实现快速部署和弹性扩缩容等功能。 说明 如果想了解 ALI NPU 的相关信息,请参见 AliNPU Website。 本文将以创建 Kubernetes 集群时,添加 ecs.ebman1.26xlarge 实例为例说明如何使用 NPU。 创建集群过程中,容器服务会进行如下操作: 创建 ECS,配置管理节点到其他节点的 SSH 的公钥登录,通过 CloudInit 安装配置 Kubernetes 集群。 创建安全组,该安全组允许 VPC 入方向全部 ICMP 端口的访问。 如果您不使用已有的 VPC 网络,会为您创建一个新的 VPC 及 VSwitch,同时为该 VSwitch 创建 SNAT。 创建 VPC 路由规则。 创建 NAT 网关及 EIP。 创建 RAM 子账号和 AccessKey,该子账号拥有 ECS 的查询、实例创建和删除的权限,添加和删除云盘的权限,SLB 的全部权限,云监控的全部权限,VPC 的全部权限,日志服务的全部权限,NAS 的全部权限。Kubernetes 集群会根据用户部署的配置相应的动态创建 SLB,云盘,VPC路由规则。 创建内网 SLB,暴露 6443 端口。 创建公网 SLB,暴露 6443、8443和 22 端口(如果您在创建集群的时候选择开放公网 SSH 登录,则会暴露 22 端口;如果您选择不开放公网 SSH 访问,则不会暴露 22 端口)。 使用限制 随集群一同创建的负载均衡实例只支持按量付费的方式。 Kubernetes 集群仅支持专有网络 VPC。 每个账号默认可以创建的云资源有一定的配额,如果超过配额创建集群会失败。请在创建集群前确认您的配额。 如果您需要提高配额,请提交工单申请。 每个账号默认最多可以创建 5 个集群(所有地域下),每个集群中最多可以添加 40 个节点。如果您需要创建更多的集群或者节点,请提交工单申请。 说明 Kubernetes 集群中,VPC 默认路由条目不超过48条,意味着 Kubernetes 集群使用 VPC 时,默认节点上限是 48 个,如果需要更大的节点数,需要您先对目标 VPC 开工单,提高 VPC 路由条目,再对容器服务提交工单。 每个账号默认最多可以创建 100 个安全组。 每个账号默认最多可以创建 60 个按量付费的负载均衡实例。 每个账号默认最多可以创建 20 个EIP。 ECS 实例使用限制: 仅支持 CentOS 操作系统。 支持创建按量付费和包年包月的 ECS 实例。 说明 实例创建后,您可以通过 ECS 管理控制台将按量付费转预付费,请参见按量付费转包年包月。 创建 NPU 型 Kubernetes 集群 登录容器服务管理控制台。 在 Kubernetes 菜单下,单击左侧导航栏的集群 > 集群,单击页面右上角的创建 Kubernetes 集群。 在选择集群模板页面,选择异构计算专有集群页面,并单击创建,进入Kubernetes 专有版页面。 本例中创建的是异构计算专有集群,您也可以在选择集群模板时选择异构计算托管集群并进行以下操作。选择集群模板 说明 为了创建 NPU 集群,通常情况下,Worker 节点使用 NPU 类型的 ECS。集群其他参数配置,请参见创建 Kubernetes 集群。 设置 Worker 节点的配置信息。本例中将 Worker 节点作为 NPU 工作节点,选择 NPU 计算型实例规格 ecs.ebman1.26xlarge。 若您选择新增实例,则需要选择 Worker 节点的系列和规格,以及需要创建的 Worker 节点的数量(本示例创建 2 个 NPU 节点,实例类型为 ecs.ebman1.26xlarge)。 设置节点 若您选择添加已有实例,则需要预先在此地域下创建 NPU 云服务器。请参见实例规格族。 完成其他配置后,单击创建集群,启动部署。 集群创建成功后,单击左侧导航栏中的集群 > 节点,进入节点列表页面。 选择所需的集群,选择创建集群时配置的 Worker 节点,单击操作列的更多 > 详情,查看该节点挂载的 NPU 设备。 配置私有镜像密钥 如果您需要使用阿里云提供的 NPU 类型的 Docker 镜像,可以联系与您对接的客户经理或销售人员,获取一个已授权的账号。下载 Docker 镜像并在 Kubernetes 集群中配置私有镜像密钥。 在 Kubernetes 菜单下,单击左侧导航栏的集群 > 集群,进入集群列表页面。 选择所需的集群并单击操作列更多 > 通过 CloudShell 管理集群。 集群连接成功后,界面显示如下:显示结果 执行以下命令,创建一个 docker-registry 类型的 secret。 kubectl create secret docker-registry regsecret --docker-server=registry.cn-shanghai.aliyuncs.com --docker-username=<your_username> --docker-password=<your_password> 说明 regsecret:指定密钥的键名称,可自行定义。 --docker-server:指定 Docker 仓库地址。 --docker-username:获取的账号。 --docker-password:获取的密码。 在 Pod 的配置文件中添加 secret,拉取NPU类型的私有镜像。 apiVersion: v1 kind: Pod metadata: name: test-npu spec: containers: - name: <容器名称> image: registry.cn-shanghai.aliyuncs.com/hgai/<NPU类型的docker镜像> imagePullSecrets: - name: <secret名称> 说明 imagePullSecrets 是声明拉取镜像时需要指定密钥。 regsecret 必须和步骤3生成密钥的键名一致。 image 中的 Docker 仓库名称必须和 --docker-server 中的 Docker 仓库名一致。 使用 NPU 资源 如果某一个 Pod 需要使用 NPU 资源,需要在resources.limits定义aliyun.com/npu的值。 apiVersion: v1 kind: Pod metadata: name: <pod名称> spec: containers: - name: <容器名称> image: <镜像名称> resources: limits: aliyun.com/npu: <请求npu资源数> 运行 TensorFLow 的 NPU 实验环境 您可以在集群中使用 NPU 资源完成模型训练。本例中,将会启动一个使用 NPU 资源的 Pod 进行模型训练。 连接集群,请参见在CloudShell上通过kubectl管理Kubernetes集群 。 在 CloudShell 界面执行以下操作。 cat > test-pod.yaml <<- EOF apiVersion: v1 kind: Pod metadata: name: test-npu-pod spec: restartPolicy: Never imagePullSecrets: - name: regsecret containers: - name: resnet50-npu image: registry.cn-shanghai.aliyuncs.com/hgai/tensorflow:v1_resnet50-tensorflow1.9.0-toolchain1.0.2-centos7.6 resources: limits: aliyun.com/npu: 1 # requesting NPUs EOF 执行如下命令,创建 Pod。 kubectl apply -f test-pod.yaml 执行以下命令,查看 Pod 的状态。 kubectl get po test-npu-pod 说明 如果Pod 为 Error 状态,请执行kubectl logs test-npu-pod命令监听 Pod 日志,并排查修改。 执行结果 等待一段时间后,您可以通过执行如下命令查看 Pod 的状态。 kubectl get po test-npu-pod 如果查看到 Pod 的状态为 Completed,再执行如下命令查看日志。 kubectl logs test-npu-pod 此时看到日志显示结果如下,表示训练任务完成。 2019-10-30 12:10:50.389452: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 AVX512F FMA 100%|##########| 98/98 [00:26<00:00, 3.67it/s] resnet_v1_50, result = {'top_5': 0.9244321584701538, 'top_1': 0.7480267286300659}

1934890530796658 2020-03-27 10:02:57 0 浏览量 回答数 0

问题

创建持续集成

猫饭先生 2019-12-01 21:04:59 730 浏览量 回答数 0

回答

ECI 在运行容器前,需要先拉取用户指定的容器镜像,而因网络和容器镜像大小等因素,镜像拉取耗时往往成了 ECI 实例启动的主要耗时,用户可以通过镜像缓存技术来解决这个问题。 镜像缓存使用步骤: 创建镜像缓存 查询镜像缓存信息 使用镜像缓存创建 ECI 费用说明 您使用镜像缓存,包括创建费用和使用费用。 创建费用 在您提交镜像缓存创建申请后,阿里云会使用1C2G的ECI资源进行镜像缓存的创建,在创建过程中,包括的费用包括: 1C2G的ECI资源费用,镜像缓存创建完成后停止计费。ECI实例计费参考这里。 申明的镜像快照盘费用,默认使用ESSD PL1云盘,20G大小,您可以自定义指定盘的大小(最小20GB)。云盘计费参考这里。 您每创建一次镜像缓存,会提交一份云盘快照,快照的计费参考这里。 您可以在ECI控制台,查看对应的镜像缓存创建实例。 使用费用 您在创建ECI实例过程中,若指定使用镜像缓存特性,会为每个ECI实例挂载一块基于镜像缓存快照生成的云盘,费用请参考 ESSD磁盘价格(PL1)。 以华北2地域为例,您为每个实例使用一个20GB的镜像缓存盘(ESSD PL1 20GB),每小时实例费用增加0.04元。 创建镜像缓存 镜像缓存默认使用 1C2G 规格的 ECI 进行制作,制作过程中会产生一定的费用。 目前单个镜像缓存最多支持包含20个镜像,镜像缓存大小可自定义,默认为20G。 镜像缓存支持设置保留时长,过期后自动删除,该功能默认不启用,如需使用请设置保留时长。 如果选择了私有镜像(非阿里云容器镜像服务托管的镜像),则需要提供私有镜像仓库的地址、用户名和密码,ECI 需要用来拉取镜像。 如果所选镜像需要通过公网拉取(如 Docker官方镜像),则 ECI 需要具备外网访问能力 通过控制台创建 在 ECI 控制台 方便的创建镜像缓存 create 通过 OpenAPI 创建 可以在 OpenAPI Explorer 上方便的查看和调试镜像缓存的创建接口 相关参数说明如下: ImageCacheName=normalimage(镜像缓存名称) Image.1=registry-vpc.cn-beijing.aliyuncs.com/eci_open/nginx:1.15.10 Image.2=registry-vpc.cn-beijing.aliyuncs.com/eci_open/node:11 Image.3=registry-vpc.cn-beijing.aliyuncs.com/eci_open/mysql:5.6 RetentionDays=30(保留时长,取值范围1~65536,单位天) ImageCacheSize=20(镜像缓存大小,默认为20,取值范围20~500,单位GiB) 查询镜像缓存信息 可以在 OpenAPI Explorer 上方便的查看和调试镜像缓存的查询接口 接口返回的信息如下: { "ImageCaches": [ { "CreationTime": "2019-12-18T03:18:02Z", "Status": "Ready", "ContainerGroupId": "eci-2zehl84ra0em1rzvku1f", "ImageCacheId": "imc-2zehl84ra0em1rzvku1f",(镜像缓存ID) "ImageCacheName": "normalimage", "Events": [... ], "SnapshotId": "s-2ze10h8c369eb7spa2oe", "Images": [ "registry-vpc.cn-beijing.aliyuncs.com/eci_open/nginx:1.15.10", "registry-vpc.cn-beijing.aliyuncs.com/eci_open/node:11", "registry-vpc.cn-beijing.aliyuncs.com/eci_open/mysql:5.6" ], "ExpireDateTime": "2020-01-17T20:49:47Z",(保留时间) "Progress": "100%"(创建进度) } ], "RequestId": "1ABEBF6E-6780-49CA-8C34-EEC6017F3012" } 使用镜像缓存创建 ECI 使用镜像缓存创建 ECI 支持两种策略: 指定具体的镜像缓存 开启自动匹配,由 ECI 来自动匹配和使用最佳的镜像缓存 可以在 OpenAPI Explorer 上方便的查看和调试 ECI 实例创建接口 注意:使用镜像缓存创建 ECI 时,需将容器的 ImagePullPolicy 参数设置为 IfNotPresent,否者效果将大打折扣。 指定具体的镜像缓存 ImageSnapshotId=imc-2zehl84ra0em1rzvku1f 开启自动匹配 AutoMatchImageCache=true 使用效果 在 ECI 控制台查看实例事件: event 镜像已经存在于实例中,不再需要从远程拉取,镜像拉取耗时降低为0。 在阿里云容器服务中使用 ECI 镜像缓存,请参阅 使用镜像缓存 CRD 加速创建 Pod

1934890530796658 2020-03-20 20:49:18 0 浏览量 回答数 0

问题

ECS云服务器产品优化

ecs优化 2019-12-01 21:34:28 13425 浏览量 回答数 0

回答

Windows 相关帖子 Windows Server 2012 配置指南 之 MariaDB安装篇小全面的 Windows Server 安装 Upupw 组建包教程,小白必看,详细教程Upupw 组建包教程,添加虚拟主机Windows .NET 各主要版本下载地址收集Windows Server 也能用 Nginx+Redis Cache 实现内存级缓存. Windows Server 2016 一、系统设置 Windows Server 2016 配置指南 之 设置虚拟内存 二、 IIS Windows Server 2016 配置指南 之 IIS10 环境安装篇Windows Server 2016 配置指南 之 IIS升级和系统漏洞修补Windows Server 2016 配置指南 之 IIS10 下创建虚拟机 三、PHP PHP 虽好选择 nts 版本,相对 ts,效率更高,支持的拓展也更多。 Windows Server 2016 配置指南 之 PHP7 环境搭建篇Windows Server 2016 配置指南 之 升级 PHPWindows Server 2016 配置指南 之 开启 Zend OPcache 加速篇Windows Server 2016 配置指南 之 安装 PHP redis 拓展Windows Server 2016 配置指南 之 安装 APCu 拓展Windows Server 2016 配置指南 之 安装 Wincache 拓展 四、数据库 推荐使用 MariaDB 能完美兼容 Mysql 的开源社区维护的版本。 安装数据库一定要设置虚拟内存!! Windows Server 2016 配置指南 之 MariaDB 环境搭建篇Windows Server 2016 配置指南 之 升级 MariaDBWindows Server 2016 配置指南 之 MySQL 环境搭建篇Windows Server 2016 配置指南 之 安装 phpMyAdminWindows Server 2016 配置指南 之 使用 HeidiSQl 管理数据库 五、其他 Windows Server 2016 配置指南 之 最后要说的话Windows Server 2016 配置指南 之 FTP环境搭建篇Windows Server 2016 配置指南 之 安装 Redis3.0 Windows Server 2016 Windows Server 下安装 SQL Server 2016 — 介绍Windows Server 下安装 SQL Server 2016 — 安装Windows Server 下安装 SQL Server 2016 —SMSS ------------------------- 网站运营相关帖子 让谷歌收入不再支持海外的DNS解析备案如何免邮寄文件阿里测 – 帮你分析网站优化的不足让WordPress 评论支持MarkdownGravatar 镜像、解决方法大全网站安全配置(Nginx)防止网站被攻击阿里云购买域名教程阿里云实例暂停或者卸载云盾教程教你如何给 Discuz! X3.1/3.2 开启httpsFlarum 赋予论坛新的生命(1)大图片网站的优化技巧收集 ------------------------- 干货分享 阿里测 – 帮你分析网站优化的不足最好用的MarkDown在线简历工具常见 SMTP 汇集tinyhttpd的详细注释版[译]NGINX缓存使用官方指南FlatIcon – 最大的免费矢量图标库GenerateWP – 方便、傻瓜的 WordPress管理工具浅谈如何尽可能的避免cms网站被黑初探 MySQL 的 Binlog开启多因素认证保护您的云账号为天津加油,网站变暗代码Justfreethemes – 免费高品质 WP 主题分享国内外一键包|虚拟主机面板汇总ECS 入门教程推荐 8月16日更新移植 spider 到 MySQL 5.6云市场 plesk 面板福利,42元一年PHP7 可用的雅黑PHP探针 你需要知道 Premium domain 溢价域名StartSSL – 免费高兼容的 SSL 证书Let’s Encrypt – 免费时新的 SSL 证书.Percona Configuration Wizard – 傻瓜式量身定制 Mysql 及衍生版 ------------------------- ACE 相关 阿里云 ACE 教程 – 入门篇 阿里云 ACE 教程 – 安装Ghost 阿里云 ACE 教程 – Ghost 上使用 OSS ACE 使用 app.yaml 开启 redis、调整内 .. 在阿里云 ACE 上使用 php 缓存加速 .. ------------------------- Docker 相关 Daocloud 自有主机安装体验教程(一)  Daocloud 自有主机安装体验教程(二)  Daocloud 自有主机安装体验教程(三)  用 Docker 命令安装 Wordpress   ------------------------- 评测&介绍&体验 阿里云 SSD 评测,让你震惊Nginx 1.9 尝鲜 HTTP/2,经验分享PHP 应该怎么选择缓存器加速吧 - 数据中心的选择 加速吧 - 服务器的配置选择 云栖见闻 - 阿里云云安全阿里弹性Web托管 评测 阿里弹性Web托管 安装教程 阿里云系列二机器测评CDE – 从此 ECS 管理不再生涩 阿里云 香港 B 区,全程 CN2,全球 ..阿里云 云盾证书服务 申请教程数据管理DMS -只要你有浏览器,你就能管理你的服务器 .给你的阿里云邮箱用上数字签名和数字加密.[薅阿里云羊毛]免费申请阿里云 - 赛门企业级铁克 SSL 证书! ------------------------- 个人福利踢楼送 ECS 备案服务号。 ------------------------- 待整理 ------------------------- 系列教程 全球化加速访问 – 使用 Cloudflare 的 CDN 全球化加速访问 – 优化网卡降低延时和丢包 全球化加速访问 – DNS 与 CDN 的均衡负载,加速国内访问 全球化加速访问 – 使用中转加速实现非 HTTP 通信加速 全球化加速访问 – Debian/Ubuntu/CentOS 上安装 net-speeder 并优化 Flarum 赋予论坛新的生命(1)在服务器上安装 Flarum (2)Flarum 的设置和本土化(3) Appnode – 安装面板并更新软件仓库Appnode – 轻松搭建 LNMP 并安装 WordPress.通过 RPM 包安装的 PHP 编译 PECL 拓展 ------------------------- 详细整理 加速吧 - 数据中心的选择 加速吧 - 服务器的配置选择 加速吧 - Nginx 的优化收集 Ghost 的高可用安装 准备篇 Ghost 的高可用安装 安装篇 ------------------------- 备用 ------------------------- 2016年 12 月 2 日,整理 16 年产生的教程。

妙正灰 2019-12-02 02:18:27 0 浏览量 回答数 0

问题

Swarm 集群DevOps的基于 Jenkins 的持续交付

反向一觉 2019-12-01 21:19:59 2414 浏览量 回答数 0

回答

Linux下如何进行FTP设置  ECSLinux服务器如何配置网站以及绑定域名  Ubuntu安装vncserver实现图形化访问  阿里云Docker镜像库  ECSlinux中添加ftp用户,并设置相应的权限  CentOS6.5安装vncserver实现图形化访问  LinuxSCP命令复制传输文件的用法  Mysql,phpmyadmin密码忘了怎么  Linux下l2tp客户端xl2tpd的安装配置  使用SFTP方式传输文件  ECSLinux系统盘网站数据更换至数据盘  WDCP的报错处理  Linux中PHP如何安装curl扩展方法  修改Linux服务器的ssh端口  ECSLinux配置vnc文档  运维分享--阿里云linux系统mysql密码修改脚本  20步打造最安全的NginxWeb服务器  SSH配置存在问题,导致登录和传输数据很慢  ECSLinux下如何查看定位当前正在运行的Nginx的配置文件  ECS服务器CentOS系统如何开放端口  查看Linux下默认的DNS  FTP主动被动模式配置混乱导致无法登录  linux环境配置phpmyadmin  ECSLinux系统下VSFTP配置的FTP上传文件报错“553Couldnotcreatefile”  ECSLinuxMysql启动提示Toomanyarguments(firstextrais'start')  运维分享--阿里云linux系统ssh远程连接检查脚本  ECSLinux系统授权mysql外网访问  ECSLinux服务器nginx禁止空主机头配置  ECSLinux服务器通过FTP无法查看到.htaccess文件  ECSLinux服务器下Mysql自动备份脚本的使用方法  ECS-linux授权mysql外网访问  用date命令修改Linux系统的时间为什么无效  运维分享--阿里云linux系统web日志分析脚本  ECSLinux服务器messagebus默认关闭导致安装桌面环境后无法正常使用  ECSNginx+php中php-fpm参数配置  运维分享--阿里云linux系统mysql连接检查脚本  iptables的conntrack表满了导致访问网站很慢  运维分享--阿里云linux系统带宽监测脚本  如何调整目录文件的拥有者和拥有组  yum操作报错处理  ECSLinux配置vsftpd限制FTP账户访问其它目录  vsftp报错:500OOPS:vsftpd:cannotlocateuserspecifiedin'ftp_username':ftp  Linux主机系统目录误操作权限修改为777修复方法  ECSNginx中https的配置说明  运维分享--阿里云linux系统负载状态检查脚本  ECSLinux服务器AMH云主机面板启动、关闭操作  ECSLinux服务器关闭磁盘自检  ECSLinux配置key认证登录后因为相关文件权限错误导致连接失败-Connectionclosedbyforeignhost  ECSLinux系统服务器解决ssh反向代理监听ip错误问题  ECSLinux设置定时任务crontab  ECSGentoo系统中mirrorselect获取内容失败提示Nameorservicenotknown  ECSLinux系统服务器ping域名返回Unknownhost报错  IIS、Nginx或Apache访问日志存在182.92.12.0/24段访问记录  Nginx日志的解释  ECSLinux系统wget下载文件  ECSLinux服务器内部无法解析域名  ECS路由表错误导致无法ping通  ECSLinux主机修改主机名  wordpress插件oss4wpurl无法访问  ECSLinux查看隐藏文件  Linux系统服务器解决vsftp服务使用root登录失败  ECSLinuxPPTP客户端登陆后获取地址错误  Linux系统服务器解决内外双网卡均显示内网IP地址问题  ECSLinux系统NetworkManager导致网络异常  外部PingECSLinux丢包严重  ECSLinux检查Nginx配置文件  ECSLinux系统判断当前运行的Apache所使用的配置文件  Apache访问日志的说明  ECSLinux.htacess文件上传无法显示  linux服务器内无法访问其他站点的检查处理方法  ECSmysql无法启动报错Can'tcreate/writetofile'/tmp/ibfguTtC  ECSLiunx系统服务器执行ls查询命令提示bash:ls:commandnotfound  Linux为何执行命令会执行历史命令  ECSLinux系统如何检查系统上一次重启的时间  ECSLinux下MySQL排查基本步骤  Linux系统如何查看mysql版本号  MySQL中查看慢SQL的日志文件方法  phpMyAdmin修改配置可以上传大文件  openSUSE下开机自动运行脚本命令的方法  给Linux系统添加一个回收站  ECSLinux分区异常无法挂载  ECSLinux上安装Cloudfs启动失败提示找不到库文件libunwind.so.8  ECSLinux清理/tmp目录下的文件原理  Liunx系统服务器通过prefork模块限制apache进程数量  ECSCentOS6.5系统下Apache配置https服务  Noinputfilespecified的解决方法  Apache、Nginx支持跨域访问  Apache环境下配置404错误页方法  ECSLinux通过修改Apache配置301重定向的方法  ECSLinux主机无法互访处理  ECSlinux服务器启用了TRACEMethod.怎么关闭  Apache运行参考的调整优化  ECSApache如何关闭目录访问  ECS服务器隐藏apache版本信息  ECSLinux判断HTTP端口监听状态的方法  ECSLinuxApache限制客户端访问网站的速度  负载均衡+ECS站点虚拟子目录的设置案例  ECS网站访问504错误分析  为何Ubuntu开启UFW后,VPC下的SNAT转发就失效了  ECSDebian自定义镜像启动无法SSH  ECSLinux云服务器如何确认文件系统只读?  ECSLinux创建文件报错Read-onlyfilesystem  恢复ext4文件系统中使用rm命令误删除的文件  ECSLinux删除乱码文件的方法  net.ipv4.tcp_fin_timeout修改导致的TCP链接异常排查  ECSLinux执行sh脚本提示Nosuchfileordirectory  /var/log/message日志报错  通过sshtunnel连接内网ECS和RDS  CentOS7中MySQL服务启动失败的解决思路  ECSLinux系统启动提示“Giverootpasswordformaintenance”  结束云盾客户端进程后如何启用  Ubuntu服务器中配置AWStats  CentOS6非root用户使用sftp服务  ssh避免客户端长久未操作导致连接中断  删除binglog导致mysql无法启动  ECSLinux服务器修改SSH端口号不生效的检查方法  ftp传输失败问题解决方法  ECSLinux下使用extundelete恢复被误删的文件  ECSLinux基于nginx环境通过.htaccess配置rewrite伪静态示例  ECSLinux系统利用openssl生成强密码  ECSCentOS6配置PPTPVPN  Last命令关于reboot记录的含义  Ubuntu修改运行级别的总结  ECSCentOS6系统PPTPVPN脚本  ECSLinux系统如何配置gentoo的源  ECSCentOS系统配置VPN客户端  多域名跳转——不同域名指向不同子目录  Centos配置PPTPVPN后无法打开网页  mysql不能远程连接  ECSLinux系统修改文件或目录权限方法  ECSWDCP破解mysql以及wdcp后台管理密码  ECSLinux系统如何设置SSH白名单  EcsLinux系统一键安装web环境下tomcat添加站点方法  Centos7安装vnc  Setuptools软件包版本太老导致ECSLinux安装AliyunCLI出错  Apache配置二级域名  ECSlinux重启丢失分区表  Linux系统服务器安装使用sar工具获取系统运行状态方式  ECSUbuntu开启sftp连接  linux系统mysql跳过密码登陆操作登陆设置  mysql报错LostconnectiontoMySQLserverat'readinginitialcommunicationpacket'  Ubuntuapt-get安装提errorprocessingpackageinstall-info(--configure)  Nodejs的版本升级和使用  Nodejs连接RDSMySQL数据库  ECS公共镜像Ubuntu,Centos的内核版本查看方法  ECSLinux服务器修改时区  Apache禁止未经许可的域名访问ECS上的网站  ECSLinux如何隐藏文件和文件夹  ECSmysql.sock丢失问题解决方法  ECSLinux云服务器centos将系统时区从UTC时间改为CST  ECSLinux云服务器权限问题说明  ECSLinux系统盘数据转移方法  Linux下忘记mysql的root密码  ECSMySQL编译安装支持innodb引擎  ECSLinuxNAT哈希表满导致服务器丢包  ECSLinux服务器重启后mount出错的解决方法  Centos6.5添加IPv6支持  ECSubuntu系统修改DNS/etc/resolv.conf无法保存  ECSLinux如何增加虚拟内存swap  ECSLinuxtraceroute使用方法  ECSLinux系统磁盘再次挂载报错没有有效的分区表  如何删除yum的缓存信息  ECSLinux服务器yum的查询功能  centos6怎么使用RPMForge软件源仓库  ECSLinux服务器Nginxrewrite示例  ECSLinuxCentOS6ssh连上就断掉并报错“fatal:mm_request_send:write:Brokenpipe”  mysql上传报错#1064-YouhaveanerrorinyourSQLsyntax  EcsLinux中rpm安装文件命令常用选项  ECSLinux系统kjournald进程占用io资源高的解决方法  ECSLinux如果通过i节点删除无法删除的文件  ECSLinux基于zabbix搭建企业级监控平台  ECSLinux系统yum卸载重装  ECSCentOS6.5OpenVPN配置  ECSLinux使用SFTP登陆时报错:Receivedunexpectedend-of-filefromSFTPserver  ECSLinux如何增加数据盘iNode数量  ECSLinux查看目录没有颜色  ECSLinux系统tmp目录的安全设置  ECSLinux下shm设备的安全设定  ECSCentOS多线程下载工具Axel使用说明  ECSLinuxcurl使用证书访问HTTPS站点  Linux系统中vsftp用户无法登陆的相关说明  Nginx配置文件中rewrite指令标志位的说明与使用  ECSLinux中ss命令显示连接状态的使用说明  ECSLinux系统没有程序运行通过top观察发现cpu很空闲  Linux下的文件权限检查和修改  ECSLinux云服务器利用chatter命令锁定系统重要文件  ECSCentos7安装OpenVPN  ECS上搭建反向代理通过内网访问OSS服务  ECSLinux下的script命令记录用户操作行为  Ubuntu下使用slay命令结束某个用户的所有进程  Nginx配置文件中root与alias指令的区别  Nginx配置文件中rewrite指令的使用  ECSLinux如何修改PATH变量  Centos安装桌面后在远程终端管理里面无法使用键盘和鼠标  ECSLinux下Apache忽略网站URL的大小写的方法  ECSLinux服务器利用Nethogs监控每个进程的网络使用情况  ECSapt-get安装软件或更新时提示apt-get的Segmentationfaultsts  ubuntu开机出现memtest86,重启也无法取消的原因  Linux下History命令显示操作时间,用户和登录IP  ECSLinux服务器使用htop监控负载 “答案来源于网络,供您参考” 希望以上信息可以帮到您!

牧明 2019-12-02 02:16:20 0 浏览量 回答数 0

问题

【精品问答】Java技术1000问(1)

问问小秘 2019-12-01 21:57:43 35864 浏览量 回答数 11

回答

背景 Kubernetes的优势 Spark on kubernetes相比于on YARN等传统部署方式的优势: 1、统一的资源管理。不论是什么类型的作业都可以在一个统一kubernetes的集群运行。不再需要单独为大数据作业维护一个独立的YARN集群。 2、弹性的集群基础设施。资源层和应用层提供了丰富的弹性策略,我们可以根据应用负载需求选择 ECS 虚拟机、神龙裸金属和 GPU 实例进行扩容,除了kubernetes集群本生具备的强大的扩缩容能力,还可以对接生态,比如virtual kubelet。 3、轻松实现复杂的分布式应用的资源隔离和限制,从YRAN复杂的队列管理和队列分配中解脱。 4、容器化的优势。每个应用都可以通过docker镜像打包自己的依赖,运行在独立的环境,甚至包括Spark的版本,所有的应用之间都是隔离的。 5、大数据上云。目前大数据应用上云常见的方式有两种:1)用ECS自建YARN(不限于YARN)集群;2)购买EMR服务。如今多了一个选择——Kubernetes。既能获得完全的集群级别的掌控,又能从复杂的集群管理、运维中解脱,还能享受云所带来的弹性和成本优势。 Spark自2.3.0开始试验性支持Standalone、on YARN以及on Mesos之外的新的部署方式:Running Spark on Kubernetes ,并在后续的发行版中不断地加强。 后文将是实际的操作,分别让Spark应用在普通的Kubernetes集群、Serverless Kubernetes集群、以及Kubernetes + virtual kubelet等三种场景中部署并运行。 Spark on Kubernetes 准备数据以及Spark应用镜像 参考: 在ECI中访问HDFS的数据 在ECI中访问OSS的数据 创建kubernetes集群 如果已经有阿里云的ACK集群,该步可以忽略。 具体的创建流程参考:创建Kubernetes 托管版集群。 提交作业 为Spark创建一个RBAC的role 创建账号(默认namespace) kubectl create serviceaccount spark 绑定角色 kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default 直接使用spark-submit提交(不推荐的提交方式) liumihustdeMacBook-Pro:spark-on-k8s liumihust$ ./spark-2.3.0-bin-hadoop2.6/bin/spark-submit --master k8s://121.199.47.XX:6443 --deploy-mode cluster --name WordCount --class com.aliyun.liumi.spark.example.WordCount --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --conf spark.executor.instances=2 --conf spark.kubernetes.container.image=registry.cn-beijing.aliyuncs.com/liumi/spark:2.4.4-example local:///opt/spark/jars/SparkExampleJava-1.0-SNAPSHOT.jar 参数解释 —master :k8s集群的apiserver,这是决定spark是在k8s集群跑,还是在yarn上跑。 —deploy-mode:driver可以部署在集群的master节点(client)也可以在非master(cluster)节点。 spark.executor.instances: executor的数量 spark.kubernetes.container.image spark打包镜像(包含driver、excutor、应用,也支持单独配置) 提交基本流程 spark-10.png Running Spark on Kubernetes Spark先在k8s集群中创建Spark Driver(pod)。 Driver起来后,调用k8s API创建Executors(pods),Executors才是执行作业的载体。 作业计算结束,Executor Pods会被自动回收,Driver Pod处于Completed状态(终态)。可以供用户查看日志等。 Driver Pod只能被用户手动清理,或者被k8s GC回收。 结果分析 执行过程中的截图如下:spark-5.png 我们30G的数据用2个1C1G的Excutor处理了大约20分钟。 作业运行结束后查看结果: [root@liumi-hdfs ~]# $HADOOP_HOME/bin/hadoop fs -cat /pod/data/A-Game-of-Thrones-Result/* (142400000,the) (78400000,and) (77120000,) (62200000,to) (56690000,of) (56120000,a) (43540000,his) (35160000,was) (30480000,he) (29060000,in) (26640000,had) (26200000,her) (23050000,as) (22210000,with) (20450000,The) (19260000,you) (18300000,I) (17510000,she) (16960000,that) (16450000,He) (16090000,not) (15980000,it) (15080000,at) (14710000,for) (14410000,on) (12660000,but) (12470000,him) (12070000,is) (11240000,from) (10300000,my) (10280000,have) (10010000,were) 至此,已经能在kubernetes集群部署并运行spark作业。 Spark on Serverless Kubernetes Serverless Kubernetes (ASK) 相比于普通的kubernetes集群,比较大的一个优势是,提交作业前无需提前预留任何资源,无需关心集群的扩缩容,所有资源都是随作业提交自动开始申请,作业执行结束后自动释放。作业执行完后就只剩一个SparkApplication和终态的Driver pod(只保留管控数据)。原理图如下图所示:spark-7.png Running Spark on Serverless Kubernetes ASK通过virtual kubelet调度pod到阿里云弹性容器实例。虽然架构上跟ACK有明显的差异,但是两者都是全面兼容kubernetes标准的。所以on ASK跟前面的spark on kubernetes准备阶段的基本是一致的,即HDFS数据准备,spark base镜像的准备、spark应用镜像的准备等。主要就是作业提交方式稍有不同,以及一些额外的基本环境配置。 创建serverless kubernetes集群 创建以及操作集群的详细步骤参考:操作Serverless Kubernetes集群的方式 本文都是拷贝kubeconfig到本地服务器来访问集群。 选择标准serverless集群:eci-spark-4 基本参数: 1、自定义集群名。 2、选择地域、以及可用区。 3、专有网络可以用已有的也可以由容器服务自动创建的。 4、是否公网暴露API server,如有需求建议开启。 5、开启privatezone,必须开启。 6、日志收集,建议开启。eci-spark-5 注: 1、提交之前一定要升级集群的集群的virtual kubelet的版本(新建的集群可以忽略),只有目前最新版的VK才能跑Spark作业。 2、ASK集群依赖privatezone做服务发现,所以集群不需要开启privatezone,创建的时候需要勾选。如果创建的时候没有勾选,需要联系我们帮开启。不然Spark excutor会找不到driver service。 *制作镜像cache 由于后面可能要进行大规模启动,为了提高容器启动速度,提前将Spark应用的镜像缓存到ECI本地,采用k8s标准的CRD的方式,具体的流程参考:使用CRD加速创建Pod 提交: 由于spark submit目前支持的参数非常有限,所以ASK场景中建议不要使用spark submit直接提交,而是直接采用Spark Operator。也是我们推荐的方式。 Spark Operator 就是为了解决在Kubernetes集群部署并维护Spark应用而开发的。 eci-spark-6 Spark Operator几个主要的概念: SparkApplication:标准的k8s CRD,有CRD就有一个Controller 与之对应。Controller负责监听CRD的创建、更新、以及删除等事件,并作出对应的Action。 ScheduledSparkApplication:SparkApplication的升级,支持带有自定义时间调度策略的作业提交,比如cron。 Submission runner:对Controller发起的创建请求提交spark-submit。 Spark pod monitor:监听Spark pods的状态和事件更新并告知Controller。 安装Spark Operator 推荐用 helm 3.0 helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator helm install incubator/sparkoperator --namespace default --set operatorImageName=registry.cn-hangzhou.aliyuncs.com/eci_open/spark-operator --set operatorVersion=v1beta2-1.0.1-2.4.4 --generate-name --set enableWebhook=true 注:在Serverless Kubernetes安装时不要使用enableWebhook=true选项 安装完成后可以看到集群多了个spark operator pod。eci-saprk-7 选项说明: 1、—set operatorImageName:指定operator镜像,默认的google的镜像阿里云ECI内拉不下来,可以先拉取到本地然后推到ACR。 2、—set operatorVersion operator:镜像仓库名和版本不要写在一起。 3、—generate-name 可以不用显式设置安装名。 4、—set enableWebhook 默认不会打开,对于需要使用ACK+ECI的用户,会用到nodeSelector、tolerations这些高级特性,Webhook 必须要打开,后面会讲到。Serverless Kubernetes 不要打开。 注: 创建spark operator的时候,一定要确保镜像能拉下来,推荐直接使用eci_open提供的镜像,因为spark operator卸载的时候也是用相同的镜像启动job进行清理,如果镜像拉不下来清理job也会卡主,导致所有的资源都要手动清理,比较麻烦。 申明wordcount SparkApplication: apiVersion: "sparkoperator.k8s.io/v1beta2" kind: SparkApplication metadata: name: wordcount namespace: default spec: type: Java mode: cluster image: "registry.cn-beijing.aliyuncs.com/liumi/spark:2.4.4-example" imagePullPolicy: IfNotPresent mainClass: com.aliyun.liumi.spark.example.WordCount mainApplicationFile: "local:///opt/spark/jars/SparkExampleJava-1.0-SNAPSHOT.jar" sparkVersion: "2.4.4" restartPolicy: type: OnFailure onFailureRetries: 2 onFailureRetryInterval: 5 onSubmissionFailureRetries: 2 onSubmissionFailureRetryInterval: 10 timeToLiveSeconds: 36000 sparkConf: "spark.kubernetes.allocation.batch.size": "10" driver: cores: 2 memory: "4096m" labels: version: 2.4.4 spark-app: spark-wordcount role: driver annotations: k8s.aliyun.com/eci-image-cache: "true" serviceAccount: spark executor: cores: 1 instances: 100 memory: "1024m" labels: version: 2.4.4 role: executor annotations: k8s.aliyun.com/eci-image-cache: "true" 注:大部分的参数都可以直接通过SparkApplication CRD已经支持的参数设置,目前支持的所有参数参考:SparkApplication CRD,此外还支持直接以sparkConf形式的传入。 提交: kubectl create -f wordcount-operator-example.yaml 结果分析 我们是100个1C1G的Excutor并发启动,应用的镜像大小约为 500 MB。 作业执行过程截图:eci-spark-8eci-spark-9 可以看到并发启动的100个pod基本在30s内可以完成全部的启动,其中93%可以在20秒内完成启动。 看下作业执行时间(包括了vk调度100个Excutor pod时间、每个Excutor pod资源准备的时间、以及作业实际执行的时间等): exitCode: 0 finishedAt: '2019-11-16T07:31:59Z' reason: Completed startedAt: '2019-11-16T07:29:01Z' 可以看到总共只花了178S,时间降了一个数量级。 ACK + ECI 在Spark中,Driver和Excutor之间的启动顺序是串行的。尽管ECI展现了出色的并发创建Executor pod的能力,但是ASK这种特殊架构会让Driver和Excutor之间的这种串行体现的比较明显,通常情况下在ECI启动一个Driver pod需要大约20s的时间,然后才是大规模的Excutor pod的启动。对于一些响应要求高的应用,Driver的启动速度可能比Excutor执行作业的耗时更重要。这个时候,我们可以采用ACK+ECI,即传统的Kubernetes集群 + virtual kubelet的方式:eci-spark-9 对于用户来说,只需如下简单的几步就可以将excutor调度到ECI的virtual node。 1、在ACK集群中安装ECI的virtual kubelet。 进入容器服务控制台的应用目录栏,搜索”ack-virtual-node”: eci-spark-10 点击进入,选择要安装的集群。eci-spark-11 必填参数参考: virtualNode: image: repository: registry.cn-hangzhou.aliyuncs.com/acs/virtual-nodes-eci tag: v1.0.0.1-aliyun affinityAdminssion: enabled: true image: repository: registry.cn-hangzhou.aliyuncs.com/ask/virtual-node-affinity-admission-controller tag: latest env: ECI_REGION: "cn-hangzhou" #集群所在的地域 ECI_VPC: vpc-bp187fy2e7l123456 # 集群所在的vpc,和创建集群的时候保持一致即可,可以在集群概览页查看 ECI_VSWITCH: vsw-bp1bqf53ba123456 # 资源所在的交换机,同上 ECI_SECURITY_GROUP: sg-bp12ujq5zp12346 # 资源所在的安全组,同上 ECI_ACCESS_KEY: XXXXX #账号AK ECI_SECRET_KEY: XXXXX #账号SK ALIYUN_CLUSTERID: virtual-kubelet 2、修改应用的yaml 为excutor增加如下参数即可: nodeSelector: type: virtual-kubelet tolerations: - key: virtual-kubelet.io/provider operator: Exists 完整的应用参数如下: apiVersion: "sparkoperator.k8s.io/v1beta2" kind: SparkApplication metadata: name: wordcount namespace: default spec: type: Java mode: cluster image: "registry.cn-beijing.aliyuncs.com/liumi/spark:2.4.4-example" imagePullPolicy: IfNotPresent mainClass: com.aliyun.liumi.spark.example.WordCount mainApplicationFile: "local:///opt/spark/jars/SparkExampleJava-1.0-SNAPSHOT.jar" sparkVersion: "2.4.4" restartPolicy: type: OnFailure onFailureRetries: 2 onFailureRetryInterval: 5 onSubmissionFailureRetries: 2 onSubmissionFailureRetryInterval: 10 timeToLiveSeconds: 36000 sparkConf: "spark.kubernetes.allocation.batch.size": "10" driver: cores: 2 memory: "4096m" labels: version: 2.4.4 spark-app: spark-wordcount role: driver annotations: k8s.aliyun.com/eci-image-cache: "true" serviceAccount: spark executor: cores: 1 instances: 100 memory: "1024m" labels: version: 2.4.4 role: executor annotations: k8s.aliyun.com/eci-image-cache: "true" #nodeName: virtual-kubelet nodeSelector: type: virtual-kubelet tolerations: - key: virtual-kubelet.io/provider operator: Exists 这样就可以将Driver调度到ACK,Excutor调度到ECI上,完美互补。 3、提交 效果如下:eci-spark-12 看下作业执行时间: exitCode: 0 finishedAt: '2019-11-16T07:25:05Z' reason: Completed startedAt: '2019-11-16T07:22:40Z' 总共花了145秒,更重要的是Driver直接在本地起,只花了约2秒的时间就启动了。 附录 Spark Base 镜像: 本样例采用的是谷歌提供的 gcr.io/spark-operator/spark:v2.4.4 ECI已经帮拉取到ACR仓库,各地域地址如下: 公网地址:registry.{对应regionId}.aliyuncs.com/eci_open/spark:2.4.4 vpc网络地址:registry-vpc.{对应regionId}.aliyuncs.com/eci_open/spark:2.4.4 Spark Operator 镜像 本样例采用的是谷歌提供的 gcr.io/spark-operator/spark-operator:v1beta2-1.0.1-2.4.4 ECI已经帮拉取到ACR仓库,各地域地址如下: 公网地址:registry.{对应regionId}.aliyuncs.com/eci_open/spark-operator:v1beta2-1.0.1-2.4.4 vpc网络地址:registry-vpc.{对应regionId}.aliyuncs.com/eci_open/spark-operator:v1beta2-1.0.1-2.4.4

1934890530796658 2020-03-20 18:30:16 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 云栖号物联网 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 云栖号弹性计算 阿里云云栖号 云栖号案例 云栖号直播