阿里云原生交付ECS实例的的方式:单个实例和批量交付实例。以上两种方式均缺乏灵活性,无法跨越计费方式、可用区及规格族等核心参数的限制,同时无法避免资源不足的情况。基于此阿里云提供了一种自动化交付实例集群的方式弹性供应组(Auto Provisioning Group
APG),弹性供应组是一个使用抢占式实例和按量付费实例快速部署实例集群的方案。APG支持一键部署跨计费方式、跨可用区、跨实例规格族的实例集群。无需纠结于某种实例规格在某个可用区资源不足的问题,满足既定容量需求的同时,获得最低的TCO总拥有成本。
Spark作为快速、通用的大规模数据处理平台,更多关注Spark Application的管理,底层实际资源调度和管理更多的是依靠外部平台的支持例如Mesos、YARN、Kubernetes等。借助阿里云的容器服务Kubernetes版(ACK)、弹性容器组实例(ECI)、文件存储HDFS或者对象存储OSS提供灵活弹性计算资源弹性可扩展、计算与存储分离架构、成本可控的Spark on ECI解决方案实践。