开发者学堂课程【Serverless 容器从入门到精通: Serverless Kubernetes：低成本运行 Spark 数据计算】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/646/detail/10731
低成本运行 Spark 数据计算
内容简介:
一、 产品介绍
二、 Spark on Kubernetes
三、 演示
一、 产品介绍（ASK&ECI）
1. 什么是弹性容器实例 ECI
阿里云弹性容器实例 (Elastic Container Instance) 提供安全的 Serverless 容器运行服务。无需管理底层服务器，只需要提供打包好的 Docker 镜像，即可运行容器，并仅为容器实际运行消耗的资源付费。
1) 免运维的 laaS层服务，用户不需要购买和管理 ECS，可以直接在阿里云上运行容器 /Pod。
2) 2）基于 Kata 的安全沙箱容器，提供vm级别的安全和资源隔离，深度整合优化的轻量级虚拟化解决方案，启动更快，效率更高。
3) 无缝对接容器服务 Kubernetes。
2. 阿里云容器服务产品族
1) 应用层
DevOps：Gitab Jenkins 云效；
微服务/服务网格：Dubbo SpringCloud Istio；
企业应用现代化：.net Java 企业；
创新业务：AI 区块链 loT。
2) 容器编排层
托管版 Kubernetes(ACK)
Serverless 版 Kubernetes(ASK)
3) 容器资源层
弹性计算ECS VM, Bare-metal
弹性容器实例 ECI Serverless Container
4) 基础设施层
计算：CPU, GPU, FPGA；
网络：VPC, ENI, SLB, DNS；
存储：EBS, NAS, CPFS, OSS
1. 弹性容器实例 ECI—虚拟节点(Virtual Node)
VirtualKubelet 是Kubernetes kubele 的一个开源实现，它能将云提供商的容器服务作为一个 Kubernetes 集群的标准的节点，即 Virtual Node。这给 Kubernetes 集群带来了灵活的扩展能力。它提供插件式的扩展方式，每个云厂商都可以实现自己的 provider，Alibaba Cloud ECI Provider 便是其中之一。集成了 ECI provider 的 virtual node 就成了 ECI 服务对接 Kubernetes的桥梁。
Virtual kubelet 在集群中将自己注册成一个标准的 Worker 节点让开发者能将集群的 pod 调度到 virtual node，从而使用特定平台提供的容器云服务。Provider 对kubernetes API 屏蔽了各种云服务的 API 的差异。
1. Kubernetes+ECI
标准 Kubernetes 集群可以将 ECS 和虚拟节点混部，将 Virtual Node 作为应对突发流量的弹性资源地。
2. ASK（Serverless Kubernetes）+ECI
Serverless Kubernete 集群中没有任何 ECS worker 节点，也无需预留、规划资源，只有一个 Virtual Node。
优点：简单易用、极致弹性、最优成本、按需付费
3. YARN to Kubernetes
1) Spark 自 2.3.0 开始试验性支持 Standalone、on YARN 以及 on Mesos 之外的新的部署方式：Running Spark on Kubernetes，而且一直在不断持续完善。
2) Spark on kubernetes 相比于 on Yarn 等传统部署方式的优势：
统一的资源管理与调度。
计算与存储分离。
弹性的集群基础设施。
轻松实现复杂的应用的资源隔离和限制。
容器化的优势。
大数据上云。
二、 Spark on Kubernetes
1. Spark 调度
1. Spark submit
在Spark Operator 出现之前，在 Kubernetes 集群提交 spark 作业只能通过 spark submit 的方式。
创建好 Kubernetes 集群，在本地即可提交作业。
2. Spark Operator
1) Spark Operator 就是为了解决在 Kubernetes 集群部署并维护 Spark 应用而开发的，SparkOperator 是经典的 CRD+ Controller，即 Kubernetes Operator 的实现。
2) Spark Operator 几个主要的概念：
SparkApplication：标准的 K8s CRD。Controller 负责监听 CRD 的创建、更新、以及删除等事件，并作出对应的 Action。
Submission runner :对 Controller 发起的创建请求提交 spark-submit。
Spark pod monitor:监听 Spark pods 的状态和事件更新并告知 Controller。
3) 流程图
1. SparkApplication 状态机、
1. Serverless kubernetes + ECl
1) 完全兼容 Spark/Kubernetes 生态；
2) 提交作业前无需提前预留任何资源；
3) 无需关心集群的扩缩容；
4) 所有资源随作业提交自动开始申请；
5) 作业执行结束后自动释放，支持自定义 Job 元数据清理时间；
6) 提供快速启动(10~20s)和大规模并发能力(单AZ，500个Pod/30s)。
7) 图示：
计算与存储分离：数据源、Shuffle 数据
三、 演示
1. TPC-DS
1. WordCount
100个1C2G 的 Excutor 并发启动，应用的镜像大小约为 500MB；
可以看到，100个 excutor pod 全部在 job 提交后的 17s 内完成启动，其中90%的excutor pod 能在 15s 内启动。
100 个 1C2G 规格的 ECI 处理 30G 的数据耗时为 87S(实际的计费时长约为87-15S)，我们可以计算出本次 Spark 作业的计算总费用为：
￥0.00004288/s×(87-15)s×100=￥0.308736
而ECI最近新上线的抢占式实例，即 ECI Spot，非常适合于数据处理场景，更是将计算成本降低至目前的 10% 不到：
￥0.00004288/s×(87-15)s×100 ×10%=￥ 0.0308736
