分享人：孙文杰 流利说Cloud Infra总负责人
徐 征 阿里云高级产品解决方案架构师
正文：
本篇内容将通过三个部分来介绍极致弹性：流利说基于容器服务的云原生实践
一、云原生基础设施概览
二、流利说基于容器服务的云原生实践
三、流利说弹性的成本优化
一、云原生基础设施概览
在2023年有超过70%的这样的AI机器学习的任务可能需要用容计算模型来承载。Kubernetes逐渐成为云原生时代的基础设施。
AI对容器化运行，有一些特定的诉求。在最底层，需要去管理异构资源。这些设备可以在容器服务的集群里统一管理。针对AI类的业务有特定的调度诉求。在阿里云的ACK上，我们会把兼容AI或者大数据的调度能力往调度器的主线上做，可以原生的支持普通的在线业务以及大数据或者AI在集群里无缝的兼容使用。通过我们的开源项目，更好地解放数据科学家的生产力，让他以简单的命令行方式，把AI的任务更好地跑在容器上。
云的最大特性是弹性和按需。我们怎么帮助客户构建这样的弹性能力，更好地贴近客户的业务场景。比如微博应对它的热点门事件，需要在极短的时间内去扛几百上千倍突发流量，我们基于容器是不是能有这样的能力支撑这样的业务特性。通过我们提供的竞价实力的弹性组合，可以极大的缩短整个云资源的消耗。
二、流利说基于容器服务的云原生实践
我们公司是纽交所上市公司，一家卓越的科技驱动的AI教育公司，我们口号是赋能每一个人，实现最大潜力。
我们有很复杂的业务，比如AI老师，业务模型，在线推理等等。所以我们有需要用到云原生和弹性的事情。
去年，我们全站完成了从AWS迁移到阿里云，所以我们是一家生云。我们一开始就基于云的弹性做研发，部署，测试。流利说，生于云、长于云，天然的云原生架构，适合运行在云上的应用，并让应用可以运行在任意云上。
我们这么多年对于云的理解，是当我们需要的时候，打开水龙头，水自然就来了。弹性机制的弹性效率。对于业务来说，他们需要业务交付的效率，业务产品，运营的效率。我们团队来说，就是所有生产测试流程的K8S。所以云满足了我们所有的需求。
我们需要解决三大问题，即业务架构，部署架构和成本问题。我们需要最少的资源跑更多的服务，提升业务的稳定性和工程效率。
首先，聊一聊我们的AI训练模型。它屏蔽所有底层资源，它的工作流轻巧、弹性、高效。
我们的架构体系刚刚完成所有的转换。现在把所有算法层面的GPU集群切到了基于阿里的开放平台。让我们科学家和算法工程师有更简单的计算的工作量。
我们用一个工具屏蔽所有底层资源、环境管理、任务调度和GPU分配的复杂
性。当我们不需要计算时，集群会马上缩，容量较薄时，马上扩容。从而解放数据科学家，专注于核心代码。
因为需要强控制成本和公司效率。我们从单个GPU设备入手，实现多容器共享GPU，提升运行密度。从多GPU集群入手，GPU分配策略，避免资源碎片。GPU显存维度池化，新老卡统一利用。GPU弹性伸缩，优化持有成本。最后，我们通过训练任务调度，规避资源争抢。分布式缓存加速，减少GPU等待数据。
接下来我们聊聊GPU利用率。基于Kubernetes GPU共享调度器教会业务和算法工程师如何操作？关于推理GPU共享和隔离，ACK提供GPU共享调度，支持所有Nvidia Tesla GPU型号。GPU支持GPU显存、计算单元隔离和动态调整，且无侵入。
为了解决周期性的波峰波谷，支持可随时伸缩的架构。我们在集群间服务拷贝、流量切换、通过熔断、降级等手段，解决了波峰波谷的问题。接着，我们需要提升ServiceMesh的服务治理能力，提升业务连续性、稳定性、可靠性。所以我们对现有资源进行合理利用。这期间，没有业务和研发人员参与。
这是我们的核心架构。我们做了数据打包，所有的变更可追溯。所有的东西可追溯，可回滚。形成了天然的审批链条。我们基于云厂商给到的所有能力，提升业务稳定性。右边主要是监控告警的系统。
我们自研一套了基于Velero的系统。它可以在集群间进行资源复制和顺序启动。做到了双生产集群，业务流量可按比例双边部署。Kong作为核心API网关，负责流量按比例转发到两个集群。基于ArgoCD的GitOps持续部署流程。多个集群均依赖autoscaler实现资源全自动伸缩。
三、流利说弹性的成本优化
云厂商的API对于弹性来说至关重要。当机器需要的时候，自己弹，当它挂掉的时候，它自然会去补，大大降低了运维成本。
RI是Reserved Instances，先给一部分钱保证资源的同时，拿到比较好的折扣。Spot是Spot Instances，厂商总有一些边角料没切好或者基础机器算多了，导致总有机器多出来，那么我们就可以上去竞价。OD是OnDemand Instances，按量付费，用多少算多少。Saving Plan是Savings Plans，一个基于算力的统一机器池概念。
自动弹性伸缩支持ECS，ECI混合弹性，自定义弹性策略。集成KFServing，Seldon开源AI推理服务框架，支持Tensorflow-serving，Triton等推理服务器支持按量、竞价实例和Spot fleet组合，性价比优化支持ECS，ECI混合弹性，自定义弹性策略自动弹性伸缩。
Saving Plan节省计划基于RI预留实例。通过CronHPA支持定时伸缩。CustomHPA可以依据非CPU&MEM的用户自定义伸缩。RR用于资源推荐。CloudSave用来平衡Spot&OD。相对于固定节点，弹性降低60%资源。实现了降本增效的目的。
我们未来需要去做Spark/Flink/Presto的容器化，离在线混部。之后帮助我们业务，提升它的稳定性，控制成本，提升效率。所以我理解云和我们团队的价值所在，就两个字”效率”，效率有成本和稳定性，二者缺一不可。
