小博无线技术团队至2014年创建以来，这三年多以来所使用的CI系统经过数次升级换代，现已全部上云，全面实现了容器化和pipeline化，并引入了扁平和伸缩的实践来节省云计算成本。本文回顾了CI系统的成长历程。
2014 - virtual box
2014年初，拼了一台16G内存的PC机，在上面开了多个virtual box，一个跑gitlab, 一个跑jenkins master, 剩下的几个就用于搭建build环境，作为jenkins的ssh slave。上线部署通过配置promotion plugin实现 - 先将build出来的release package scp到线上ecs, 再ssh运行一个安装升级脚本。
遇到的问题
- virtual box比较重，很耗资源，16G内存也跑不了几个虚拟机
- virtual box实例是长期存在的，每次build都要注意对应的cleanup操作，避免不同的build之间相互干扰
- 每个虚拟机都需要单独的环境配置，复制成本高
- scp+ssh的上线方式难以统一运作，基本上每个服务都需要定制；如果代码和配置都有变更，升级部署及回滚动作都可能相当复杂且风险较高
2015 - docker
2014年底，docker慢慢流行开来，容器比虚拟机要轻量很多，并且环境配置可以用Dockerfile很方便的以代码形式管理起来，我们便将原本以virtual box形式存在的jenkins slave都替换成了docker。
另外，将线上服务也容器化，将代码和配置统一装入一个docker image, 这样可以整体升级部署或回退，就消除了"代码和配置都有变更时，是先回滚配置，还是先回滚代码?"的难题。
遇到的问题
- docker虽然解决了资源消耗的问题，但此时的docker仍然是作为长期存在的ssh slave来运行的，在build时仍然需要考虑对应的cleanup操作以避免不同的build之间相互干扰
- 每个服务的相关CI配置仍然是用jenkins web ui进行配置，变更比较麻烦，并且需要jenkins的配置权限
2016 - Jenkins pipeline & docker plugin
6月份，办公室停了两次电，有一次竟长达两天！为了解决停电问题对上线迭代的影响，我们将位于办公室内的CI系统逐步迁移到了阿里云上。本地的数据备份和恢复是一件非常麻烦的事情，上云后，数据备份就方便多了。
另外，同年4月份Jenkins官方在新发布的Jenkins 2.0中开始全面推进pipeline，随着这次迁移，我们也一并实施了pipeline结合docker plugin的容器化改造。
pipeline化后，所有的build动作都通过代码仓库中的Jenkinsfile定义，完全不需要在jenkins的网页上进行配置，开发通过git push Jenkinsfile就能实现对CI流程的控制。
容器化后，CI的各种build环境也通过Dockerfile得以标准化，并且每次build的容器都是按需新建的，无需考虑cleanup操作。
2017 - mesos plugin & auto scaling
之前的docker plugin连接的docker cloud是一个单点ecs, 负责代码的编译，测试，打包，及部署操作，对于线上运行的各种微服务项目，还能应付，但如果用来跑编译路由器固件这种CPU密集型的任务，就力有未逮了。另一方面，预发布的测试集群由于流量很小，在绝大多数时候，各个节点的CPU都是空闲的。于是自然想到将预发布环境和CI环境进行扁平化：利用mesos plugin在预发布测试环境的mesos集群中集成jenkins framework, 用于运行容器化的jenkins slave。
固件编译虽然很耗CPU，但这只是一个耗时不到1小时的短任务，如果为了一天只做几次的build而多开几台包月ecs，会带来巨大的浪费。使用自动伸缩，当jenkins提示mesos资源不足时，利用API创建按量ecs加入mesos集群，等build完成后就将它释放掉，是一种高性价比的解法。
结论
系统化、标准化是降低成本，提升效率和质量的重要手段。2014年开始搭建CI系统时，build环境、部署环境、部署方式和配置方式都很零散，难以管理和维护。从2014-2017，先用容器标准化build环境和部署环境，并用pipeline标准化部署方式和配置方式，有效降低系统复杂度后，再用云计算资源降低电力供应和数据备份的风险和维护成本，最后用"扁平"与"伸缩"[1]降低云计算成本。
[1] 在云计算的五种基本实践方法 - "冗余， 漂移， 伸缩， 熔断， 扁平"中，"扁平"与"伸缩"是两种提高资源利用率，降低成本的方法，这方面的更多介绍请参考《云计算十字真言及其在小博无线的实践》一文 (https://yq.aliyun.com/articles/62686)
