产品迭代发布如何更快速?阿里持续集成与持续交付实践之路全解析

本文涉及的产品
云效 DevOps 流水线,基础版人数 不受限
云效 DevOps 项目协作,基础版人数 不受限
云效 DevOps 测试管理,基础版人数 不受限
简介: 2017年5月9日,云效平台资深研发工程师向禹通过直播分享了《持续集成与持续交付实践之路》。他从云效背景、云效方案、云效价值三个方面进行了分享。他主要分享了持续集成持续交付的解决方案和案例,并且对大型系统如何实现持续集成、持续交付、进行产品迭代发布进行了详细介绍。

2017年5月9日,云效平台资深研发工程师向禹通过直播分享了《持续集成与持续交付实践之路》。他从云效背景、云效方案、云效价值三个方面进行了分享。他主要分享了持续集成持续交付的解决方案和案例,并且对大型系统如何实现持续集成、持续交付、进行产品迭代发布进行了详细介绍。


以下内容根据直播视频整理而成。

云效背景——阿里巴巴《持续交付》之路

大应用下的交付

7606f32cbb867359b177a067320482b884c3cc68

在七八年之前,阿里巴巴的B2B一直沿用瀑布的模式来进行项目管理,当时已经感觉到瀑布模式对应用持续快速的发展产生了很大的影响。并且当时很多的应用都是以大应用的方式来开发的,一个应用可能有几十万行、上百万行代码量,如果此时进行小的功能点的修改会比较麻烦。改了几行代码,花费几个小时进行编译打包,发布到测试环境上去,运行全网的自动化回归(积累了两千多个自动化脚本,总共几万行)也非常耗时,降低了开发效率。所以,当时开始准备把大应用进行服务化的拆分,将大应用的逻辑拆分成了会员中心、产品中心、订单中心、交易中心等服务化模块,每个模块下面又有微服务来支撑。

d6d737cd4bb4baf0ecf1d6b2f79f5fe4c3f9673d

做完第一步改造之后,又遇到一些问题,最明显的是环境上的问题。每一家公司环境管理的方式是类似的,都会划分为开发环境、测试环境、集成环境以及线上的生产环境。微服务化之后,在开发环境下,由于应用变多,调用链路变得更加复杂,很难保证整个环境中所有应用的稳定性。问题难以排查,修改程序之后,很难判断是应用出现问题还是链路出现问题。在集成环境,为了保证稳定性,规定了每周的交付窗口时间,将所有项目代码合成到集成分支上,编译打包部署到集成环境中,运行全网自动化回归脚本。如果出现问题,排查比较麻烦,首先判断是哪一个应用引起的问题,然后再细分到项目组进行排查,修改后重新交付测试。

既然现在已经是微服务了,是否可以跳过集成环境,在开发测试环境将应用完善测试好?经过尝试发现,即使在开发测试环境将某个要发布应用的所有功能测得再详细,也很难保证应用上面的链路和下面的链路的业务逻辑都是正常的。

自动化

如果仅仅通过开发方式的转变是没有办法很好的完成持续集成、持续交付的理念。我们应该创造一个持续集成、持续交付的自动化平台来保证在每个环节里面效率的提升,以及整个链路的打通。

f871a487948b7ffca843a3249fa18c2df64717db

上图是我们在平台上解决的核心问题:并发项目配管方案,在并发项目很多的时候需要进行代码分支的管理;持续部署方案也是需要解决的核心问题;持续验证方案,在持续部署之后要快速进行验证,如果用手工的方式是不现实的;通过持续部署和持续验证达到持续交付的目标;为了让各个团队更好的适应角色的变化、使用平台来提高效率,提出了落地使用推广方案。

云效方案——核心解决方案内容

针对需要解决的问题,我们所建设平台核心的原则是核心化、流程化、自动化,希望能够建立持续部署的流程、代码管理的流程,通过自动化的方式实现出来。在上述基础上,云效平台建立了配置管理、持续集成、持续交付等相关子系统。通过这些子系统,创造了可靠、可重复的交付流水线。此外,与项目管理进行结合,开发的效率很好的沉淀到了平台上,在平台上建了与项目管理相关的一些子系统,将其数据打通就能达到业务和产品的相互促进。多个角色的团队都会在平台上用相关的系统来进行相互工作上的协作,所以对组织和团队的协作也产生了促进作用。云效平台在内部是部署在专有云平台上,对于托管的应用支持EDAS/Dubbo分布式服务化架构、SpringBoot微服务架构、Docker容器化架构。

并发项目配管方案——SCM管理

919f22086b32c7ae2752b82755dcd8a7265b8b4f

并发项目配管方案即项目分支管理方案。很多公司在开发一个项目的时候会首先由相关的PM或者运维人员拉出来一个分支交给开发人员。为了简化上述过程,在平台上提供了开发人员直接拉取分支的功能。如上图所示,项目1和项目2同时进行开发,分别拉取了V1.0的分支。如果项目1提前开发完成,就会触发提交集成的操作,会把项目1最新的分支代码重新拉出来一个集成分支,把主干代码合成到集成分支中,针对集成分支进行编译打包,自动部署到集成的测试环境中。在集成环境运行云效的测试用例,如果没有问题就合并回主干。

持续部署方案-环境管理

4fa1621846aabeb91f6692e6dec710e2721062f3

每个公司都有相同的环境建设方式,包括开发环境、测试环境、集成环境。为了规避开发环境不稳定的情况,摒弃了各种环境的概念,在云效平台上划分为了公共环境和功能环境。公共环境可以认为和线上服务的环境一致,是由线上同步回来的,不需要人为手工参与部署。测试时,如上图需求1,每个项目组根据项目开发的应用在云效平台上申请一台服务器,通过云效一键部署的功能把应用部署到服务器上去,如果需要调用其他服务器,则通过服务化路由的方式路由到其他服务器上。针对每个项目组来说,他们都可以认为自己有一个独立的、供他们使用的测试环境,互相之间没有相互的干扰。对于服务化自动路由,各个系统间相互调用的方式有HTTP、RPC、HSF、Dubbo框架等,使用HTTP的话可以利用本机host绑定达到路由效果,可以使用云效平台自动托管;如果使用Dubbo和HSF,则有一些注册中心和路由规则,可以在本地部署服务器上直接生成HSF的路由文件,动态改变服务的路由。

分层自动化

40a451492a08950c9960649356d1da79f93947c7

在测试环节,倾向于认为没有某一种的测试方式能从效率、质量达到一个很好的平衡,涵盖所有测试的业务逻辑。如果把所有的功能都通过UI自动化实现的话,UI自动化的创建、维护成本很高,稳定性也有一定问题。建议在不同的业务层次使用不同的、适合的测试环境。在方法层面,检测方法是否有问题,可以利用单元测试来进行。接口则可以通过服务化接口测试来涵盖,再往上更长流程的业务逻辑可以通过界面自动化测试来实现。很少一部分的测试场景通过自动化的方式是没法实现的,只能通过手工的方式来实现。

单元测试

7d785d03618bac54cc4f72e339c4126756a76f98

在分支上进行提交的时候,每一次后台都会及时检测到触发提交后针对最新代码的编译、单元测试、代码扫描。平台扫描的结果会及时通过邮件反馈到开发人员,相关的数据也会沉淀到系统上。在云效平台上,阻塞问题是最严重的问题,通过提示信息可以方便开发人员及时进行相关排查。

服务化接口测试

daa22e4e7d6d4da18dd6c2e3540a495e558a5443

在云效平台上,所有的自动化测试都希望不写代码,直接在页面上配置,通过最直观的方式进行。接口测试方面,如果是HTTP接口,则会直接在页面上输入需要测试接口的地址、入参、出参的校验规则;如果是Dubbo或者HFS接口,则需要写单元测试用例启动一个容器才能进行相关的测试。为了减轻写单元测试的工作,在云效平台上,可以解析到某一个jar包里的接口,只需要指定针对Dubbo接口往哪一个IP服务上发送相关请求,平台会自动生成相关的一些测试用例,把入参进行传递,把出参进行校验。

云效价值——实际效果与客户案例

2de0ab8b7dd618c97cd45882eb7bc234e7524a9f

在阿里巴巴内部,云效平台是从2012年开始建设,当初开发测试的配比大约是3:1,到2015年提高到了6:1,目前已经接近8:1。由于业务在持续快速的发展,在平台的保障下,历年故障数有明显的下降,集成验证发布耗时也有显著缩减。有了平台上自动化工具的保证,50%的小需求不需要进行测试。也没有了发布窗口的限制,随时可以发布。


对于外部客户来说,现在使用云效的客户也有不少,比如众安保险、五矿电商、红岭创投等,主要使用的是环境部署、自动化集成、自动化用例的建设,大大提升了企业研发效率。

相关文章
|
3月前
|
机器学习/深度学习 人工智能 jenkins
软件测试中的自动化与持续集成实践
在快速迭代的软件开发过程中,自动化测试和持续集成(CI)是确保代码质量和加速产品上市的关键。本文探讨了自动化测试的重要性、常见的自动化测试工具以及如何将自动化测试整合到持续集成流程中,以提高软件测试的效率和可靠性。通过案例分析,展示了自动化测试和持续集成在实际项目中的应用效果,并提供了实施建议。
|
1月前
|
人工智能 达摩院 并行计算
VideoRefer:阿里达摩院开源视频对象感知与推理框架,可集成 VLLM 提升其空间和时间理解能力
VideoRefer 是浙江大学与阿里达摩学院联合推出的视频对象感知与推理技术,支持细粒度视频对象理解、复杂关系分析及多模态交互,适用于视频剪辑、教育、安防等多个领域。
157 17
VideoRefer:阿里达摩院开源视频对象感知与推理框架,可集成 VLLM 提升其空间和时间理解能力
|
7天前
|
弹性计算 运维 网络安全
阿里云轻量应用服务器产品解析与搭建个人博客网站教程参考
轻量应用服务器(Simple Application Server)作为阿里云面向单机应用场景推出的云服务器产品,以其一键部署、一站式管理、高性价比等特性,深受个人开发者、中小企业及入门级用户的喜爱。本文将全面解析阿里云轻量应用服务器的产品优势、应用场景、使用须知,以及使用轻量应用服务器搭建个人博客网站的详细教程,帮助用户更好地了解和使用这一产品。
|
2月前
|
人工智能 自然语言处理 Java
FastExcel:开源的 JAVA 解析 Excel 工具,集成 AI 通过自然语言处理 Excel 文件,完全兼容 EasyExcel
FastExcel 是一款基于 Java 的高性能 Excel 处理工具,专注于优化大规模数据处理,提供简洁易用的 API 和流式操作能力,支持从 EasyExcel 无缝迁移。
223 9
FastExcel:开源的 JAVA 解析 Excel 工具,集成 AI 通过自然语言处理 Excel 文件,完全兼容 EasyExcel
|
2月前
|
缓存 网络协议 安全
融合DNS技术产品和生态
本文介绍了阿里云在互联网基础资源领域的最新进展和解决方案,重点围绕共筑韧性寻址、赋能新质生产展开。随着应用规模的增长,基础服务的韧性变得尤为重要。阿里云作为互联网资源的践行者,致力于推动互联网基础资源技术研究和自主创新,打造更韧性的寻址基础服务。文章还详细介绍了浙江省IPv6创新实验室的成立背景与工作进展,以及阿里云在IPv6规模化部署、DNS产品能力升级等方面的成果。此外,阿里云通过端云融合场景下的企业级DNS服务,帮助企业构建稳定安全的DNS系统,确保企业在数字世界中的稳定运行。最后,文章强调了全链路极致高可用的企业DNS解决方案,为全球互联网基础资源的创新提供了中国标准和数字化解决方案。
|
2月前
|
存储 搜索推荐 数据挖掘
投资回报与预算考量:CRM产品报价全解析
在当今竞争激烈的商业环境中,CRM系统已成为企业不可或缺的工具。它能有效管理客户信息、提升销售效率、优化服务并增强忠诚度。选择合适的CRM需考虑功能、用户数量、定制需求、技术支持及数据安全等因素,确保在预算内实现最大价值。企业在挑选时应明确需求、比较产品、评估长期回报,并考虑扩展性。最适合自己业务需求的CRM才是最佳选择。
|
2月前
|
DataWorks 数据挖掘 大数据
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
|
2月前
|
机器学习/深度学习 自然语言处理 监控
智能客服系统集成技术解析和价值点梳理
在 2024 年的智能客服系统领域,合力亿捷等服务商凭借其卓越的技术实力引领潮流,它们均积极应用最新的大模型技术,推动智能客服的进步。
157 7
|
3月前
|
运维 Devops jenkins
DevOps实践:持续集成与持续部署在现代软件开发中的作用
【10月更文挑战第42天】在快节奏的软件开发世界里,DevOps已经成为一种提升效率、确保质量和加速交付的重要方法。本文将深入探讨DevOps的核心组成部分—持续集成(CI)和持续部署(CD)—并展示它们如何通过自动化流程优化开发周期。我们将从基础概念讲起,逐步过渡到实际操作,最终通过一个简单代码示例来演示这一过程。文章旨在为读者提供清晰的指导,帮助他们理解和实现CI/CD流程,从而在软件开发领域取得竞争优势。
|
3月前
|
Devops jenkins 测试技术
DevOps实践:自动化部署与持续集成的融合之旅
【10月更文挑战第41天】在软件开发的世界中,快速迭代和高效交付是企业竞争力的关键。本文将带你走进DevOps的核心实践——自动化部署与持续集成,揭示如何通过它们提升开发流程的效率与质量。我们将从DevOps的基本理念出发,逐步深入到具体的技术实现,最终展示一个实际的代码示例,让理论与实践相结合,为你的开发旅程提供清晰的指引。
86 4

热门文章

最新文章

推荐镜像

更多