闲鱼应用迁移实践-阿里云开发者社区

开发者社区> 闲鱼技术> 正文

闲鱼应用迁移实践

简介: 闲鱼应用迁移实践
+关注继续查看

作者:闲鱼技术——九七

1. 背景

idlecenter是闲鱼服务端元老级应用,在2013年6月idlecenter写下了第一行代码,随后陪伴闲鱼走过了8年的时间。

随着闲鱼业务规模的不断庞大,业务复杂度的不断增加,idlecenter逐渐暴露出一些问题:

  • 应用的垂直业务边界划分和架构分层不清晰,不同领域的业务代码都在idlecenter上迭代,业务代码深度耦合
  • 新的业务不断叠加,老的业务不能及时清理下线,应用规模不断膨胀

直接引发的影响有:

  • 研发效率低:多个团队几十个研发共同维护上百个业务,每次发布都会有十几个分支,每增加一个分支,都会面临代码冲突的风险。据统计一次应用发布构建加部署需要半个小时,分支冲突解决需要二十分钟,严重影响开发效率。

长远影响:

  • 稳定性:业务不能隔离,核心业务与非核心业务都在一个应用上,相互干扰,稳定性不能保障。例如一个非核心业务把资源池打满,就会导致核心服务不能提供服务,引发线上故障
  • 业务垂直化冲突:闲鱼在业务规模快速发展的过程也会进行人员与组织架构的调整。而idlecenter作为一个单体应用,应用架构和人员结构不同态。导致权限不能收口,规范不能拉齐。随着没有规范的业务代码不断迭代,应用的维护成本指数级的增加。

为了解决idlecenter的各种问题,我们从7月份开始对idlecenter进行拆分迁移。到目前我们idlecenter整体迁移进度过半,人力投入成本不到20d,迁移零故障。

本文把我们这次迁移的思路和实践经验沉淀下来,希望能为做应用迁移的同学提供一些思路。

迁移总体分为两个部分:

  • 开发期的代码迁移
  • 运行期的流量迁移

2. 代码迁移

在开发期的代码迁移环节,我们需要思考的问题是:

  • 代码哪些要迁?
  • 怎么迁?

这里我们沉淀了关于代码迁移的普适性原则:

  • 明确迁移的边界,这里的边界包含两个部分:迁移方案的局限性、迁移粒度

    • 明确迁移方案的局限性,明确支持迁移的服务与不支持迁移的服务。例如在我们这次迁移过程中,明确了对消费端服务RPC框架版本的要求,明确了不支持消息的迁移。在做迁移服务梳理的时候,我们就需要初步识别并择出这部分边界外的服务,在代码迁移过程中,也要留意是否有遗漏的没有排除干净的服务。
    • 明确迁移粒度,固定迁移的粒度后能够将应用垂直进行拆解,合理规划应用拆分后的边界。例如在我们方案中,迁移明确的以RPC服务为粒度,做迁移梳理时每个迁移模块的都是一个垂直的RPC服务,每个RPC服务的归属领域清晰,同时迁移方案调研时能明确的从RPC服务出发,来输出一个横向解决所有RPC服务迁移的解决方案。
  • 关注拆分本身,迁移过程保持新老应用代码的一致性,需要做到:

    • 不做代码重构。代码迁移过程也是一次代码review过程,中间或许会发现以前写的代码不优雅不简洁,或有设计缺陷,这时我们应该做的是保持代码的一致性。线上运行的代码往往有QA的测试用例与回归验证覆盖,保证风险收敛在可控的范围内。而迁移过程的每一行代码变更,都有可能成为逃逸在测试用例与回归验证外的“地雷”。
    • 不夹带私货。这与不做代码重构略有重叠,说的是代码迁移过程要干净,杜绝在代码迁移过程中顺带实现额外的业务逻辑,做“功能拓展”。
  • 要迁的干净,代码迁移不仅包含应用内的代码,还需要关注应用外的与应用绑定的配置与逻辑:

    • 中间件相关配置:例如应用上的RPC框架配置,数据库中间件配置,开关配置,配置中心的配置等都需要关注是否和应用绑定,在代码迁移的时候也要将相关配置迁出
    • 中台相关配置:例如闲鱼可能依赖了关键词过滤中台,将代码迁移过程,也需要迁移中台相关配置,为新应用配置中台权限。

3. 流量迁移

在运行期的流量迁移环节,我们主要考虑的两个问题是:

  • 迁移成本:idlecenter中的服务依赖拓扑复杂。推动一个服务迁移可能牵涉到多个上游消费端服务,需要多个团队人员的配合,需要极高的时间与人力成本。如何减少迁移的成本。
  • 稳定性:流量迁移就是高速公路上边跑边换引擎,我们需要如何保障流量迁移过程的稳定性。

3.1. 迁移方案

太高昂的迁移成本会为迁移项目的推进增加很多阻力,因此在方案调研阶段,需要关注迁移成本问题。
我们在方案调研阶段明确了目标:

  • 迁移过程流量可控,具备灰度切流的能力,这是流量迁移稳定性的基础
  • 迁移不需要改造服务消费方代码。改造成本尽可能低
  • 迁移过程能够对服务消费方透明,可以在服务消费方无感知的情况下完成平滑迁移

最终我们设计了基于HSF路由功能的平迁方案。

HSF全称High-Speed Service Framework, 是一个集团内的RPC框架。直接对标的产品是Dubbo。其运行机制总体如下:

引用自hsf-guide文档

涉及核心组件:

  • 注册中心:用于服务注册发现
  • 规则中心:可以配置和推送服务治理规则。应用开发人员可以在控制台编辑保存规则,规则中心中间件会推送到所有指定服务端。

我们方案复用了HSF框架中的服务调用路由规则能力。通过路由规则介入服务消费方的选址逻辑,完成服务提供方的流量迁移。

基于HSF的平迁方案,我们实现了:

  • 服务消费方零改造成本。
  • 迁移过程对服务消费方透明。

最终体现在人力成本上的结果是:迁移成本降到最低,一个人一个星期可以完成一个服务的迁移上线。

解决了迁移成本的问题后,我们需要解决迁移最重要的问题:稳定性保障。

3.2 稳定性建设

关于流量迁移过程的稳定性,我们的思路是复用集团内部沉淀的安全生产方法论——安全生产三板斧:可灰度、可观测、可回滚。围绕安全生产三板斧构建稳定性体系。

可灰度实际就是对HSF平迁方案的灰度能力做验证,确保应用在平迁过程中流量分布能符合预期。我们需要考虑的问题有:

  • 灰度能力:HSF平迁方案是否具备灰度能力
  • 流量倾斜验证:HSF路由规则是否会导致流量倾斜。逻辑机房之间的流量,逻辑机房内机器的流量是否均匀分布。
  • RT影响验证:HSF路由规则额外带来的路由选址环节,带来的RT影响有多少,是否在可接受范围内
  • 切流流量无损验证:调整灰度权重过程中,是否能平滑,是否会导致流量损失

其次,我们需要验证HSF平迁方案的可回滚能力:

  • 回滚能力:HSF平迁方案是否具备回滚能力
  • 回滚生效时间:HSF平迁方案回滚生效时间

针对以上待验证点,我们在测试环境做方案POC验证,输出了《HSF平迁方案可行性报告》。简单总结验证结果:

  • 方案具备灰度能力、回滚能力
  • RT影响在3ms以内,可以忽略不计
  • 机房间,机房内流量均匀分布,不会带来切流流量损失或导致流量倾斜问题
  • 路由回滚生效时间在1s以内

可灰度与可回滚能力解决了发布过程中影响面可控的问题。而可观测性是我们稳定性保障的最后一道屏障。可观测性是否准确细致决定了我们灰度平迁过程能否平稳落地。

在我们实践中可观测性建设分为两个部分:

  • 从监控告警出发,我们需要case by case梳理业务背景,针对性的配置监控告警,例如对于敏感词过滤服务,我们不仅需要关注它的调用成功率,也要关注服务的敏感词命中率。除了业务层面的监控,我们再配合配置资源层面的监控,例如流量分布、QPS、CPU内存使用率,来整体的把握服务健康状态
  • 新服务发布上线后,我们需要QA介入对服务进行回归验证。平迁服务我们关注的是新老服务提供的代码逻辑是否是一致的。为此我们接入了集团内的凤凰回归平台,凤凰能够录制线上流量,并在指定的灰度机器上回放,能快速验证新老应用服务逻辑是否保持一致。

在稳定性体系的建设下,我们最终实现了迁移零故障的成绩。

4. 最后

最后,要做好应用迁移还有非常重要的一点:做好checklist。提前制定好迁移步骤,切流放量节奏;每次放量时能对影响面有大概量级的评估,在上线前能在测试环境完整演练一遍流程。
这里我列出我们迁移过程的checklist模板:

  • 迁移确认

    • RPC框架版本、与路由规则互斥的其他规则
    • 中间件配置、中台配置迁出确认
    • 新应用权限确认
  • 消费端服务消费场景

    • 消费场景、QPS量级
  • 资源评估
  • 监控告警配置
  • 回归策略
  • 应急预案
  • 发布流程

    • 切流时间、切流权重
    • 影响请求量
    • 切流路由规则

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Kubernetes 应用迁移
本文主要为大家介绍使用Velero Restic快速完成云原生应用及PV数据从自建Kubernetes迁移到阿里云Kubernetes集群的实践过程。 此过程也同样适用于其他云厂商Kubernetes集群内的应用及PV数据迁移至阿里云Kubernetes集群。
590 0
Kubernetes应用迁移至ACK(二) Kubernetes应用及PV数据迁移
本文记录使用Velero快速完成云原生应用及PV数据从自建Kubernetes迁移到ACK的实践过程。 此过程也同样适用于其他云厂商Kubernetes集群内的应用及PV数据迁移至ACK。 在本示例中, 我们将对自建Kubernetes集群中的一个wordpress应用整体迁移上云到ACK,其中数据备份采用阿里云OSS服务,安全稳定。 ## Kubernetes应用及PV数据迁移ACK概览
587 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4620 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
8268 0
Docker Windows Server 应用迁移计划上线,让您轻松处理旧版应用程序!
上周,我们发布了 Docker Windows Server 应用程序迁移计划,旨在帮助公司快速、轻松地迁移应用程序以及对旧版的 Windows Server 2008 应用程序进行现代化改造,同时推动在任何地方的任何应用程序进行持续创新。
1805 0
闲鱼应用迁移实践
闲鱼应用迁移实践
44 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
3665 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
17381 0
应用数据迁移网络异常案例分析
某客户计划通过P2V工具迁移500台ECS镜像至阿里云华北1(青岛),在应用数据迁移传输过程中是把用户的系统盘、数据盘的数据通过公网传输到阿里云中转ECS实例上。6.12-6.13号批量迁移100台基本正常,从2018.6.13号晚10点左右开始连接阿里云中转ECS实例就出现中断,现象为在客户端telnet中转ECS实例8703端口提示Connection closed by foreign host. 但检查中转ECS实例的http 服务8080正常,而且其它地方测试中转ECS实例8073端口、8080端口服务均正常。
2475 0
+关注
闲鱼技术
阿里巴巴旗下,闲鱼技术团队官方账号 简历投递:guicai.gxy@alibaba-inc.com
251
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载