汇报一下,闲鱼的ipv6改造之路

本文涉及的产品
.cn 域名,1个 12个月
简介: 势在必行,水到渠成

作者:闲鱼技术-靖杨

1、背景

  ipv6作为改进ipv4的下一代ip技术,其目的是为了解决ipv4地址枯竭的问题,同时在网络数据转发效率与安全性方面有很多改进。其第一版协议标准(RFC1883)早在1995年就已发布,但是由于现存ipv4网络升级成本较高以及ipv4自身的改进等种种原因直到最近几年ipv6才开始在全球范围内大规模应用。<br />      在我国从2018年5月工信部通知贯彻两办文件开始,三大运营商迅速完成移动端IPv6改造,并急速拉升用户量。闲鱼作为阿里巴巴旗下全球最大的闲置交易社区,为响应国家政策同时迎接未来技术的变革,开启了基于ipv6的技术改造。

2、IPV6应用架构分析

要让闲鱼app支持ipv6网络,势必需要理清现在完整的网络应用架构;由于阿里庞大复杂的技术体系,实际上可能很多同学也不太清楚我们的网络应用架构到底是什么样的,在此借此机会梳理了闲鱼完整的app网络应用架构:

闲鱼app网络应用架构


image.png
图1


如上图所示,端上发起一次请求后:

  1. 首先请求dns的服务解析域名地址。
  2. 对于图片、js等静态资源直接请求cdn服务获取。
  3. 对于业务接口通过https请求到LVS负载服务,然后转到aserver(类似ngnix的http代理服务器),再通过mtop将http请求转换成rpc调用到达后台服务。

ipv6解决方案

闲鱼的ipv6改造是基于阿里集团的ipv6架构实施的,有了上图的网络应用架构后,ipv6的解决方案看起来就很清晰了:


image.png
图2

请求流程:app--->VIP(NAT转换 TOC传递CIP)--->aserver(CIP打包装入Http header)-->mtop服务。
目前的方案是在LVS层通过阿里自研的技术将IPV6通过NAT技术转换成IPV4,然后将client ipv6信息通过http header传入下游服务,减少后端改造工作量;后续应用完全上云后是端到端的ipv6/4双栈支持。

3、改造原则

网络属于基础设施,改造过程中需要非常小心,否则容易引发大故障。在改造过程中我们总结了以下原则供参考:

  • 一定要可测试、可灰度、可实时监控诊断分析、可随时回退。
  • 必需能支持ipv4/ipv6双栈环境,确保ipv6即使出现问题也不影响用户。
  • 改造过程先小模块再全业务;先分支业务再核心业务。
  • 先android再ios;android上架灵活。
  • 上线过程中,先开启主业务服务域名放量,提升ipv6月活用户量,再开启cdn域名放量提升ipv6流量占比。
  • 主要做移动端改造,PC端流量很小,优先级较低。

4、改造上线步骤

整体改造步骤

image.png
图3

  1. 调研app端上修改点与后台服务修改点。
  2. app与后台服务基于ipv6改造升级。
  3. 支持ipv6的内侧app,测试版本app进行内部灰度。
  4. 支持ipv6的正式app,集成后线上开始灰度,并逐渐放量发布。
  5. 服务域名ipv6放量:主服务域名通过amdc控制用户ipv6的比例,逐步在各省市放量。
  6. cdn域名ipv6放量:静态页面、图片、视频,通过amdc精细化控制逐步在各省市放量。

具体的改造点

  1. 首先需要确保app集成的网络sdk库是支持ipv6的,如果不支持,需要升级sdk网络库或者应用自行开发。闲鱼使用的集团提供sdk网络库,升级到最新版本就支持ipv6环境了。
  2. 前端页面中使用到ip地址的逻辑需要支持ipv6格式。
  3. 后端业务逻辑中使用ip地址作为参数和数据库存储地方需要修改支持ipv6地址。
  4. 使用ip地址调用获取LBS的服务需要支持ipv6地址库。
  5. 用户画像、搜索、推荐使用到了用户ip的地方支持ipv6地址格式。

测试方法

  1. 需要确保本地ip是双栈环境。以WiFi网络为例:

网络环境.png
图4

  1. app端通过专用测试工具测试ipv6网络连接,比如www.dotouch.net.cn提供的app网络测试工具。里面会有详细的ipv4/6网络链接与流量统计信息。
  2. 使用web工具通过浏览器直接访问指定域名,统计ipv6访问的详细信息。
  3. 记录日志查看ip相关信息。

5、上线策略与监控

灰度上线:

1、支持ipv6 app上线:ipv6改造测试完成后,首先使用独立的app版本开始灰度发布,在这个过程中开启所有域名的ipv6策略,观察一段时间看是否运行稳定。灰度完成后,再将支持ipv6版本的特性合如主版本开始发布。
2、前端、服务端改造发布。
3、ipv6域名上线:通过amdc控制各个域名的放量比例,可以控制的维度包含:域名名称、appkey、省市地区、运营商。
在放量过程中一般是针对某个域名逐步进行放量,针对指定域名开启某些省份各个运营商的ipv6功能,开启时候按照百分比控制;开启ipv6功能后,后如果用户处在双栈网络环境(同时支持ipv4与ipv6),那么优先走ipv6的网络,如果用户当前只有ipv4 only环境,app自动切换到ipv4网络。
一个具体放量配置如下:
image.png
图5

ipv6监控

我们使用集团提供的一些工具监控以下信息:

  1. ipv6 cdn的网络质量。
  2. ipv6 cdn流量占比。
  3. 接口请求时延、超时率、错误率。
  4. 使用ipv6网络的用户dau、mau统计信息。

6、效果与展望

自去年底闲鱼app支持ipv6上线以来,逐步开启了各个省市的放量,目前ipv6的日活用户占比达到了55%左右。业务运行稳定,未来我们会进一步开启相关域名的ipv6能力,提升ipv6用户的日活占比与流量占比。ipv6技术具有更高的网络报文转发效率与更强的安全性,随着集团ipv6技术的持续增强,相信未来我们可以给用户提供更好的使用体验。


相关实践学习
Serverless极速搭建Hexo博客
本场景介绍如何使用阿里云函数计算服务命令行工具快速搭建一个Hexo博客。
相关文章
|
22天前
|
网络虚拟化
技术经验分享:H3C链路聚合
技术经验分享:H3C链路聚合
|
2月前
|
监控 Java 应用服务中间件
长连接网关技术专题(九):去哪儿网酒店高性能业务网关技术实践
本文针对去哪儿网酒店业务网关的吞吐率下降、响应时间上升等问题,进行全流程异步化、服务编排方案等措施,进行了高性能网关的技术优化实践。
57 0
|
11月前
关于短剧cps分销系统开发详细逻辑丨案例开发丨方案设计丨源码说明
短剧CPS系统的开发可以提升创作效率、内容管理效率和分发渠道的扩展。它为短剧的创作者、制片方、编辑和观众提供了更好的使用体验,促进了短剧产业的发展和商业化。
|
2月前
|
存储 JSON Java
线上业务优化之案例实战
线上业务优化之案例实战
|
9月前
|
BI Sentinel
最新发布!阿里巴巴内部实战AlibabaSentinel高并发流量治理手册
为什么要使用Sentinel? Sentinel使用简单、配置灵活,可将Sentinel的动态数据源接口与配置中心结合使用,动态地改变流量规则。Sentinel提供的流量控制功能有限流、熔断、系统自适应、授权等。笔者当时使用了熔断和系统自适应功能应对突增流量导致服务雪崩的问题,同时使用限流功能并结合信号量隔离、匀速限流效果控制器,应对内部定时任务瞬时高并发调用某服务接口的问题。
82 0
最新发布!阿里巴巴内部实战AlibabaSentinel高并发流量治理手册
|
11月前
什么是短剧cps项目系统开发丨短剧cps分销模式系统开发技术案例/详情案例/设计方案/源码程序
Short plays, also known as short plays, refer to theatrical works that showcase the complete plot of a story in a relatively short period of time. It is usually relatively short, usually between a few minutes to a few tens of minutes.
|
11月前
|
新零售 搜索推荐 数据挖掘
短剧CPS系统开发规则详细/案例项目/成熟技术/源码方案
开发新零售是指利用科技和创新的方法,开发和构建与新零售概念相符的电子商务系统、应用和平台等,以满足消费者的个性化需求并提供全渠道的零售体验。
|
监控 安全 Java
全链路压测(2):方案调研和项目立项
一般来说,像生产全链路压测这种复杂的需要多个技术团队参与的复杂技术项目,在企业内部都会有一个项目申报和评估立项的过程。
全链路压测(2):方案调研和项目立项
|
Dubbo 安全 Java
聚焦稳定性,Dubbo 发版规划公布
Apache Dubbo 是一款微服务框架,为大规模微服务实践提供高性能 RPC 通信、流量治理、可观测性等解决方案, 涵盖 Java、Golang 等多种语言 SDK 实现。
聚焦稳定性,Dubbo 发版规划公布
|
消息中间件 JavaScript Java
老板,明年我来落地链路追踪-实现降本增效 | 上篇
老板,明年我来落地链路追踪-实现降本增效 | 上篇
522 0
老板,明年我来落地链路追踪-实现降本增效 | 上篇

热门文章

最新文章