开发者社区> 花肉酱> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

蚂蚁金服通信框架SOFABolt解析|超时控制机制及心跳机制

简介: SOFAScalable Open Financial Architecture 是蚂蚁金服自主研发的金融级分布式中间件,包含了构建金融级云原生架构所需的各个组件,是在金融场景里锤炼出来的最佳实践。
+关注继续查看

SOFA
Scalable Open Financial Architecture

是蚂蚁金服自主研发的金融级分布式中间件,包含了构建金融级云原生架构所需的各个组件,是在金融场景里锤炼出来的最佳实践。

本文为《蚂蚁金服通信框架 SOFABolt 解析》系列第五篇,作者胡萝卜、丞一。

《蚂蚁金服通信框架 SOFABolt 解析》系列由 SOFA 团队和源码爱好者们出品。

SOFARPC: https://github.com/alipay/sofa-rpc

SOFABolt: https://github.com/alipay/sofa-bolt

前言

SOFABolt是一个基于 Netty 最佳实践的轻量、易用、高性能、易扩展的通信框架。目前已经运用在了蚂蚁中间件的微服务,消息中心,分布式事务,分布式开关,配置中心等众多产品上。

本文将分析SOFABolt的超时控制和心跳机制。

超时

在程序中,超时一般指的是程序在特定的等待时间内没有得到响应,网络通信问题、程序BUG等等都会引起超时。系统引入超时机制往往是为了解决资源的问题,比如一个同步RPC请求,在网络不稳定的情况下可能一直无法得到响应,那么请求线程将一直等待结果而无法执行其它任务,最终导致所有线程资源耗尽。超时机制正是为了解决这样的问题,在特定的等待时间之后触发一个“超时事件”来释放资源。

在一个网络通信框架中,超时问题无处不在,连接的建立、数据的读写都可能遇到超时问题。并且网络通信框架作为分布式系统的底层组件,需要管理大量的连接,如何建立一个高效的超时处理机制就成为了一个问题。

时间轮(TimeWheel)

在网络通信框架中动辄管理上万的连接,每个连接上都有很多的超时任务,如果每个超时任务都启动一个java.util.Timer,不仅低效而且会占用大量的资源。George Varghese 和 Tony Lauck在1996年发表了一篇论文:《Hashed and Hierarchical Timing Wheels: EfficientData Structures for Implementing a Timer Facility》来高效的管理和维护大量的定时任务。

timewheel.jpg | left | 412x227

时间轮其实就是一种环形的数据结构,可以理解为时钟,每个格子代表一段时间,每次指针跳动一格就表示一段时间的流逝(就像时钟分为60格,秒针没跳动一格代表一秒钟)。时间轮每一格上都是一个链表,表示对应时间对应的超时任务,每次指针跳动到对应的格子上则执行链表中的超时任务。时间轮只需要一个线程执行指针的“跳动”来触发超时任务,且超时任务的插入和取消都是O(1)的操作,显然比java.util.Timer的方式要高效的多。

SOFABolt的超时控制机制

image.png | left | 631x583

如上图所示,SOFABolt中支持四中调用方式:

  • oneway:不关心调用结果,所以不需要等待响应,那么就没有超时
  • sync:同步调用,在调用线程中等待响应
  • future:异步调用,返回future,由用户从future中获取结果
  • callback:异步调用,异步执行用户的callback
    在oneway调用中,因为并不关心响应结果,所以没有超时的概念。下面具体介绍SOFABolt中同步调用(sync)和异步调用(futurecallback)的超时机制实现。

同步调用的超时控制实现

同步调用中,每一次调用都会阻塞调用线程等待服务端的响应,这种场景下同一时刻产生最大的超时任务取决于调用线程的数量。线程资源是非常昂贵的,用户的线程数是相对可控的,所以这种场景下,SOFABolt使用简单的java.util.concurrent.CountDownLatch来实现超时任务的触发。

image.png | left | 738x722

SOFABolt同步调用的代码如上,核心逻辑是:

  1. 创建InvokeFuture
  2. 在Netty的ChannelFuture中添加Listener,在写入操作失败的情况下通过future.putResponse方法修改Future状态(正常服务端响应也是通过future.putResponse来改变InvokeFuture的状态的,这个流程不展开说明)
  3. 写入出现异常的情况下也是通过future.putResponse方法修改Future状态
  4. 通过future.waitResponse来执行等待响应
    其中和超时相关的是future.waitResponse的调用,InvokeFuture内部通过java.util.concurrent.CountDownLatch来实现超时触发。

image.png | left | 666x178

java.util.concurrent.CountDownLatch#await(timeout, timeoutUnit)方法实现了等待一段时间的逻辑,并且通过countDown方法来提前中断等待,SOFABolt中InvokeFuture通过构建new CountDownLatch(1)的实例,并将await和countDown方法包装为awaitResponse和putResponse来实现同步调用的超时控制。

异步调用的超时控制实现

相对于同步调用,异步调用并不会阻塞调用线程,那么超时任务的数量并不受限于线程对的数量,用户可能通过一个线程来触发量大的请求,从而产生大量的定时任务。那么我们需要一个机制来管理大量的定时任务,并且作为系统底层的通信框架,需要保证这个机制尽量少的占用资源。上文已经提到TimeWheel是一个非常适合于这种场景的数据结构。
Netty中实现了TimeWheel数据结构:io.netty.util.HashedWheelTimer,SOFABolt异步调用的超时控制直接依赖于Netty的io.netty.util.HashedWheelTimer实现。
Future模式和Callback模式在超时控制机制上一致的,下面以Callback为例分析异步调用的超时控制机制。

image.png | left | 747x901

SOFABolt异步调用的代码如上,核心逻辑是:

  1. 创建InvokeFuture
  2. 创建Timeout实例,Timeout实例的run方法中通过future.putResponse来修改InvokeFuture的状态
  3. 在Netty的ChannelFuture中添加Listener,在写入操作失败的情况下通过future.cancelTimeout来取消超时任务,通过future.putResponse来修改InvokeFuture的状态
  4. 在写入异常的情况下同样通过future.cancelTimeout来取消超时任务,通过future.putResponse来修改InvokeFuture的状态
    在异步调用的实现中,通过Timeout来触发超时任务,相当于同步调用中的java.util.concurrent.CountDownLatch#await(timeout, timeoutUnit)。Future#cancelTimeout()方法则是调用了Timeout的cancel来取消超时任务,相当于同步调用中通过java.util.concurrent.CountDownLatch#countDown()来提前结束超时任务。具体超时任务的管理则全部委托给了Netty的Timer实现。

另外值得注意的一点是SOFABolt在使用Netty的Timer时采用了单例的模式,因为一般情况下使用一个Timer管理所有的超时任务即可,这样可以节省系统的开销。

Fail-Fast机制

以上关于SOFABolt的超时机制介绍都是关于SOFABolt客户端如何完成高效的超时任务管理的,其实在SOFABolt的服务端同样针对超时的场景做了优化。
客户端为了应对没有响应的情况,增加了超时机制,那么就可能存在服务端返回一个响应但是客户端在收到这个响应之前已经认为请求超时了,移除了相关的请求上下文,那么这个响应对客户端来说就没有意义了。既然这个响应对客户端来说是没有意义的,那么服务端其实可以进一步优化:在确认请求已经超时的情况下,服务端可以直接丢弃请求来减轻服务端的处理负担,SOFABolt把这个机制称为Fail-Fast。

image.png | left | 747x282

如上图所示,请求可能在服务端积压了一段时间,此时这些请求在客户端看来已经超时了,如果服务端继续处理这些超时的请求,第一请求的响应最终会被客户端丢弃;第二可能加剧服务端的压力导致后续更多请求超时。通过Fail-Fast机制直接丢弃掉这批请求能减轻服务端的负担使服务端尽快恢复并提供正常的服务能力。
Fail-Fast机制是一个明显的优化手段,唯一面临的问题是如何确定一个请求已经超时。注意,一定不要依赖跨系统的时钟,因为时钟可能不一致,从而导致未超时的请求被误认为超时而被服务端丢弃。
SOFABolt采用了请求被处理时的时间和请求到达服务端的时间来判定请求是否已经超时,如下图所示:

image.png | left | 747x242

这样会有一小部分客户端认为已经超时的请求服务端还会处理(因为网络传输是需要时间的),但是不会出现误判的情况。

SOFABolt的心跳机制

除了上文提供的超时机制外,在通信框架中往往还有另一类超时,那就是连接的超时。
我们知道,一次 tcp 请求大致分为三个步骤:建立连接、通信、关闭连接。每次建立新连接都会经历三次握手,中间包含三次网络传输,对于高并发的系统,这是一笔不小的负担。所以在通信框架中我们都会维护一定数量的连接,其中一个手段就是通过心跳来维持连接,避免连接因为空闲而被回收。
Netty提供了IdleStateHandler,如果连接空闲时间过长,则会触发IdleStateEvent。SOFABolt基于IdleStateHandler的IdleStateEvent来触发心跳,一来这样可以通过心跳维护连接,二来基于IdleStateEvent可以减少不必要的心跳。
SOFABolt心跳相关的处理有两部分:客户端发送心跳,服务端接收心跳处理并返回响应。

image.png | left | 747x1612

上面是客户端触发心跳后的代码,当客户端接收到IdleStateEvent时会调用上面的heartbeatTriggered方法。
在Connection对象上会维护心跳失败的次数,当心跳失败的次数超过系统的最大次时,主动关闭Connection。如果心跳成功则清除心跳失败的计数。同样的,在心跳的超时处理中同样使用Netty的Timer实现来管理超时任务(和请求的超时管理使用的是同一个Timer实例)。

image.png | left | 747x974

RpcHeartbeatProcessor是SOFABolt对心跳处理的实现,包含对心跳请求的处理和心跳响应的处理(服务端和客户端复用这个类,通过请求的数据类型来判断是心跳请求还是心跳响应)。
如果接收到的是一个心跳请求,则直接写回一个HeartbeatAckCommand(心跳响应)。如果接收到的是来自服务端的心跳响应,则从Connection取出InvokeFuture对象并做对应的状态变更和其他逻辑的处理:取消超时任务、执行Callback。如果无法从Connection获取InvokeFuture对象,则说明客户端已经判定心跳请求超时。
另外值得注意的一点是,SOFABolt中心跳请求和心跳响应对象都只包含RequestCommand和ResponseCommand的必要字段,没有额外增加任何属性,这也是为了减少不必要的网络带宽的开销。

总结

本文简单的介绍了TimeWheel的原理,SOFABolt的超时控制机制和心跳机制的实现。SOFABolt基于高效的TimeWheel实现了自己的超时控制机制,同时增加Fail-Fast策略优化服务端对超时请求的处理。另外SOFABolt默认实现了连接的心跳机制,以保持系统空闲时连接的可用性,这些都为SOFABolt的高性能打下了坚实的基础。
image | left | 216x216

长按关注,获取分布式架构干货

欢迎大家共同打造 SOFAStack https://github.com/alipay

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【Java 并发编程】线程锁机制 ( 悲观锁 | 乐观锁 | CAS 三大问题 | ABA 问题 | 循环时间长问题 | 多个共享变量原子性问题 )
【Java 并发编程】线程锁机制 ( 悲观锁 | 乐观锁 | CAS 三大问题 | ABA 问题 | 循环时间长问题 | 多个共享变量原子性问题 )
65 0
搞定全局ID生成器:SpringBoot2.x 集成百度 uidgenerator
不成功,最后自己一步一步升级引入依赖,修改增加接口注入来源,最后成功。 升级成功后的源码地址
95 0
基于java(springboot+mybatis)网上音乐商城设计和实现以及论文报告
主要功能模块如下: (1) 用户登录和用户注册功能: ①用户注册 : 登录系统首页用户输入相关信息进行注册 ②用户登录 :
39 0
备战双 11!蚂蚁金服万级规模 K8s 集群管理系统如何设计?
作者 | 蚂蚁金服技术专家 沧漠 关注『阿里巴巴云原生』公众号,回复关键词“1024”,可获取本文 PPT。 前言 Kubernetes 以其超前的设计理念和优秀的技术架构,在容器编排领域拔得头筹。越来越多的公司开始在生产环境部署实践 Kubernetes,在阿里巴巴和蚂蚁金服 Kubernetes 已被大规模用于生产环境。
5521 0
【蚂蚁夜谈】——支付宝智慧旅游解决方案上线啦 蚂蚁金服开放平台
景区旅游年卡的游客们都知道传统的景区旅游年卡手续复杂麻烦,需本人携带身份证件到景区的年卡中心进行登记信息购买年卡,使用也得每次刷卡入园,如忘随身携带则无法入园,如果有遗失或损坏,还得重新补办;而对景区则除制作实体年卡,还需安排服务人员现场负责年卡的开卡激活,人力操作成本高。
391 0
蚂蚁金服分布式链路跟踪组件埋点机制 | 剖析
本文将根据 SOFATracer 自身 AP I的扩展点及已提供的插件源码来分析下 SOFATracer 插件的埋点机制。
1244 0
【Java学习笔记之二十九】Java中的"equals"和"=="的用法及区别
Java中的"equals"和"=="的用法及区别 在初学Java时,可能会经常碰到下面的代码: 1 String str1 = new String("hello"); 2 String str2 = new String("hello"); 3 System.
1055 0
SHEVDC平台及物联网技术产品选型
本文的整理自2017云栖大会-南京峰会上技术专家李学根的分享讲义,讲义以新能源汽车发展现状与未来前景为背景,介绍SHEVDC平台搭建设计与物联网技术产品选型应用,其分享的重点在于大数据并发与存储解决方案,与平台体系建设未来展望。
9453 0
+关注
花肉酱
以前端开发工程师的身份进入阿里云。曾负责阿里云容器服务运营,是云栖大会Tech Insight技术大会的策划人和执行人之一,后策划阿里云MVP项目,并致力于改善阿里云产品的用户体验。 现已加入蚂蚁金服,是金融级分布式架构 SOFASTACK 首席运营。
114
文章
2
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载