我们来说一下无锁队列 Disruptor 的原理

简介: 我是小假 期待与你的下一次相遇 ~


一、为什么需要 Disruptor?—— 背景与问题

在高并发编程中,传统的队列(如 java.util.concurrent.ArrayBlockingQueueLinkedBlockingQueue)在高性能场景下会成为瓶颈,主要问题在于:

  1. 锁竞争:生产者和消费者之间使用同一把锁(或读写锁),导致线程频繁挂起、唤醒,上下文切换开销巨大。
  2. 伪共享:多个线程修改的、逻辑上独立但物理上相邻的变量,会因 CPU 缓存行的同步而导致性能急剧下降。
  3. 内存分配开销:对于链表结构的队列,每次入队出队都可能涉及节点对象的创建和垃圾回收,在高吞吐下 GC 压力大。
  4. 低效的遍历:队列的“头出尾入”设计,使得遍历和批量操作不够高效。

Disruptor 的目标就是解决这些问题,实现极低延迟、超高吞吐的线程间数据交换。

二、核心设计思想

Disruptor 不是一个传统意义上的 FIFO 队列,而是一个 基于数组的环形缓冲区(Ring Buffer) 。它的核心设计思想可以概括为以下几点:

1. 环形数组结构

image.gif 编辑

  • 使用一个固定大小的数组预先分配所有内存,避免运行时动态内存分配。
  • 数组元素(Event)在初始化时就全部创建好,并被重复使用。这消除了 GC 压力。
  • 通过取模运算(实际是高效的位运算,要求数组大小为2的幂次)实现环形覆盖,指针无限递增,永不回收。

2. 无锁设计

  • 核心操作(生产与消费)完全无锁(Lock-Free),通过内存屏障(Memory Barrier)CAS(Compare-And-Swap) 操作实现线程安全。
  • 生产者之间通过 CAS 竞争下一个可写的槽位。
  • 生产者和消费者之间通过序列(Sequence) 的协调来工作,消费者通过等待策略(Wait Strategy) 来感知新数据的到来。

3. 消除伪共享(Cache Line Padding)

  • 识别出会被多个线程频繁写入的关键变量(如生产者的 cursor,各个消费者的 Sequence)。
  • 通过在这些变量前后添加无意义的填充字节(padding),确保每个核心变量独占一个完整的 CPU 缓存行(通常为64字节),防止它们被意外地加载到同一个缓存行中,从而避免一个线程的写入使另一个线程的整个缓存行失效。

4. 批量与依赖关系

  • 支持批量处理事件,能极大提高吞吐量。
  • 可以显式地构建消费者之间的依赖关系图(如 A->B->CA,B 都完成 -> C),实现高效的工作流。

三、核心组件与原理

1. 环形缓冲区(Ring Buffer)

这是 Disruptor 的物理存储核心。它是一个固定大小的 Object[] 数组。每个位置被称为一个“槽”(slot)。

  • size:必须是2的幂次(如 1024)。这样 sequence % size 可以通过 sequence & (size - 1) 位运算高效完成。
  • cursor:生产者发布事件的序列号。它代表最后成功发布的事件的位置。这是一个 Sequence 对象
  • 缓冲区本身不维护“头”和“尾”指针,头和尾的概念由生产者和消费者的 Sequence 共同决定。

2. 序列(Sequence)

Disruptor 的灵魂。它是一个使用 padding 封装的长整型(long)值。

  • 所有需要追踪进度的组件都有自己的 Sequence
  • Ring Buffercursor(一个 Sequence)。
  • 每个 EventProcessor(消费者)有自己的 Sequence,表示自己已处理完成的位置。
  • 每个 Producer(如果是多生产者)也有自己的 Sequence
  • Sequence 的值单调递增,代表对应组件在环形缓冲区中的位置。
  • 通过比较不同 Sequence 的值,就能知道生产和消费的进度关系。

3. 序列屏障(Sequence Barrier)

消费者用来协调工作、控制进度的核心工具。

  • 它持有:
  1. 生产者(或上游消费者)的 cursor 引用。
  2. 所有它所依赖的消费者的 Sequence 引用(用于构建依赖图)。
  • 当一个消费者想要消费事件时,它会询问它的 SequenceBarrier:“我可以安全消费的下一个事件是什么?”
  • SequenceBarrier 的逻辑是:返回 min(生产者cursor, 所有依赖的消费者的Sequence) 。这确保了消费者不会超越其依赖者,从而实现了无锁的有序消费

4. 等待策略(Wait Strategy)

定义了消费者如何等待新事件的到来。这是影响延迟和 CPU 占用的关键。

  • BlockingWaitStrategy:使用锁和条件变量。最节省CPU,但延迟最高。适用于异步日志等场景。
  • SleepingWaitStrategy:先自旋,后 Thread.yield(),最后使用 LockSupport.parkNanos(1)。平衡延迟和CPU。
  • YieldingWaitStrategy:先自旋100次,然后调用 Thread.yield()。延迟低,但会占用较多CPU。适用于要求极高吞吐、线程数小于CPU核心数的场景。
  • BusySpinWaitStrategy:纯自旋。延迟最低,但疯狂消耗CPU。必须在绑定核心、线程数少于物理核心数的场景下使用。

5. 事件处理器(EventProcessor)

消费者的执行体。通常指 BatchEventProcessor

  • 它是一个线程,其 run() 方法内部是一个循环:
  1. 通过 SequenceBarrier.waitFor(nextSequence) 等待自己可用的最大 nextSequence
  2. 获取到 availableSequence 后,从自己的当前 sequenceavailableSequence 批量处理事件。
  3. 调用 EventHandler.onEvent() 处理每个事件。
  4. 处理完毕后,更新自己的消费者 Sequence 值。

6. 生产者(Producer)

负责向 Ring Buffer 发布事件。分为单生产者(Single Producer)多生产者(Multi Producer) 两种模式。

  • 发布过程(两阶段提交)
  1. 申请空间(Claim)
  • 单生产者:直接 nextSequence = cursor + 1(无竞争,无需CAS)。
  • 多生产者:通过 CAS 操作竞争递增一个 nextSequence
  1. 发布(Publish)
  • 生产者将数据写入 nextSequence 对应的 slot
  • 写入完成后,必须调用 RingBuffer.publish(sequence)
  • publish 方法会先添加内存屏障(store-store barrier,确保数据写入先于 cursor 更新),然后将 cursor 更新到 sequence
  • cursor 的更新会通知所有在 SequenceBarrier 上等待的消费者。

四、工作流程示例(单生产者 -> 单消费者)

  1. 初始化
  • Ring Buffer 大小为 8,cursor = -1
  • 消费者 Sequence = -1
  1. 生产者发布事件
  • 生产者需要发布事件 A。它申请下一个位置:next = cursor + 1 = 0
  • 它将事件 A 的数据写入 RingBuffer[0 & 7],即 RingBuffer[0]
  • 写入完成后,调用 publish(0),更新 cursor = 0
  1. 消费者消费事件
  • 消费者线程(BatchEventProcessor)在循环中调用 SequenceBarrier.waitFor(0)
  • SequenceBarrier 发现 cursor (0) >= 0,且没有依赖者,于是返回 availableSequence = 0
  • 消费者知道自己当前的 sequence (-1) < availableSequence (0),于是处理 RingBuffer[0] 的事件 A
  • 处理完成后,将自己的 Sequence 更新为 0
  1. 循环继续:生产者发布事件 Bslot 1,更新 cursor=1。消费者等待并处理,如此往复。

五、多消费者与依赖关系

这是 Disruptor 最强大的部分。例如,我们有三个消费者:C1(数据持久化),C2(数据统计),C3(发送消息,必须在 C1C2 都完成后进行)。

  1. 构建依赖图
RingBuffer -> C1
           -> C2
           -> C3 (依赖 C1 和 C2)
  1. image.gif
  2. C3SequenceBarrier 会持有 RingBuffer.cursorC1.sequenceC2.sequence
  3. C3 调用 waitFor 时,SequenceBarrier 返回的是 min(生产者cursor, C1.sequence, C2.sequence)
  4. 这意味着,即使生产者已经发布了事件 10,但只要 C1 才处理到 5C3 最多也只能拿到 5。这样就保证了 C3 不会跑到 C1 前面去,完全无锁地实现了依赖

六、总结:Disruptor 高性能的秘诀

  1. 预分配内存,消除GC:环形数组 + 对象复用。
  2. 无锁并发:CAS + 内存屏障,取代重量级锁。
  3. 消除伪共享:对关键序列进行缓存行填充。
  4. 批量处理:一次等待,处理多个事件,摊薄开销。
  5. 依赖关系感知:通过序列比较实现无锁的消费者协调,避免了“线程间握手”的开销。
  6. 关注点分离:将并发控制(Sequence, Barrier)、等待逻辑(WaitStrategy)、业务处理(EventHandler)清晰地解耦。


Disruptor 本质上是一种精心设计的内存队列,它将共享变量的数量降到最低(核心就是那几个 Sequence),并通过硬件友好的方式(缓存行填充、内存屏障)来操作它们,从而在软件层面最大限度地压榨出现代 CPU 和内存子系统的性能。它特别适用于金融交易、高频计算、事件溯源等对延迟和吞吐有极端要求的领域。


image.gif

相关文章
|
2月前
|
人工智能 安全 数据可视化
AI 编程让研发:聚焦核心,远离低效内耗
AI编程革新研发模式:通过规范驱动、沙箱防护、无缝协作与多模型适配,解决代码漏洞、安全风险、协作低效等痛点,让开发者聚焦创新,提升效率与质量,实现技术价值回归。
206 10
|
2月前
|
前端开发 算法
深度研究Agent架构解析:4种Agent架构介绍及实用Prompt模板
本文系统梳理了深度搜索Agent的主流架构演进:从基础的Planner-Only,到引入评估反馈的双模块设计,再到支持层次化分解的递归式ROMA方案。重点解析了问题拆解与终止判断两大核心挑战,并提供了实用的Prompt模板与优化策略,为构建高效搜索Agent提供清晰路径。
716 10
深度研究Agent架构解析:4种Agent架构介绍及实用Prompt模板
|
13天前
|
存储 人工智能 负载均衡
阿里云OpenClaw多Agent实战宝典:从极速部署到AI团队搭建,一个人=一支高效军团
在AI自动化时代,单一Agent的“全能模式”早已无法满足复杂任务需求——记忆臃肿导致响应迟缓、上下文污染引发逻辑冲突、无关信息加载造成Token浪费,这些痛点让OpenClaw的潜力大打折扣。而多Agent架构的出现,彻底改变了这一现状:通过“单Gateway+多分身”模式,让一个Bot在不同场景下切换独立“大脑”,如同组建一支分工明确的AI团队,实现创意、写作、编码、数据分析等任务的高效协同。
5997 31
|
3月前
|
监控 安全 Unix
iOS 崩溃排查不再靠猜!这份分层捕获指南请收好
从 Mach 内核异常到 NSException,从堆栈遍历到僵尸对象检测,阿里云 RUM iOS SDK 基于 KSCrash 构建了一套完整、异步安全、生产可用的崩溃捕获体系,让每一个线上崩溃都能被精准定位。
775 82
|
2月前
|
存储 弹性计算 安全
2026年阿里云便宜云服务器38元、99元、199元购买条件、各自性能优势与适用场景介绍
在阿里云2026年的活动中,推出了多款价格亲民的云服务器产品。轻量应用云服务器2核2G200M带宽 40G ESSD云盘 38元1年,经济型e实例2核2G3M带宽 40G ESSD Entry云盘特惠价99元1年,通用算力型u1实例2核4G5M带宽80G ESSD Entry云盘特惠价199元1年。本文将为大家介绍这三款热门低价云服务器的购买条件、性能优势与适用场景,以供用户了解他们之间的性能、使用场景区别及选择参考。
365 8
|
2月前
|
存储 人工智能 弹性计算
云原生AI赋能服务型民企转型:玄晶引擎基于阿里云生态的全链路落地实践
在数字经济深化背景下,服务型民企面临人力成本高、获客难、服务标准不一等转型困境。玄晶引擎依托阿里云云原生架构与AI技术,打造专为咨询、会计、人力资源等行业定制的数字化解决方案,通过AI智能体替代重复劳动、全矩阵精准获客、无人值守私域闭环三大模块,实现降本增效与服务标准化,助力企业构建可持续竞争壁垒。
121 9
|
2月前
|
人工智能 JSON 前端开发
智能体来了:从 0 到 1:企业级 LLM Agent 的工程化落地实践
本文作者Agentcometoo分享企业级AI Agent工程化落地实践,直击通用框架在真实业务中的四大痛点:多工具协同不可控、高并发状态难追踪、异常缺乏工程兜底、Debug成本高。提出轻量可控的ReAct架构,强调“可预测、可追踪、可兜底”,通过工具基类约束、主循环结构化输出、步数限制与日志追踪等工程手段,实现LLM Agent稳定上线。
225 8
|
2月前
|
机器学习/深度学习 人工智能 安全
“电不是不够,是调度太笨”:聊聊 AI 驱动的能源调度优化,到底在优化什么
“电不是不够,是调度太笨”:聊聊 AI 驱动的能源调度优化,到底在优化什么
146 10
|
2月前
|
消息中间件 JSON Kafka
“字段多一个,凌晨三点炸一次”:聊聊流数据里的 Schema 演化,到底该怎么扛
“字段多一个,凌晨三点炸一次”:聊聊流数据里的 Schema 演化,到底该怎么扛
136 10
|
2月前
|
JSON 监控 API
印度尼西亚(IDX)股票数据对接开发
本接口文档助力开发者快速接入印尼证券交易所(IDX)实时行情。通过`countryId=48`,可获取股票列表、指数、IPO日历、K线及公司基本面等全量金融数据,支持多周期K线与实时推送,一键打通东南亚市场投资洞察。