Beanstalkd 介绍

简介: Beanstalkd 是最近出现的一个轻量级消息中间件,他的最大特点是将自己定位为基于管道  (tube) 和任务 (job) 的工作队列 (work-queue):   “(Beanstalkd) is a simple, fast workqueue service.

Beanstalkd 是最近出现的一个轻量级消息中间件,他的最大特点是将自己定位为基于管道  (tube) 和任务 (job) 的工作队列 (work-queue):

 

Beanstalk

“(Beanstalkd) is a simple, fast workqueue service. Its interface is generic, but was originally designed for reducing the latency of page views in high-volume web applications by running time-consuming tasks asynchronously.”

 

Beanstalkd 支持任务优先级 (priority), 延时 (delay), 超时重发 (time-to-run) 和预留 (buried), 能够很好的支持分布式的后台任务和定时任务处理。

 

它的内部实现采用 libevent, 服务器-客户端之间用类似 memcached 的轻量级通讯协议,因此有很高的性能:

 

Beanstalkd

 

尽管是内存队列, beanstalkd 提供了 binlog 机制, 当重启 beanstalkd 时,当前任务状态能够从纪录的本地 binlog 中恢复。

 

管道 (tube):

管道类似于消息主题 (topic), 在一个 Beanstalkd 中可以支持多个管道, 每个管道都有自己的发布者 (producer) 和消费者 (consumer). 管道之间互相不影响。 

 

任务 (job):

Beanstalkd 用任务 (job) 代替消息 (message) 的概念。与消息不同,任务有一系列状态:

 

Beanstalkd

 

READY - 需要立即处理的任务,当延时 (DELAYED) 任务到期后会自动成为当前任务;

DELAYED - 延迟执行的任务, 当消费者处理任务后, 可以用将消息再次放回 DELAYED 队列延迟执行;

RESERVED - 已经被消费者获取, 正在执行的任务。Beanstalkd 负责检查任务是否在 TTR(time-to-run) 内完成;

BURIED - 保留的任务: 任务不会被执行,也不会消失,除非有人把它 "踢" 回队列;

DELETED - 消息被彻底删除。Beanstalkd 不再维持这些消息。

 

任务优先级 (priority):

任务 (job) 可以有 0~2^32 个优先级, 0 代表最高优先级。 beanstalkd 采用最大最小堆 (Min-max heap) 处理任务优先级排序, 任何时刻调用 reserve 命令的消费者总是能拿到当前优先级最高的任务, 时间复杂度为 O(logn). 

 

延时任务 (delay):

有两种方式可以延时执行任务 (job): 生产者发布任务时指定延时;或者当任务处理完毕后, 消费者再次将任务放入队列延时执行 (RELEASE with <delay>)。这种机制可以实现分布式的 java.util.Timer,这种分布式定时任务的优势是:如果某个消费者节点故障,任务超时重发 (time-to-run) 能够保证任务转移到另外的节点执行。

 

任务超时重发 (time-to-run):

Beanstalkd 把任务返回给消费者以后:消费者必须在预设的 TTR (time-to-run) 时间内发送 delete / release/ bury 改变任务状态;否则 Beanstalkd 会认为消息处理失败,然后把任务交给另外的消费者节点执行。如果消费者预计在 TTR (time-to-run) 时间内无法完成任务, 也可以发送 touch 命令, 它的作用是让 Beanstalkd 从系统时间重新计算 TTR (time-to-run).

 

任务预留 (buried):

如果任务因为某些原因无法执行, 消费者可以把任务置为 buried 状态让 Beanstalkd 保留这些任务。管理员可以通过 peek buried 命令查询被保留的任务,并且进行人工干预。简单的, kick <n> 能够一次性把 n 条被保留的任务踢回队列。

 

Beanstalkd 协议:

Beanstalkd 采用类 memcached 协议, 客户端通过文本命令与服务器交互。这些命令可以简单的分成三组: 

 

生产类 - use <tube> / put <priority> <delay> <ttr> [bytes]:  

生产者用 use 选择一个管道 (tube), 然后用 put 命令向管道发布任务 (job).

 

消费类 - watch <tubes> / reserve / delete <id> / release <id> <priority> <delay> / bury <id> / touch <id>

消费者用 watch 选择多个管道 (tube), 然后用 reserve 命令获取待执行的任务,这个命令是阻塞的。客户端直到有任务可执行才返回。当任务处理完毕后, 消费者可以彻底删除任务 (DELETE), 释放任务让别人处理 (RELEASE), 或者保留 (BURY) 任务。

 

维护类 - peek job / peek delayed / peek ready / peek buried / kick <n>

用于维护管道内的任务状态, 在不改变任务状态的条件下获取任务。可以用消费类命令改变这些任务的状态。

被保留 (buried) 的任务可以用 kick 命令 "踢" 回队列。

 

协议文档: https://raw.github.com/kr/beanstalkd/master/doc/protocol.txt

 

Beanstalkd 不足:

Beanstalkd 没有提供主备同步 + 故障切换机制, 在应用中有成为单点的风险。实际应用中,可以用数据库为任务 (job) 提供持久化存储。

 

Beanstalkd

 

另外, 和 memcached 类似, Beanstalkd 依赖 libevent 的单线程事件分发机制, 不能有效利用多核 cpu 的性能。这一点可以通过单机部署多个实例克服。

 

官方网站见 http://kr.github.com/beanstalkd/

 

参考资料:

http://adam.heroku.com/past/2010/4/24/beanstalk_a_simple_and_fast_queueing_backend/

http://nubyonrails.com/articles/about-this-blog-beanstalk-messaging-queue

http://abulman.co.uk/presentations/Beanstalkd-2010-05-06/

http://rdc.taobao.com/blog/cs/?p=1201

 

目录
相关文章
|
关系型数据库 MySQL 数据库
如何更改mysql可执行路径及更改mysql数据库文件路径
一、如何更改服务中MySQL的可执行文件路径: 解决方法:到注册表里HKEY_LOCAL_MECHINE---SYSTEM ---CurrentControlSet 更改查找一、 MySQL项值,然后改路径。
3643 0
|
消息中间件 Kafka Go
使用github.com/IBM/sarama 编写消费kafka的功能
使用github.com/IBM/sarama 编写消费kafka的功能
|
9月前
|
安全 网络协议 网络安全
无需花钱!教你申请免费 IP 地址 SSL 证书的完整指南
为IP地址配置SSL证书较为复杂,因大多数免费SSL证书仅支持域名验证,而不支持IP地址。SSL证书基于域名进行身份验证,而IP地址缺乏类似机制。通常,免费证书提供商如Let&#39;s Encrypt不支持IP地址,但JoySSL提供针对IP地址的免费试用SSL证书服务。用户需访问JoySSL官网注册并填写特定注册码230922获取资格,后续按提示提交申请并验证IP地址所有权。审核通过后可获得证书。JoySSL还提供多样化的证书选择、简便申请流程和优质技术支持,满足不同需求。
|
机器学习/深度学习 缓存 编解码
AIGC 商业化道路探索 - Stable Diffusion 商业化应用(上)
Stable Diffusion 应用到商业领域的案例越来越多,商用场景下的技术架构应当如何构建?本文基于阿里云近期的一个 Stable Diffusion 商业案例,对大规模底模切换、大量 LoRA 调优的场景提出一个商业场景适用的技术架构,并已实现部署交付,稳定运行。
|
缓存 监控 Kubernetes
go-zero解读与最佳实践(上)
go-zero解读与最佳实践(上)
|
API 开发者
Mailchimp邮箱API发送邮件的效果如何
Mailchimp的邮箱API让开发者能集成其功能,实现邮件自动化发送和营销管理。它提供丰富的模板、设计工具和强大的分析,助用户创建吸引人的邮件并追踪效果。通过获取API密钥并参照文档,开发人员可将Mailchimp整合进应用。Mailchimp的优秀客户支持和效果评估工具确保了良好的发送体验,是高效发送和优化邮件的优选方案。
|
前端开发 JavaScript 应用服务中间件
前端 vite+vue3——写一个随机抽奖组件
前端 vite+vue3——写一个随机抽奖组件
372 1
|
缓存 前端开发 JavaScript
前端vue3分享——项目封装axios、vite使用env环境变量
前端vue3分享——项目封装axios、vite使用env环境变量
1438 0
|
Web App开发 Java Maven