KiteQ —— 基于 go + protobuff 的消息队列

简介:

KiteQ 是一个基于 go + protobuff 实现的多种持久化方案的 mq 框架(消息队列)。

特性:

* 基于zk维护发送方、订阅方、broker订阅发送关系、支持水平、垂直方面的扩展
* 基于与topic以及第二级messageType订阅消息
* 基于mysql、文件存储方式多重持久层消息存储
* 保证可靠异步投递
* 支持两阶段提交分布式事务

工程结构:

kiteq/
├── README.md
├── binding           订阅关系管理处理跟ZK的交互
├── build.sh          安装脚本
├── client            KiteQ的客户端
├── doc               文档
├── handler           KiteQ所需要的处理Handler
├── kite_benchmark_xxx.go KiteQ的Benchmark程序
├── kiteq.go          KiteQ对外启动入口
├── protocol          KiteQ的协议包,基于PB和定义的Packet
├── server            KiteQ的Server端组装需要的组件
├── stat              状态信息统计
└── store             KiteQ的存储结构

概念:

* Binding:订阅关系,描述订阅某种消息类型的数据结构
* Consumer : 消息的消费方
* Producer : 消息的发送方
* Topic: 消息的主题比如 Trade则为消息主题,一般可以定义为某种业务类型
* MessageType: 第二级别的消息类型,比如Trade下存在支付成功的pay-succ-200的消息类型

架构图:


<a href=https://yqfile.alicdn.com/df7feda75ff9baaf14be1f1da8327a383b0e071c.png" >

文章转载自 开源中国社区 [http://www.oschina.net]

相关文章
|
16天前
|
存储 Go 索引
go语言中数组和切片
go语言中数组和切片
26 7
|
16天前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
16天前
|
程序员 Go
go语言中结构体(Struct)
go语言中结构体(Struct)
92 71
|
15天前
|
存储 Go 索引
go语言中的数组(Array)
go语言中的数组(Array)
100 67
|
18天前
|
Go 索引
go语言for遍历数组或切片
go语言for遍历数组或切片
88 62
|
20天前
|
并行计算 安全 Go
Go语言中的并发编程:掌握goroutines和channels####
本文深入探讨了Go语言中并发编程的核心概念——goroutine和channel。不同于传统的线程模型,Go通过轻量级的goroutine和通信机制channel,实现了高效的并发处理。我们将从基础概念开始,逐步深入到实际应用案例,揭示如何在Go语言中优雅地实现并发控制和数据同步。 ####
|
16天前
|
存储 Go
go语言中映射
go语言中映射
32 11
|
18天前
|
Go
go语言for遍历映射(map)
go语言for遍历映射(map)
29 12
|
17天前
|
Go 索引
go语言使用索引遍历
go语言使用索引遍历
26 9
|
17天前
|
Go 索引
go语言使用range关键字
go语言使用range关键字
24 7
下一篇
DataWorks