聊聊dubbo协议

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 协议通俗易懂地解释就是通信双方需要遵循的约定。我们了解的常见的网络传输协议有tcp、udp、http等。再到我们常用的基础组件,一般来说client端与server端也有相应的协议,如redis、mysql、zookeeper等都是各自约定的私有协议,同样今天标题中的dubbo协议也是一种私有协议,他们都是应用层协议,基于tcp或udp设计。

协议


协议通俗易懂地解释就是通信双方需要遵循的约定。


我们了解的常见的网络传输协议有tcp、udp、http等。再到我们常用的基础组件,一般来说client端与server端也有相应的协议,如redis、mysql、zookeeper等都是各自约定的私有协议,同样今天标题中的dubbo协议也是一种私有协议,他们都是应用层协议,基于tcp或udp设计。


通常应用层协议都是基于tcp和udp,可靠传输通常使用tcp,如大多数的基础组件,如redis、mysql。只有能容忍丢失且需要很高的性能时使用udp协议,比如metric上报等场景。


这里介绍几种基于tcp的应用协议。


redis协议


redis协议足够简单,所以先介绍一下。redis协议基于tcp设计,客户端和服务器发送的命令一律使用\r\n(CRLF)结尾。他的格式如下


*<参数数量> CRLF
$<参数1 字节数量> CRLF
<参数1的数据> CRLF
...
$<参数n 字节数量> CRLF
<参数n的数据> CRLF


举个例子,client向server端发送命令 set mykey myvalue


*3 CRLF
$3 CRLF
SET CRLF
$5 CRLF
mykey CRLF
$7 CRLF
myvalue CRLF


也就是 *3\r\n$3\r\nSET\r\n$5\r\nmykey\r\n$7\r\nmyvalue\r\n


关于redis协议更详细信息可以看这个链接:


http://redisdoc.com/topic/protocol.html


http协议


http协议是我们最常见的协议,它的请求报文格式是由三部分组成:


  • 请求行:包括method、url、version,由空格分隔,\r\n结尾
  • 请求头:多行,每行是key:value的格式,以\r\n结尾
  • 请求体:请求头与请求体直接由一个空白行分隔,请求体的长度在请求头中由content-length给出


redis和http协议的处理方式截然不同。他们都是基于tcp,而tcp协议传输的数据是流式的,通俗地说就是它就像水流,不断地发送字节,tcp保证不重复,不丢包。而接收端要拿到想要的数据必须得从流式的数据中“判断出数据包的边界”,这就是tcp的粘包问题,解决它通常有三种方法:


  1. 发送固定长度的消息
  2. 使用特殊标记区分消息间隔
  3. 将消息的尺寸和消息一起发送


redis协议使用了第2种,http和接下来要介绍的dubbo协议使用了第3种,固定长度的消息比较理想,在实际中很少遇到。


dubbo协议


由于dubbo支持的协议很多,本文提到的dubbo协议特指dubbo框架的默认协议,也就是dubbo的私有协议。它的格式如下:


  • 0-15: 魔数,判断是否是dubbo协议
  • 16: 判断是请求还是返回
  • 17: 判断是否期望返回
  • 18: 判断是否为事件消息,如心跳事件
  • 19-23: 序列化标志
  • 24-31: 标志响应状态(类似http status)
  • 32-63: 请求id
  • 64-95: 内容长度(字节)
  • 96-?: 序列化后的内容(换行符分隔)


常用的attachments在dubbo协议的哪里?


dubbo的attachments,我们通常将他类比为http协议的header,可以携带一些隐式的参数信息(不用编码到请求对象中),如压测标志等。从他的类型


private Map<String, String> attachments;


基本可以推断出attachments存在于dubbo协议的96字节之后的内容中,因为前面头的根本放不下这个map。


从dubbo的实现中可以看出,dubbo的一个请求被封装为一个

DecodeableRpcInvocation对象,里面包含了methodNameparameterTypesargumentsattachments等,将该对象序列化后填入dubbo协议的96字节后的内容中发送出去。


使用时,consumer端:


RpcContext.getContext().setAttachment("hello", "from_consumer");


provider端:


RpcContext.getContext().getAttachment("hello");


这里能看出dubbo协议相比较http协议来说设计的还是有所欠缺的,想要拿到一些隐式参数,或者想要知道请求发往哪里,必须得把请求体解析出来才可以,这也是dubbo协议往mesh方向发展的一个绊脚石。


dubbo协议支持在返回值中带回attachments吗?


consumer端向provider端发送请求可以在头部携带隐式参数,那么返回时也可以从provider端带回到consumer端吗?


比如provider回传给consumer它自身的处理耗时,consumer计算出请求的响应时间,两者相减即可得到网络耗时,此时provider端最好是将耗时放在attachments中隐式地传回。


dubbo的协议是请求和回复都是相同格式,理论上consumer可以带隐式参数到provider端,则provider端肯定也可以回传。


从dubbo的返回对象DecodeableRpcResult中可以看到是存在attachments的,但从实际的测试来看,2.7.x版本是不支持的,但2.6.x(>=2.6.3)版本是支持的。


provider端设置:


RpcContext.getServerContext().setAttachment("hello", "from_provider");


consumer端获取:


RpcContext.getServerContext().getAttachment("hello")


github上相关的issue链接如下:

https://github.com/apache/dubbo/pull/1843


协议和序列化有什么区别?


我们可能会经常听到这样的说法,dubbo除了dubbo协议外还支持rest、thrift、grpc等协议,也支持hessian、json序列化。协议与序列化是什么关系?


通过刚刚介绍的dubbo协议格式或许就能明白,dubbo协议是如上的格式包含了头和内容,其中96字节之后的内容是序列化后的内容,默认使用hessian2序列化,也可以修改为fastjson、gson、jdk等。只需要配置即可修改协议


<dubbo:protocol name="dubbo" serialization="fastjson"/>


如果非要做个类比的话,就是你不仅可以通过http协议传输json格式的数据,也可以传输xml格式的数据。http就是协议,json和xml就是序列化。


最后


dubbo协议的设计虽然有所欠缺,但依然不能阻止它成为dubbo使用最广泛的协议。



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
4月前
|
自然语言处理 Dubbo Java
【面试问题】Dubbo 推荐用什么协议?
【1月更文挑战第27天】【面试问题】Dubbo 推荐用什么协议?
|
4月前
|
Dubbo 网络协议 安全
【Dubbo 解析】Dubbo 支持哪些协议,它们的优缺点有哪些?
【1月更文挑战第11天】【Dubbo 解析】Dubbo 支持哪些协议,它们的优缺点有哪些?
|
2月前
|
Dubbo Cloud Native 网络协议
【Dubbo3技术专题】「服务架构体系」第一章之Dubbo3新特性要点之RPC协议分析介绍
【Dubbo3技术专题】「服务架构体系」第一章之Dubbo3新特性要点之RPC协议分析介绍
40 1
|
8月前
|
Dubbo Java 应用服务中间件
由浅入深Dubbo网络通信协议大全
由浅入深Dubbo网络通信协议大全
94 0
|
3月前
|
负载均衡 Dubbo Java
Dubbo 的心脏:理解和应用多种协议【十三】
Dubbo 的心脏:理解和应用多种协议【十三】
41 0
|
4月前
|
Dubbo Java 应用服务中间件
微服务框架(十七)Dubbo协议及编码过程源码解析
  此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker,及使用Spring Boot集成Dubbo、Mybatis等开源框架,其中穿插着Spring Boot中日志切面等技术的实现,然后通过gitlab-CI以持续集成为Docker镜像。   本文为Dubbo协议、线程模型、和其基于Netty的NIO异步通讯机制及源码
|
7月前
|
Dubbo Java 应用服务中间件
如何在Spring Boot项目中集成Dubbo并启用gRPC协议,来实现高效的分布式服务通信?
如何在Spring Boot项目中集成Dubbo并启用gRPC协议,来实现高效的分布式服务通信?
118 0
如何在Spring Boot项目中集成Dubbo并启用gRPC协议,来实现高效的分布式服务通信?
|
8月前
|
存储 Dubbo Java
dubbo 源码 v2.7 分析:通信过程及序列化协议
前面我们介绍了dubbo的核心机制,今天将开始分析远程调用流程。毕竟,作为一个rpc框架,远程调用是理论的核心内容。通过对dubbo相关实现的探究,深入了解rpc原理及可能的问题。
132 0
|
9月前
|
Dubbo Java 应用服务中间件
SpringBoot集成Dubbo启用gRPC协议
本文记录下SpringBoot集成Dubbo启用gRPC协议,以及与原生 gRPC 在代码编写过程中的区别。
137 0
|
9月前
|
JSON Dubbo JavaScript
Dubbo3 Triple 协议重磅升级:支持通过 HTTP 连通Web与后端微服务
阿里 [HSF2 框架已经完成到 Dubbo3 的全面升级](https://ata.atatech.org/articles/11000209827?spm=ata.25287382.0.0.26577536vUxJq6),阅读本文了解 Triple 协议工作原理。更多技术内容分享,请参见[官网博客](https://cn.dubbo.apache.org/zh-cn/blog/) ## 全新
318 0
Dubbo3 Triple 协议重磅升级:支持通过 HTTP 连通Web与后端微服务