开源项目推荐:主流RPC开源框架及知识科普

简介: 开源项目推荐:主流RPC开源框架及知识科普

什么是rpc框架?


先回答第一个问题:什么是RPC框架? 如果用一句话概括RPC就是:远程调用框架(Remote Procedure Call)

image.png


那什么是远程调用?

通常我们调用一个php中的方法,比如这样一个函数方法: localAdd(10, 20),localAdd方法的具体实现要么是用户自己定义的,要么是php库函数中自带的,也就说在localAdd方法的代码实现在本地,它是一个本地调用!

远程调用意思就是:被调用方法的具体实现不在程序运行本地,而是在别的某个远程地方。



最早在 Nelson 的论文中指出实现 RPC 的程序包括 5 个理论模型部分:


User

User-stub

RPCRuntime

Server-stub

Server


这 5 个部分的关系如下图所示:


image.png


这里 User 就是 Client 端。当 User 想发起一个远程调用时,它实际是通过本地调用 User-stub。 User-stub 负责将调用的接口、方法和参数通过约定的协议规范进行编码并通过本地的 RPCRuntime 实例传输到远端的实例。 远端 RPCRuntime 实例收到请求后交给 Server-stub 进行解码后发起向本地端 Server 的调用,调用结果再返回给 User 端。


远程调用原理

比如 A (client) 调用 B (server) 提供的remoteAdd方法:

首先A与B之间建立一个TCP连接;

然后A把需要调用的方法名(这里是remoteAdd)以及方法参数(10, 20)序列化成字节流发送出去;

B接受A发送过来的字节流,然后反序列化得到目标方法名,方法参数,接着执行相应的方法调用(可能是localAdd)并把结果30返回;A接受远程调用结果,输出30。

RPC框架就是把我刚才说的这几点些细节给封装起来,给用户暴露简单友好的API使用。


远程调用的好处

解耦:当server需要对方法内实现修改时,client完全感知不到,不用做任何变更;这种方式在跨部门,跨公司合作的时候经常用到,并且方法的提供者我们通常称为:服务的暴露。


RPC与Socket有什么区别?

通过上面的简单阐述,好像RPC与Socket 好像啊。都是调用远程的方法,都是client/server模式,我之前也写了一篇文章: 细说socket 那他们有啥区别呢?

RPC(远程过程调用)采用客户机/服务器模式实现两个进程之间相互通信。socket是RPC经常采用的通信手段之一,RPC是在Socket的基础上实现的,它比socket需要更多的网络和系统资源。除了Socket,RPC还有其他的通信方法,比如:http、操作系统自带的管道等技术来实现对于远程程序的调用。微软的Windows系统中,RPC就是采用命名管道进行通信。


RPC与REST有什么区别?

通过了解RPC后,我们知道是RPC是client/server模式的,调用远程的方法,REST也是我们熟悉的一套API调用协议方法,它也是基于client/server模式的,调用远程的方法的,那他俩又有啥区别呢?

REST API 和 RPC 都是在 Server端 把一个个函数封装成接口暴露出去,以供 Client端 调用,不过 REST API 是基于 HTTP协议的,REST致力于通过http协议中的POST/GET/PUT/DELETE等方法和一个可读性强的URL来提供一个http请求。而 RPC 则可以不基于 HTTP协议

因此,如果是后端两种语言互相调用,用 RPC 可以获得更好的性能(省去了 HTTP 报头等一系列东西),应该也更容易配置。如果是前端通过 AJAX 调用后端,那么用 REST API 的形式比较好(因为无论如何也避不开 HTTP 这道坎)。



本地过程调用


RPC就是要像调用本地的函数一样去调远程函数。在研究RPC前,我们先看看本地调用是怎么调的。假设我们要调用函数Multiply来计算lvalue * rvalue的结果:


int Multiply(int l, int r) {

   int y = l * r;

   return y;

}

int lvalue = 10;

int rvalue = 20;

int l_times_r = Multiply(lvalue, rvalue);


那么在第8行时,我们实际上执行了以下操作:


将 lvalue 和 rvalue 的值压栈

进入Multiply函数,取出栈中的值10 和 20,将其赋予 l 和 r

执行第2行代码,计算 l * r ,并将结果存在 y

将 y 的值压栈,然后从Multiply返回

第8行,从栈中取出返回值 200 ,并赋值给 l_times_r

以上5步就是执行本地调用的过程。


远程过程调用带来的新问题


在远程调用时,我们需要执行的函数体是在远程的机器上的,也就是说,Multiply是在另一个进程中执行的。这就带来了几个新问题:


Call ID映射。我们怎么告诉远程机器我们要调用Multiply,而不是Add或者FooBar呢?在本地调用中,函数体是直接通过函数指针来指定的,我们调用Multiply,编译器就自动帮我们调用它相应的函数指针。但是在远程调用中,函数指针是不行的,因为两个进程的地址空间是完全不一样的。所以,在RPC中,所有的函数都必须有自己的一个ID。这个ID在所有进程中都是唯一确定的。客户端在做远程过程调用时,必须附上这个ID。然后我们还需要在客户端和服务端分别维护一个 {函数 <--> Call ID} 的对应表。两者的表不一定需要完全相同,但相同的函数对应的Call ID必须相同。当客户端需要进行远程调用时,它就查一下这个表,找出相应的Call ID,然后把它传给服务端,服务端也通过查表,来确定客户端需要调用的函数,然后执行相应函数的代码。

序列化和反序列化。客户端怎么把参数值传给远程的函数呢?在本地调用中,我们只需要把参数压到栈里,然后让函数自己去栈里读就行。但是在远程过程调用时,客户端跟服务端是不同的进程,不能通过内存来传递参数。甚至有时候客户端和服务端使用的都不是同一种语言(比如服务端用C++,客户端用Java或者Python)。这时候就需要客户端把参数先转成一个字节流,传给服务端后,再把字节流转成自己能读取的格式。这个过程叫序列化和反序列化。同理,从服务端返回的值也需要序列化反序列化的过程。

网络传输。远程调用往往用在网络上,客户端和服务端是通过网络连接的。所有的数据都需要通过网络传输,因此就需要有一个网络传输层。网络传输层需要把Call ID和序列化后的参数字节流传给服务端,然后再把序列化后的调用结果传回客户端。只要能完成这两者的,都可以作为传输层使用。因此,它所使用的协议其实是不限的,能完成传输就行。尽管大部分RPC框架都使用TCP协议,但其实UDP也可以,而gRPC干脆就用了HTTP2。Java的Netty也属于这层的东西。

所以,要实现一个RPC框架,其实只需要把以上三点实现了就基本完成了。


Call ID映射可以直接使用函数字符串,也可以使用整数ID。映射表一般就是一个哈希表。


序列化反序列化可以自己写,也可以使用Protobuf或者FlatBuffers之类的。


网络传输库可以自己写socket,或者用asio,ZeroMQ,Netty之类。



大厂流行的rpc框架有哪些?


1、Google之gprc


https://github.com/grpc/grpc


https://github.com/google/protobuf


http://doc.oschina.net/grpc



2、Facebook之thrift


Thrift 源于Facebook,在 2007 年 Facebook 将 Thrift 作为一个开源项目提交给了 Apache 基金会。


http://thrift.apache.org/


http://thrift.apache.org/lib/


http://thrift.apache.org/lib/cpp


https://github.com/apache/thrift



3、Tencent之Tars


腾讯微服务框架Tars介绍


https://github.com/TarsCloud/Tars


https://github.com/TarsCloud/TarsCpp


https://github.com/TarsCloud/TarsGo


https://github.com/Tencent/phxrpc,前身是Svrkit


https://github.com/loveyacper/ananas 热心前腾讯大咖DIY,C++实现



4、Baidu之brpc


brpc又称为baidu-rpc,是百度开发一款“远程过程调用”网络框架。C++实现。


https://github.com/brpc/brpc



5、golang之rpcx


rpcx是一个类似阿里巴巴 Dubbo 和微博 Motan 的分布式的RPC服务框架,基于Golang net/rpc实现。号称是最好的Go语言的RPC服务治理框架,快、易用却功能强大,性能远远高于 Dubbo、Motan、Thrift等框架,是gRPC性能的两倍。


https://rpcx.io/


https://github.com/smallnest/rpcx



6、搜狗之srpc


Sogou基于Workflow的自研RPC框架,C++实现


https://github.com/sogou/srpc -- RPC based on Sogou C++ Workflow


https://github.com/sogou/workflow -- Sogou’s C++ Asynchronous Programming Engine


https://www.zhihu.com/people/liyingxin1412/



其它小众的开源C++ RPC


1. RCF: 纯c++的RPC, 不引入IDL, 大量用到boost,比较强大.

2. casocklib:  protobuf + asio 较完善实现

3. eventrpc: protobuf + libevent 较完善实现


https://www.exit1.org/Event-RPC/

4. evproto: protobuf + libevent 简单实现


https://github.com/chenshuo/evproto


https://github.com/chenshuo/evproto2

5. febird:同样无IDL的c++ RPC,自己实现了串行化和网络IO.

6. libHttp, xmlrpc 都是xml封装的RPC


7.rest_rpc


https://github.com/topcpporg/rest_rpc


8.muduo_rpc


https://github.com/chenshuo/muduo-protorpc


https://github.com/chenshuo/muduo/tree/master/examples/protobuf


9.other


https://github.com/IronsDu/gayrpc


https://github.com/guangqianpeng/jrpc


https://github.com/hjk41/tinyrpc


https://github.com/button-chen/buttonrpc_cpp14


https://github.com/persistentsnail/easy_pb_rpc 一个基于protocol buffer的RPC实现


http://www.cnblogs.com/persistentsnail/p/3458342.html 一个基于protocol buffer的RPC实现



java rpc


java,一起写rpc框架


https://blog.csdn.net/linuu/article/category/6362083


相关文章
|
10月前
|
负载均衡 Dubbo Java
Dubbo 3.x:探索阿里巴巴的开源RPC框架新技术
随着微服务架构的兴起,远程过程调用(RPC)框架成为了关键组件。Dubbo,作为阿里巴巴的开源RPC框架,已经演进到了3.x版本,带来了许多新特性和技术改进。本文将探讨Dubbo 3.x中的一些最新技术,包括服务注册与发现、负载均衡、服务治理等,并通过代码示例展示其使用方式。
524 9
|
编解码 Dubbo 应用服务中间件
Alibaba开源Dubbo源码解析手册,竟引领出RPC的新潮流
前言 Apache Dubbo,一款由阿里巴巴于2011年开源的高性能Java RPC框架,自开源以来在业界产生了深远影响。有大量公司广泛使用,甚至很多公司的自研RPC框架中都能看到Dubbo的影子。Dubbo在国内服务化体系演进过程中扮演了重要角色。尽管经历了几年的沉寂,但在阿里巴巴重启对Dubbo的开源维护,Dubbo正在从微服务领域的高性能RPC框架逐步演变为一个完整的微服务生态。 对于开发者来说,深入了解Dubbo底层的架构设计和实现是一项挑战。因此,一份完整的、体系化的对Apache Dubbo进行深入原理剖析的手册就显得尤为重要。
|
10月前
|
网络协议 测试技术 C++
一个不错的的rpc开源代码-rest_rpc
一个不错的的rpc开源代码-rest_rpc
168 0
|
4月前
|
自然语言处理 负载均衡 API
gRPC 一种现代、开源、高性能的远程过程调用 (RPC) 可以在任何地方运行的框架
gRPC 是一种现代开源高性能远程过程调用(RPC)框架,支持多种编程语言,可在任何环境中运行。它通过高效的连接方式,支持负载平衡、跟踪、健康检查和身份验证,适用于微服务架构、移动设备和浏览器客户端连接后端服务等场景。gRPC 使用 Protocol Buffers 作为接口定义语言,支持四种服务方法:一元 RPC、服务器流式处理、客户端流式处理和双向流式处理。
|
存储 JavaScript Linux
开源 Golang 微服务入门二:RPC 框架 Kitex| 青训营笔记
Kitex 字节跳动内部的 Golang 微服务 RPC 框架,具有高性能、强可扩展的特点,在字节内部已广泛使用。如果对微服务性能有要求,又希望定制扩展融入自己的治理体系,Kitex 会是一个不错的选
342 0
开源 Golang 微服务入门二:RPC 框架 Kitex| 青训营笔记
|
自然语言处理 Dubbo 搜索推荐
又一国产开源项目走向世界,百度RPC框架Apache bRPC正式成为ASF顶级项目
Apache bRPC的前身是百度内部的一个RPC框架,采用C++语言编写,号称工业级别,在百度内部众多基础和业务系统中得到大规模的应用,是属于实战出来的,有很好的落地效果和&quot;底子&quot;。
657 0
|
NoSQL Java 应用服务中间件
阿里开源分布式事务框架seata实践(原fescar) springboot +durid+mybitas+自有rpc框架
由于系统演进,大佬觉得 需要做微服务,脑子一拍开始对原来的系统进行微服务改造, 在改造过程中,分布式事务不可避免,tcc mq等等概念研究一遍后,结合时间成本,发现阿里gts 比较适合,无奈需要接入外网遂放弃,后来偶然发现seata 开源版gts 尝试接入项目
11322 0
|
监控 算法 大数据
一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等
作者:大数据女神-诺蓝(微信公号:dashujunvshen)。本文是36大数据专稿,转载必须标明来源36大数据。   接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。
1730 0
|
7月前
|
Dubbo 网络协议 Java
RPC框架:一文带你搞懂RPC
这篇文章全面介绍了RPC(远程过程调用)的概念、原理和应用场景,解释了RPC如何工作以及为什么在分布式系统中广泛使用,并探讨了几种常用的RPC框架如Thrift、gRPC、Dubbo和Spring Cloud,同时详细阐述了RPC调用流程和实现透明化远程服务调用的关键技术,包括动态代理和消息的编码解码过程。
RPC框架:一文带你搞懂RPC