1. 前言
这片文章主要是讲解grpc相关技术实战,会把企业级微服务项目进行剥离,抽离出核心框架,然后把它用在以后的项目中。我们要知道再庞大的项目,核心框架逻辑基本都是一样的,只不过在其基础之上增加了很多组建而已,比如流控,链路追踪等,所以接下来主要针对微服务核心逻辑进行讲解,请大家耐心看完。
2. grpc+protobuf实战
2.1 protobuf
Protocol Buffers 是一种与语言、平台无关,可扩展的序列化结构化数据的方法,常用于通信协议,数据存储等等。相较于 JSON、XML,它更小、更快、更简单,因此也更受开发人员的青眯。
语法格式:
syntax = "proto3"; package helloworld; import "gogoproto/gogo.proto"; import "google/api/annotations.proto";//注解 用于生成反向代理 for gateway使用 option (gogoproto.marshaler_all) = true; option (gogoproto.unmarshaler_all) = true; // 服务定义 即我们要提供给外部的接口 service Greeter { rpc SayHello (HelloRequest) returns (HelloReply) { option (google.api.http) = { // google.api.http会把restful api转为grpc post: "/hello" // method:post 路由:/hello body: "*" }; } } //请求参数结构体 message HelloRequest { string name = 1; //1 只是代表参数序号 不是值 } // 返回响应结构体 message HelloReply { string message = 1; //解释同上 }
大家看到其实定义一个proto文件最核心的四个点就是:
- 首行的协议(syntax = "proto3")
- 接口定义(service Greeter)
- Request请求定义(HelloRequest)
- Response响应定义(HelloReply)
其他proto语法具体参考:https://colobu.com/2019/10/03/protobuf-ultimate-tutorial-in-go/
然后我们需要protoc工具生成相应的文件,这里你可以单独调用protoc生成,也可以用shell脚本生成(如果是简单用一下就直接参考:https://learnku.com/docs/go-micro-build/1.0/21-preparation-and-generation-of-proto-file/8881;如果是shell脚本,后面等到etcd服务发现和注册讲完之后贴出来供大家参考)。
生成的文件截图如下:
里面的generate.sh就是我们刚才说的shell脚本,运行它之后就会生成下面的helloworld.pb.go文件,这个里面就有proto协议生成的Request和Response,所有转码解码都在这里,我们会基于这里面的pb.HelloRequest
和pb.HelloReply
实现接口。
2.2 grpc的client和server介绍
grpc是c/s架构,它具备client和server,所以想要实现一个基于grpc的微服务,那就得实现二者的相关逻辑,首先介绍server的实现, 代码示例:server.go
func main() { flag.Parse() //首先定义一个基于tcp协议的ip端口Listener lis, err := net.Listen("tcp", "localhost:50051") if err != nil { panic(err) } //初始化一个grpc服务 s := grpc.NewServer() //注册server服务到grpc 这个server结构体会实现SayHello接口 pb.RegisterGreeterServer(s, &server{}) //grpc服务利用Listener提供server能力 s.Serve(lis) }
接下来看看server结构体的定义和实现
// 定义server结构体实现helloworld.GreeterServer接口 type server struct{} // SayHello实现helloworld.GreeterServer // 这里就会用proto生成的文件中的请求和响应 func (s *server) SayHello(ctx context.Context, in *pb.HelloRequest) (*pb.HelloReply, error) { logrus.Infof("%v: Receive is %s\n", time.Now(), in.Name) return &pb.HelloReply{Message: "Hello " + in.Name + " from " + net.JoinHostPort(*host, *port)}, nil }
我们看到其实grpc的server创建和服务注册其实很简单,包括后面我们基于etcd实现服务注册与发现能力,也是非常简单的,几行代码就具备了基于grpc的微服务架构能力,简直屌爆了。
其次就是介绍client的实现,代码示例如下:client.go
func main() { flag.Parse() ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second) // 创建 grpc Channel 与 grpc Server 进行通信(需服务器地址和端口作为参数) // 并且设置 DialOptions 比如负载均衡,凭证等 conn, err := grpc.DialContext(ctx, "localhost:50051", grpc.WithInsecure(), grpc.WithBalancerName(roundrobin.Name), grpc.WithBlock()) cancel() if err != nil { panic(err) } //创建 Client Stub client := pb.NewGreeterClient(conn) //调用对应的服务方法 即调服务端定义的接口SayHello 参数和server参数对应 是proto的request resp, err := client.SayHello(context.Background(), &pb.HelloRequest{Name: "world " + strconv.Itoa(t.Second())}) if err == nil { logrus.Infof("%v: Reply is %s\n", t, resp.Message) } }
客户端的创建和调用也非常简单,因为grpc是由rpc而来,所以远程过程调用就是客户端直接调用方法即可实现请求远端接口的能力。
最后就是启动服务端: 运行server的main.go, 然后执行client的main.go即可实现rpc调用啦。
3. grpc+gateway网关实战
网关能力我们直接用github.com/grpc-ecosystem/grpc-gateway
。
我们都知道 grpc 并不是万能的工具,在某些情况下,我们仍然想提供传统的 HTTP/JSON API。原因可能从保持向后兼容性到支持编程语言或 grpc 无法很好地支持的客户端。但是仅仅为了公开 HTTP/JSON API 而编写另一个服务是一项非常耗时且乏味的任务。
那么,有什么方法可以只编写一次代码,却可以同时在 grpc 和 HTTP/JSON 中提供 API?
答案是 Yes。
grpc-Gateway 是 Google protocol buffers compiler protoc 的插件。它读取 protobuf service 定义并生成反向代理服务器( reverse-proxy server) ,该服务器将 RESTful HTTP API 转换为 grpc。该服务器是根据服务定义中的 google.api.http 批注(annotations)生成的。
这有助于你同时提供 gRPC 和 HTTP/JSON 格式的 API。
gateway的代码生成同样是基于上面的shell脚本(generate.sh)生成的,代码后期会同步,生成之后的文件如下:
生成的文件是helloworld.pb.gw.go,这里面有我们需要对外提供RESTful API的handler,即RegisterGreeterHandler
,这个handler会注册到golang的ServeMux
,最后通过http.ListenAndServe
提供监听服务。代码示例如下:gw.go
func main() { conn, err := grpc.DialContext(ctx, "localhost:50051", grpc.WithInsecure(), grpc.WithBalancerName(roundrobin.Name), grpc.WithBlock()) cancel() if err != nil { panic(err) } // 初始化ServeMux mux := runtime.NewServeMux() // 将Greeter服务注册到mux err = pb.RegisterGreeterHandler(ctx, mux, conn) if err != nil { panic(err) } // Start HTTP server (and proxy calls to grpc server endpoint) logrus.Fatal(http.ListenAndServe("localhost:60001", mux)) }
最后运行gw.go, 然后在终端上调用 curl -X POST http://localhost:60001/hello -d '{"name": "fromGW"}' 就OK了。
具体网关参考:https://www.cnblogs.com/hacker-linner/p/14618862.html
4. 小结
本篇文章到这里就结束了,代码在【微服务架构上篇】结束之后会把github地址贴出来,到时候大家clone到本地运行即可。本篇重点以实战的角度讲解grpc的server和client以及gateway能力,接下来的文章我们会聊聊基于etcd的服务注册和发现能力,重点先介绍etcd的原理,欢迎大家关注点赞和分享。