Go微服务(三)——gRPC详细入门 上

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Go微服务(三)——gRPC详细入门 上

篇幅可能较长,可以先收藏,方便后续观看。

文章名称 地址
Go微服务(一)——RPC详细入门 前往
Go微服务(二)——Protobuf详细入门 前往
Go微服务(三)——gRPC详细入门 前往

GRPC入门

这里会联合protobuf语法以及protobuf如何去定义rpc服务,前面我们只生成了结构体,现在我们要让他为我们同时把接口生成,有了响应的接口,我们就再也不用去手写接口了。

1. gRPC技术介绍

1.1 什么是gRPC

gRPC是什么可以用官网的一句话来概括:

A high-performance, open-source universal RPC framework

一个高性能、开源的通用 RPC 框架

1.2 为什么我们要用gRPC

视频里的:

跨语言的RPC技术:

主流语言都支持。

基于Protobuf 消息格式:

高效二进制协议。

基于HTTP2协议通讯:

丰富的周边生态(网关支持/SSL)

单一场链接避免了多TCP连接开销。

服务端推动Sever Push

头部压缩和二进制格式。

Protobuf ON HTTP2:

博客里的:

生态好:背靠Google。还有比如nginx也对grpc提供了支持。

跨语言:跨语言,主流语言都支持,且自动生成sdk

性能高:比如protobuf性能高过json, 比如http2.0性能高过http1.1

强类型:编译器就给你解决了很大一部分问题

流式处理(基于http2.0):支持客户端流式,服务端流式,双向流式

1.3 gRPC有什么好处以及在什么场景下需要用gRPC

既然是 server/client 模型,那么我们直接用 Restful API 不是也可以满足吗,为什么还需要RPC呢?下面我们就来看看RPC到底有哪些优势:

1.3.1 gRPC vs. Restful API

gRPC和restful API都提供了一套通信机制,用于server/client模型通信,而且它们都使用http作为底层的传输协议(严格地说, gRPC使用的http2.0,而restful api则不一定)。不过gRPC还是有些特有的优势,如下:

gRPC可以通过protobuf来定义接口,从而可以有更加严格的接口约束条件

另外,通过protobuf可以将数据序列化为二进制编码,这会大幅减少需要传输的数据量,从而大幅提高性能。

gRPC可以方便地支持流式通信(理论上通过http2.0就可以使用streaming模式, 但是通常web服务的restful api似乎很少这么用,通常的流式数据应用如视频流,一般都会使用专门的协议如HLS,RTMP等,这些就不是我们通常web服务了,而是有专门的服务器应用。)

1.3.2 使用场景

需要对接口进行严格约束的情况,比如我们提供了一个公共的服务,很多人,甚至公司外部的人也可以访问这个服务,这时对于接口我们希望有更加严格的约束,我们不希望客户端给我们传递任意的数据,尤其是考虑到安全性的因素,我们通常需要对接口进行更加严格的约束。这时gRPC就可以通过protobuf来提供严格的接口约束。

对于性能有更高的要求时。有时我们的服务需要传递大量的数据,而又希望不影响我们的性能,这个时候也可以考虑gRPC服务,因为通过protobuf我们可以将数据压缩编码转化为二进制格式,通常传递的数据量要小得多,而且通过http2我们可以实现异步的请求,从而大大提高了通信效率。

但是,通常我们不会去单独使用gRPC,而是将gRPC作为一个部件进行使用,这是因为在生产环境,我们面对大并发的情况下,需要使用分布式系统来去处理,而gRPC并没有提供分布式系统相关的一些必要组件。而且,真正的线上服务还需要提供包括负载均衡,限流熔断,监控报警,服务注册和发现等等必要的组件。

1.4 gRPC 的优点是怎么实现的(可跳过)

grpc性能高:protobuf为什么比json性能高?

Protobuf是由Google开发的二进制格式,用于在不同服务之间序列化数据。是一种IDL(interface description language)语言;

他比json快六倍;

为什么protobuf比json快?

protobuf的二进制数据流:

json数据流:

{
    "content":"test",
    "user":"test",
    "user_id":"test"
}

对比json数据和protobuf数据格式可以知道:

体积小-无需分隔符:TLV存储方式不需要分隔符(逗号,双引号等)就能分隔字段,减少了分隔符的使用

体积小-空字段省略:若字段没有被设置字段值,那么该字段序列化时的数据是完全不存在的,即不需要进行编码,而json会传key和空值的value

体积小-tag二进制表示:是用字段的数字值然后转换成二进制进行表示的,比json的key用字符串表示更加省空间。

编解码快:tag的里面存储了字段的类型,可以直接知道value的长度,或者当value是字符串的时候,则用length存储了长度,可以直接从length后取n个字节就是value的值,而如果不知道value的长度,我们就必须要做字符串匹配。

细化了解protobuf的编码可以去看:varint 和 zigzag编码方式

grpc性能高:http2.0为什么比http1.1性能高?

多路复用:

http2.0和http 1.* 还有 http1.1pipling的对比:

http/1.*:一次请求,一个响应,建立一个连接用完关闭,每一个请求都要建立一个连接;

http1.1 pipeling:Pipeling解决方式为,若干个请求排队串行化单线程处理,后面的请求等待前面请求的返回才能获得执行机会,一旦有某请求超时等,后续请求只能被阻塞,毫无办法,也就是人们常说的线头阻塞 ;

http2:多个请求可同时在一个连接上并行执行。某个请求任务耗时严重,不会影响到其它连接的正常执行;

grpc 多路复用还有哪些优点:

减少了tcp的连接,降低了服务端和客户端对于内存,cpu等的压力

减少了tcp的连接,保证了不频繁触发tcp重新建立,这样就不会频繁有慢启动

减少了tcp的连接,使网络拥塞情况得以改善

为什么http/1.1不能实现多路复用而http2.0可以?

因为http/1.1传输是用的文本,而http2.0用的是二进制分帧传输

头部压缩:

固定字段压缩:http可以通过http对body进行gzip压缩,这样可以节省带宽,但是报文中header也有很多字段没有进行压缩,比如cookie, user agent accept,这些有必要进行压缩

避免重复:大量请求和响应的报文里面又很多字段值是重复的,所以有必要避免重复性

编码改进:字段是ascii编码,效率低,改成二进制编码可以提高

以上通过HPACK算法来进行实现,算法主要包含三个部分:

静态字典:将常用的header字段整成字典,比如{“method”:“GET”} 就可以用单个数字 2来表示;

动态字典:没有在静态字典里面的一些头部字段,则用动态字典

Huffman 编码: 压缩编码

二进制分帧:

在二进制分帧层上,HTTP 2.0 会将所有传输的信息分割为更小的消息和帧,并对它们采用二进制格式的编码 ,其中HTTP1.x的首部信息会被封装到Headers帧,而我们的request body则封装到Data帧里面。

这样分帧以后这些帧就可以乱序发送,然后根据每个帧首部的流标识符号进行组装。

对比http/1.1因为是基于文本以换行符分割每一条key:value则会有以下问题:

一次只能处理一个请求或者响应,因为这种以分隔符分割消息的数据,在完成之前不能停止解析。

解析这种数据无法预知需要多少内存,会给服务端有很大压力。

服务器主动推送资源:

由于支持服务器主动推送资源,则可以省去一部分请求。

比如你需要两个文件1.html,1.css,如果是http1.0则需要请求两次,服务端返回两次。但是http2.0则可以客户端请求一次,然后服务端直接回吐两次。

2. gRPC Hello World

2.1 插件安装:

# protoc-gen-go 插件之前在protobuf教程中已经安装
# 
# go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
# 安装protoc-gen-go-grpc插件
go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest

查看当前grpc插件的版本:

protoc-gen-go-grpc --version
protoc-gen-go-grpc 1.2.0

2.2 编写.proto文件

./service/service.proto

syntax = "proto3";
package hello;
option go_package = "MicroServiceStudy01/08-grpc/service";
message Request{
  string value = 1;
}
message Response{
  string value = 1;
}
// The HelloService service definition
// service 关键字
// HelloService 服务名称 对应接口的名称
// service服务会对应.pb.go文件里interface,里面的rpc对应接口中的函数
service HelloService{
  rpc Hello (Request) returns (Response){}
  rpc Channel(stream Request) returns (stream Response) {}
}

生成代码:

# D:\code\GoLandProjects\src\MicroServiceStudy01\
protoc -I . \
--go_out=./08-grpc/service \
--go_opt=module="MicroServiceStudy01/08-grpc/service" \
-go-grpc_out=./08-grpc/service \
--go-grpc_opt=module="MicroServiceStudy01/08-grpc/service" \
./08-grpc/service/service.proto

--go_out=......:proto-gen-go 插件编译产物的存放目录

--go_opt=......:protoc—gen-go 插件的opt参数,采用go moudle模式.

--go-grpc_out=.....:proto-gen-go-grpc 插件编译产物的存放目录

--go-grpc_opt=......:proto-gen-go-grpc 插件的opt参数,采用go moudle模式.

可能大家会感觉生成代码的命令内容比较多,后面会有有一些小技巧,真正去做代码生成的时候,很少会写这么多,这是现在的临时性工作。

我们可以看到,除了之前我们见过的.pb.go文件,还多了个_grpc.pb.go文件,里面是我们proto文件里定义的service对应生成的代码。

生成的客户端代码:

...
// HelloServiceClient是HelloService服务的客户端API。
type HelloServiceClient interface {
  Hello(ctx context.Context, in *Request, opts ...grpc.CallOption) (*Response, error)
  Channel(ctx context.Context, opts ...grpc.CallOption) (HelloService_ChannelClient, error)
}
...

生成的服务端代码:

...
// HelloServiceServer 是 HelloService 服务的服务端 API。
// 所有实现都必须嵌入 UnimplementedHelloServiceServer
// 为了向前兼容
type HelloServiceServer interface {
  Hello(context.Context, *Request) (*Response, error)
  Channel(HelloService_ChannelServer) error
  mustEmbedUnimplementedHelloServiceServer()
}
...

我们在生成的service_grpc.pb.go文件中要注意一个部分:

// UnimplementedHelloServiceServer 必须嵌入到向前兼容的实现中。
type UnimplementedHelloServiceServer struct {
}
func (UnimplementedHelloServiceServer) Hello(context.Context, *Request) (*Response, error) {
  return nil, status.Errorf(codes.Unimplemented, "method Hello not implemented")
}
func (UnimplementedHelloServiceServer) Channel(HelloService_ChannelServer) error {
  return status.Errorf(codes.Unimplemented, "method Channel not implemented")
}
func (UnimplementedHelloServiceServer) mustEmbedUnimplementedHelloServiceServer() {}

生成的这个文件里有一个叫做UnimplementedHelloServiceServer的对象,这个对象它是实现了我们的HelloSerivce接口,但是它实现了过后给你反的是一个错误信息,如果你没有任何对象实现这个接口,而你又调用了这个服务的话,它会给你返回一个return status.Errorf(codes.Unimplemented, "method Channel not implemented")这样的错误信息。

2.3 server服务端

./server/server.go

type HelloService struct {
    // UnimplementedHelloServiceServer这个结构体是必须要内嵌进来的
    // 也就是说我们定义的这个结构体对象必须继承UnimplementedHelloServiceServer。
    // 嵌入之后,我们就已经实现了GRPC这个服务的接口,但是实现之后我们什么都没做,没有写自己的业务逻辑,
    // 我们要重写实现的这个接口里的函数,这样才能提供一个真正的rpc的能力。
  service.UnimplementedHelloServiceServer
}
var _ service.HelloServiceServer = (*HelloService)(nil)
// Hello 重写实现的接口里的Hello函数
func (p *HelloService) Hello(ctx context.Context, req *service.Request) (*service.Response, error){
  resp := &service.Response{}
  resp.Value = "hello:" + req.Value
  return resp, nil
}
func main(){
  // 首先通过grpc.NewServer() 构造一个grpc服务对象
  grpcServer:=grpc.NewServer()
  // 然后通过grpc插件生成的RegisterHelloServiceServer函数注册我们实现的HelloService服务。
  service.RegisterHelloServiceServer(grpcServer,new(HelloService))
  listen,err:=net.Listen("tcp",":1234")
  if err!=nil{
    log.Fatal("Listen TCP err:", err)
  }
  //最后通过grpcServer.Serve(listen) 在一个监听端口上提供gRPC服务
  grpcServer.Serve(listen)
}

注意两点:

内嵌:

Unimplementedxxx这个结构体是必须要内嵌进来的,也就是说我们定义的这个结构体对象必须继承Unimplementedxxx。

嵌入之后,我们就已经实现了GRPC这个服务的接口,但是实现之后我们什么都没做,没有写自己的业务逻辑,我们要重写实现的这个接口里的函数,这样才能提供一个真正的rpc的能力。

重写

2.4 client客户端

client/client.go

func main() {
  // grpc.Dial负责和gRPC服务建立连接
  conn, err := grpc.Dial("localhost:1234", grpc.WithInsecure())
  // 这里会提示,WithInsecure已被弃用,
    // 如果你不想继续使用WithInsecure,可以使用
    // 函数insecure.NewCredentials()返回credentials.TransportCredentials的一个实现。
  // 您可以将其作为DialOption与grpc.WithTransportCredentials一起使用:
  // 但是,API标记为实验性的,因此即使他们已经添加了弃用警告,您也不必立即切换。
  //conn, err := grpc.Dial("localhost:1234",grpc.WithTransportCredentials(insecure.NewCredentials()))
  if err != nil {
    log.Fatal("Dial err: ", err)
  }
  defer conn.Close()
  // NewHelloServiceClient函数是xxx_grpc.pb.go中自动生成的函数,
  // 基于已经建立的连接构造HelloServiceClient对象,
  // 返回的client其实是一个HelloServiceClient接口对象
  //
  client := service.NewHelloServiceClient(conn)
  // 通过接口定义的方法就可以调用服务端对应gRPC服务提供的方法
  req := &service.Request{Value: "小亮"}
  reply, err := client.Hello(context.Background(), req)
  if err != nil {
    log.Fatal(err)
  }
  fmt.Println(reply.GetValue())
}

client := service.NewHelloServiceClient(conn)

func NewHelloServiceClient(cc grpc.ClientConnInterface) HelloServiceClient {
  return &helloServiceClient{cc}
}

NewHelloServiceClient函数是xxx_grpc.pb.go中自动生成的函数,基于已经建立的连接构造HelloServiceClient对象,返回的client其实是一个HelloServiceClient接口对象。

需要的参数是grpc拨号后放回的连接对象。

context.Background():

返回一个非nil的空Context。它永远不会被取消,没有值,并且没有截止日期。它通常由主函数使用,初始化和测试,并作为传入的顶级上下文请求。

相关文章
|
6天前
|
运维 监控 Go
Go语言微服务实战与最佳实践
【2月更文挑战第14天】本文将深入探讨使用Go语言进行微服务实战中的最佳实践,包括服务拆分、API设计、并发处理、错误处理、服务治理与监控等方面。通过实际案例和详细步骤,我们将分享如何在Go语言环境中构建高效、稳定、可扩展的微服务系统。
|
6天前
|
消息中间件 Go API
基于Go语言的微服务架构实践
随着云计算和容器化技术的兴起,微服务架构成为了现代软件开发的主流趋势。Go语言,以其高效的性能、简洁的语法和强大的并发处理能力,成为了构建微服务应用的理想选择。本文将探讨基于Go语言的微服务架构实践,包括微服务的设计原则、服务间的通信机制、以及Go语言在微服务架构中的优势和应用案例。
|
6天前
|
JavaScript 前端开发 Go
Go语言的入门学习
【4月更文挑战第7天】Go语言,通常称为Golang,是由Google设计并开发的一种编程语言,它于2009年公开发布。Go的设计团队主要包括Robert Griesemer、Rob Pike和Ken Thompson,这三位都是计算机科学和软件工程领域的杰出人物。
17 1
|
6天前
|
消息中间件 Go API
Golang深入浅出之-Go语言中的微服务架构设计与实践
【5月更文挑战第4天】本文探讨了Go语言在微服务架构中的应用,强调了单一职责、标准化API、服务自治和容错设计等原则。同时,指出了过度拆分、服务通信复杂性、数据一致性和部署复杂性等常见问题,并提出了DDD拆分、使用成熟框架、事件驱动和配置管理与CI/CD的解决方案。文中还提供了使用Gin构建HTTP服务和gRPC进行服务间通信的示例。
32 0
|
6天前
|
监控 Java 应用服务中间件
【微服务系列笔记】Sentinel入门-微服务保护
Sentinel是一个开源的分布式系统和应用程序的运维监控平台。它提供了实时数据收集、可视化、告警和自动化响应等功能,帮助用户监控和管理复杂的IT环境。本文简单介绍了微服务保护以及常见雪崩问题,解决方案。以及利用sentinel进行入门案例。
33 3
|
6天前
|
自然语言处理 Java 编译器
【Go语言专栏】Go语言中的gRPC框架应用
【4月更文挑战第30天】Go语言的gRPC是一个高性能RPC框架,基于HTTP/2和Protocol Buffers,支持多语言。其特点包括高性能、强类型和双向流。在Go中使用gRPC,需定义接口(如hello.proto),生成Go代码,实现服务器端(注册服务到gRPC服务器)和客户端(调用服务)。此外,gRPC还提供流、错误处理和拦截器等高级特性,适用于复杂通信场景。
|
6天前
|
JSON API Go
Go-Zero从0到1实现微服务项目开发(二)
继续更新GoZero微服务实战系列文章:上一篇被GoZero作者万总点赞了,本文将继续使用 Go-zero 提供的工具和组件,从零开始逐步构建一个基本的微服务项目。手把手带你完成:项目初始化+需求分析+表结构设计+api+rpc+goctl+apifox调试+细节处理。带你实现一个完整微服务的开发。
|
6天前
|
Go 开发者
Golang深入浅出之-Go语言结构体(struct)入门:定义与使用
【4月更文挑战第22天】Go语言中的结构体是构建复杂数据类型的关键,允许组合多种字段。本文探讨了结构体定义、使用及常见问题。结构体定义如`type Person struct { Name string; Age int; Address Address }`。问题包括未初始化字段的默认值、比较含不可比较字段的结构体以及嵌入结构体字段重名。避免方法包括初始化结构体、自定义比较逻辑和使用明确字段选择器。结构体方法、指针接收者和匿名字段嵌入提供了灵活性。理解这些问题和解决策略能提升Go语言编程的效率和代码质量。
32 1
|
6天前
|
编译器 Go 开发者
Go语言入门|包、关键字和标识符
Go语言入门|包、关键字和标识符
34 0
|
6天前
|
Kubernetes Cloud Native Go
《Go 简易速速上手小册》第10章:微服务与云原生应用(2024 最新版)(下)
《Go 简易速速上手小册》第10章:微服务与云原生应用(2024 最新版)
66 0