1. 微服务架构上篇:2. grpc+protobuf+网关实战

简介: 1. 微服务架构上篇:2. grpc+protobuf+网关实战

1. 前言



这片文章主要是讲解grpc相关技术实战,会把企业级微服务项目进行剥离,抽离出核心框架,然后把它用在以后的项目中。我们要知道再庞大的项目,核心框架逻辑基本都是一样的,只不过在其基础之上增加了很多组建而已,比如流控,链路追踪等,所以接下来主要针对微服务核心逻辑进行讲解,请大家耐心看完。


2. grpc+protobuf实战



2.1 protobuf


Protocol Buffers 是一种与语言、平台无关,可扩展的序列化结构化数据的方法,常用于通信协议,数据存储等等。相较于 JSON、XML,它更小、更快、更简单,因此也更受开发人员的青眯。


语法格式:

syntax = "proto3";
package helloworld;
import "gogoproto/gogo.proto";
import "google/api/annotations.proto";//注解 用于生成反向代理 for gateway使用
option (gogoproto.marshaler_all) = true;
option (gogoproto.unmarshaler_all) = true;
// 服务定义 即我们要提供给外部的接口
service Greeter {
    rpc SayHello (HelloRequest) returns (HelloReply) {
        option (google.api.http) = { // google.api.http会把restful api转为grpc
            post: "/hello" // method:post 路由:/hello
            body: "*"
        };
    }
}
//请求参数结构体
message HelloRequest {
    string name = 1; //1 只是代表参数序号 不是值
}
// 返回响应结构体
message HelloReply {
    string message = 1; //解释同上
}

大家看到其实定义一个proto文件最核心的四个点就是:

  1. 首行的协议(syntax = "proto3")
  2. 接口定义(service Greeter)
  3. Request请求定义(HelloRequest)
  4. Response响应定义(HelloReply)


其他proto语法具体参考:https://colobu.com/2019/10/03/protobuf-ultimate-tutorial-in-go/


然后我们需要protoc工具生成相应的文件,这里你可以单独调用protoc生成,也可以用shell脚本生成(如果是简单用一下就直接参考:https://learnku.com/docs/go-micro-build/1.0/21-preparation-and-generation-of-proto-file/8881;如果是shell脚本,后面等到etcd服务发现和注册讲完之后贴出来供大家参考)。


生成的文件截图如下:

640.png


里面的generate.sh就是我们刚才说的shell脚本,运行它之后就会生成下面的helloworld.pb.go文件,这个里面就有proto协议生成的Request和Response,所有转码解码都在这里,我们会基于这里面的pb.HelloRequestpb.HelloReply实现接口。


2.2 grpc的client和server介绍


grpc是c/s架构,它具备client和server,所以想要实现一个基于grpc的微服务,那就得实现二者的相关逻辑,首先介绍server的实现, 代码示例:server.go


func main() {
flag.Parse()
  //首先定义一个基于tcp协议的ip端口Listener
 lis, err := net.Listen("tcp", "localhost:50051")
 if err != nil {
  panic(err)
 }
  //初始化一个grpc服务
  s := grpc.NewServer()
  //注册server服务到grpc 这个server结构体会实现SayHello接口
 pb.RegisterGreeterServer(s, &server{})
  //grpc服务利用Listener提供server能力
 s.Serve(lis)
}


接下来看看server结构体的定义和实现


// 定义server结构体实现helloworld.GreeterServer接口
type server struct{}
// SayHello实现helloworld.GreeterServer
// 这里就会用proto生成的文件中的请求和响应
func (s *server) SayHello(ctx context.Context, in *pb.HelloRequest) (*pb.HelloReply, error) {
 logrus.Infof("%v: Receive is %s\n", time.Now(), in.Name)
 return &pb.HelloReply{Message: "Hello " + in.Name + " from " + net.JoinHostPort(*host, *port)}, nil
}


我们看到其实grpc的server创建和服务注册其实很简单,包括后面我们基于etcd实现服务注册与发现能力,也是非常简单的,几行代码就具备了基于grpc的微服务架构能力,简直屌爆了。

其次就是介绍client的实现,代码示例如下:client.go


func main() {
 flag.Parse()
 ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
 // 创建 grpc Channel 与 grpc Server 进行通信(需服务器地址和端口作为参数)
 // 并且设置 DialOptions 比如负载均衡,凭证等
 conn, err := grpc.DialContext(ctx, "localhost:50051", grpc.WithInsecure(), grpc.WithBalancerName(roundrobin.Name), grpc.WithBlock())
 cancel()
 if err != nil {
  panic(err)
 }
 //创建 Client Stub
 client := pb.NewGreeterClient(conn)
 //调用对应的服务方法 即调服务端定义的接口SayHello 参数和server参数对应 是proto的request
 resp, err := client.SayHello(context.Background(), &pb.HelloRequest{Name: "world " + strconv.Itoa(t.Second())})
 if err == nil {
  logrus.Infof("%v: Reply is %s\n", t, resp.Message)
 }
}


客户端的创建和调用也非常简单,因为grpc是由rpc而来,所以远程过程调用就是客户端直接调用方法即可实现请求远端接口的能力。


最后就是启动服务端: 运行server的main.go, 然后执行client的main.go即可实现rpc调用啦。


3. grpc+gateway网关实战



网关能力我们直接用github.com/grpc-ecosystem/grpc-gateway

我们都知道 grpc 并不是万能的工具,在某些情况下,我们仍然想提供传统的 HTTP/JSON API。原因可能从保持向后兼容性到支持编程语言或 grpc 无法很好地支持的客户端。但是仅仅为了公开 HTTP/JSON API 而编写另一个服务是一项非常耗时且乏味的任务。

那么,有什么方法可以只编写一次代码,却可以同时在 grpc 和 HTTP/JSON 中提供 API?

答案是 Yes。


grpc-Gateway 是 Google protocol buffers compiler protoc 的插件。它读取 protobuf service 定义并生成反向代理服务器( reverse-proxy server) ,该服务器将 RESTful HTTP API 转换为 grpc。该服务器是根据服务定义中的 google.api.http 批注(annotations)生成的。

这有助于你同时提供 gRPC 和 HTTP/JSON 格式的 API。


gateway的代码生成同样是基于上面的shell脚本(generate.sh)生成的,代码后期会同步,生成之后的文件如下:

640.png


生成的文件是helloworld.pb.gw.go,这里面有我们需要对外提供RESTful API的handler,即RegisterGreeterHandler,这个handler会注册到golang的ServeMux,最后通过http.ListenAndServe提供监听服务。代码示例如下:gw.go


func main() {
 conn, err := grpc.DialContext(ctx, "localhost:50051", grpc.WithInsecure(), grpc.WithBalancerName(roundrobin.Name), grpc.WithBlock())
 cancel()
 if err != nil {
  panic(err)
 }
 // 初始化ServeMux
 mux := runtime.NewServeMux()
 // 将Greeter服务注册到mux
 err = pb.RegisterGreeterHandler(ctx, mux, conn)
 if err != nil {
  panic(err)
 }
 // Start HTTP server (and proxy calls to grpc server endpoint)
 logrus.Fatal(http.ListenAndServe("localhost:60001", mux))
}

最后运行gw.go, 然后在终端上调用 curl -X POST http://localhost:60001/hello -d '{"name": "fromGW"}' 就OK了。


具体网关参考:https://www.cnblogs.com/hacker-linner/p/14618862.html


4. 小结



本篇文章到这里就结束了,代码在【微服务架构上篇】结束之后会把github地址贴出来,到时候大家clone到本地运行即可。本篇重点以实战的角度讲解grpc的server和client以及gateway能力,接下来的文章我们会聊聊基于etcd的服务注册和发现能力,重点先介绍etcd的原理,欢迎大家关注点赞和分享。

相关文章
|
7天前
|
敏捷开发 监控 数据管理
构建高效微服务架构的五大关键策略
【4月更文挑战第20天】在当今软件开发领域,微服务架构已经成为一种流行的设计模式,它允许开发团队以灵活、可扩展的方式构建应用程序。本文将探讨构建高效微服务架构的五大关键策略,包括服务划分、通信机制、数据管理、安全性考虑以及监控与日志。这些策略对于确保系统的可靠性、可维护性和性能至关重要。
|
7天前
|
消息中间件 监控 持续交付
构建高效微服务架构:后端开发的进阶之路
【4月更文挑战第20天】 随着现代软件开发的复杂性日益增加,传统的单体应用已难以满足快速迭代和灵活部署的需求。微服务架构作为一种新兴的分布式系统设计方式,以其独立部署、易于扩展和维护的特点,成为解决这一问题的关键。本文将深入探讨微服务的核心概念、设计原则以及在后端开发实践中如何构建一个高效的微服务架构。我们将从服务划分、通信机制、数据一致性、服务发现与注册等方面入手,提供一系列实用的策略和建议,帮助开发者优化后端系统的性能和可维护性。
|
2天前
|
监控 测试技术 持续交付
探索现代微服务架构的最佳实践
【4月更文挑战第25天】 随着软件开发领域不断演进,微服务架构已成为设计灵活、可扩展且高度可维护系统的首选方案。本文将深入探讨构建和部署微服务时的关键最佳实践,涵盖从服务划分原则到持续集成/持续部署(CI/CD)的流程,再到监控与日志记录的策略。我们的目标是为开发者提供一套实用的指南,帮助他们在构建未来的应用程序时做出明智的架构选择,并确保这些系统能够快速响应市场和技术的变化。
|
2天前
|
消息中间件 负载均衡 持续交付
构建高效微服务架构:后端开发者的终极指南
【4月更文挑战第25天】在当今软件工程领域,微服务架构已经成为实现可扩展、灵活且容错的系统的首选模式。本文将探讨如何从零开始构建一个高效的微服务系统,涵盖关键组件的选择、通信机制、数据管理以及持续集成和部署策略。通过深入分析与案例研究,我们旨在为后端开发者提供一个全面的微服务实践指南,帮助他们在构建现代化应用时做出明智的架构决策。
|
2天前
|
消息中间件 持续交付 数据库
构建高效可靠的微服务架构:策略与实践
【4月更文挑战第25天】 随着现代软件开发的复杂性日益增加,传统的单体应用已难以满足快速迭代和灵活部署的需求。本文深入探讨了如何构建一个高效且可靠的微服务架构,包括关键的设计原则、技术选型以及实践中的挑战和应对策略。通过分析多个成功案例,我们总结了一系列最佳实践,并提出了一套可量化的性能优化方法。文章不仅为开发者提供了具体的技术指导,同时也强调了团队协作和持续学习在微服务转型过程中的重要性。
|
3天前
|
持续交付 API 开发者
构建高效微服务架构:后端开发的新范式
【4月更文挑战第24天】 随着现代软件系统的复杂性日益增加,传统的单体应用已难以满足快速迭代与灵活扩展的需求。微服务架构作为一种新兴的软件开发模式,以其服务的细粒度、独立部署和弹性伸缩等优势,正在逐渐成为后端开发的重要趋势。本文将深入探讨微服务架构的设计原则、关键技术以及在实际业务中的应用实践,旨在为后端开发者提供构建和维护高效微服务架构的参考指南。
|
4天前
|
监控 API 持续交付
构建高效微服务架构:后端开发的新趋势
【4月更文挑战第23天】 随着现代软件开发实践的不断演进,微服务架构已经成为企业追求敏捷、可扩展和弹性解决方案的首选。本文深入探讨了如何构建一个高效的微服务架构,涵盖了关键的设计原则、技术选型以及实践建议。通过分析微服务的独立性、分布式特性和容错机制,我们将揭示如何利用容器化、服务网格和API网关等技术手段,来优化后端系统的可维护性和性能。文章旨在为后端开发人员提供一套全面的指南,以应对不断变化的业务需求和技术挑战。
|
9天前
|
机器学习/深度学习 运维 Prometheus
探索微服务架构下的系统监控策略
【4月更文挑战第18天】在当今快速迭代和持续部署盛行的软件工程实践中,微服务架构因其灵活性和可扩展性受到企业青睐。然而,随着服务的细粒度拆分和网络通信的增加,传统的监控手段已不再适用。本文将探讨在微服务环境中实施有效系统监控的策略,包括日志聚合、性能指标收集、分布式追踪以及异常检测等关键技术实践,旨在为读者提供构建稳定、可靠且易于维护的微服务系统的参考指南。
16 0
|
9天前
|
监控 持续交付 开发者
构建高效微服务架构:后端开发的新趋势
【4月更文挑战第18天】在数字化转型的浪潮中,微服务架构已成为企业提升系统灵活性、加速产品迭代的关键。此文深入探讨了构建高效微服务架构的实践方法,包括服务划分原则、容器化部署、持续集成/持续部署(CI/CD)流程以及监控与日志管理等关键技术点。通过分析具体案例,揭示了微服务在提高开发效率、降低维护成本及促进团队协作方面的显著优势。
|
10天前
|
负载均衡 Java 开发者
细解微服务架构实践:如何使用Spring Cloud进行Java微服务治理
【4月更文挑战第17天】Spring Cloud是Java微服务治理的首选框架,整合了Eureka(服务发现)、Ribbon(客户端负载均衡)、Hystrix(熔断器)、Zuul(API网关)和Config Server(配置中心)。通过Eureka实现服务注册与发现,Ribbon提供负载均衡,Hystrix实现熔断保护,Zuul作为API网关,Config Server集中管理配置。理解并运用Spring Cloud进行微服务治理是现代Java开发者的关键技能。

热门文章

最新文章