1. 微服务架构上篇:2. grpc+protobuf+网关实战

简介: 1. 微服务架构上篇:2. grpc+protobuf+网关实战

1. 前言



这片文章主要是讲解grpc相关技术实战,会把企业级微服务项目进行剥离,抽离出核心框架,然后把它用在以后的项目中。我们要知道再庞大的项目,核心框架逻辑基本都是一样的,只不过在其基础之上增加了很多组建而已,比如流控,链路追踪等,所以接下来主要针对微服务核心逻辑进行讲解,请大家耐心看完。


2. grpc+protobuf实战



2.1 protobuf


Protocol Buffers 是一种与语言、平台无关,可扩展的序列化结构化数据的方法,常用于通信协议,数据存储等等。相较于 JSON、XML,它更小、更快、更简单,因此也更受开发人员的青眯。


语法格式:

syntax = "proto3";
package helloworld;
import "gogoproto/gogo.proto";
import "google/api/annotations.proto";//注解 用于生成反向代理 for gateway使用
option (gogoproto.marshaler_all) = true;
option (gogoproto.unmarshaler_all) = true;
// 服务定义 即我们要提供给外部的接口
service Greeter {
    rpc SayHello (HelloRequest) returns (HelloReply) {
        option (google.api.http) = { // google.api.http会把restful api转为grpc
            post: "/hello" // method:post 路由:/hello
            body: "*"
        };
    }
}
//请求参数结构体
message HelloRequest {
    string name = 1; //1 只是代表参数序号 不是值
}
// 返回响应结构体
message HelloReply {
    string message = 1; //解释同上
}

大家看到其实定义一个proto文件最核心的四个点就是:

  1. 首行的协议(syntax = "proto3")
  2. 接口定义(service Greeter)
  3. Request请求定义(HelloRequest)
  4. Response响应定义(HelloReply)


其他proto语法具体参考:https://colobu.com/2019/10/03/protobuf-ultimate-tutorial-in-go/


然后我们需要protoc工具生成相应的文件,这里你可以单独调用protoc生成,也可以用shell脚本生成(如果是简单用一下就直接参考:https://learnku.com/docs/go-micro-build/1.0/21-preparation-and-generation-of-proto-file/8881;如果是shell脚本,后面等到etcd服务发现和注册讲完之后贴出来供大家参考)。


生成的文件截图如下:

640.png


里面的generate.sh就是我们刚才说的shell脚本,运行它之后就会生成下面的helloworld.pb.go文件,这个里面就有proto协议生成的Request和Response,所有转码解码都在这里,我们会基于这里面的pb.HelloRequestpb.HelloReply实现接口。


2.2 grpc的client和server介绍


grpc是c/s架构,它具备client和server,所以想要实现一个基于grpc的微服务,那就得实现二者的相关逻辑,首先介绍server的实现, 代码示例:server.go


func main() {
flag.Parse()
  //首先定义一个基于tcp协议的ip端口Listener
 lis, err := net.Listen("tcp", "localhost:50051")
 if err != nil {
  panic(err)
 }
  //初始化一个grpc服务
  s := grpc.NewServer()
  //注册server服务到grpc 这个server结构体会实现SayHello接口
 pb.RegisterGreeterServer(s, &server{})
  //grpc服务利用Listener提供server能力
 s.Serve(lis)
}


接下来看看server结构体的定义和实现


// 定义server结构体实现helloworld.GreeterServer接口
type server struct{}
// SayHello实现helloworld.GreeterServer
// 这里就会用proto生成的文件中的请求和响应
func (s *server) SayHello(ctx context.Context, in *pb.HelloRequest) (*pb.HelloReply, error) {
 logrus.Infof("%v: Receive is %s\n", time.Now(), in.Name)
 return &pb.HelloReply{Message: "Hello " + in.Name + " from " + net.JoinHostPort(*host, *port)}, nil
}


我们看到其实grpc的server创建和服务注册其实很简单,包括后面我们基于etcd实现服务注册与发现能力,也是非常简单的,几行代码就具备了基于grpc的微服务架构能力,简直屌爆了。

其次就是介绍client的实现,代码示例如下:client.go


func main() {
 flag.Parse()
 ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
 // 创建 grpc Channel 与 grpc Server 进行通信(需服务器地址和端口作为参数)
 // 并且设置 DialOptions 比如负载均衡,凭证等
 conn, err := grpc.DialContext(ctx, "localhost:50051", grpc.WithInsecure(), grpc.WithBalancerName(roundrobin.Name), grpc.WithBlock())
 cancel()
 if err != nil {
  panic(err)
 }
 //创建 Client Stub
 client := pb.NewGreeterClient(conn)
 //调用对应的服务方法 即调服务端定义的接口SayHello 参数和server参数对应 是proto的request
 resp, err := client.SayHello(context.Background(), &pb.HelloRequest{Name: "world " + strconv.Itoa(t.Second())})
 if err == nil {
  logrus.Infof("%v: Reply is %s\n", t, resp.Message)
 }
}


客户端的创建和调用也非常简单,因为grpc是由rpc而来,所以远程过程调用就是客户端直接调用方法即可实现请求远端接口的能力。


最后就是启动服务端: 运行server的main.go, 然后执行client的main.go即可实现rpc调用啦。


3. grpc+gateway网关实战



网关能力我们直接用github.com/grpc-ecosystem/grpc-gateway

我们都知道 grpc 并不是万能的工具,在某些情况下,我们仍然想提供传统的 HTTP/JSON API。原因可能从保持向后兼容性到支持编程语言或 grpc 无法很好地支持的客户端。但是仅仅为了公开 HTTP/JSON API 而编写另一个服务是一项非常耗时且乏味的任务。

那么,有什么方法可以只编写一次代码,却可以同时在 grpc 和 HTTP/JSON 中提供 API?

答案是 Yes。


grpc-Gateway 是 Google protocol buffers compiler protoc 的插件。它读取 protobuf service 定义并生成反向代理服务器( reverse-proxy server) ,该服务器将 RESTful HTTP API 转换为 grpc。该服务器是根据服务定义中的 google.api.http 批注(annotations)生成的。

这有助于你同时提供 gRPC 和 HTTP/JSON 格式的 API。


gateway的代码生成同样是基于上面的shell脚本(generate.sh)生成的,代码后期会同步,生成之后的文件如下:

640.png


生成的文件是helloworld.pb.gw.go,这里面有我们需要对外提供RESTful API的handler,即RegisterGreeterHandler,这个handler会注册到golang的ServeMux,最后通过http.ListenAndServe提供监听服务。代码示例如下:gw.go


func main() {
 conn, err := grpc.DialContext(ctx, "localhost:50051", grpc.WithInsecure(), grpc.WithBalancerName(roundrobin.Name), grpc.WithBlock())
 cancel()
 if err != nil {
  panic(err)
 }
 // 初始化ServeMux
 mux := runtime.NewServeMux()
 // 将Greeter服务注册到mux
 err = pb.RegisterGreeterHandler(ctx, mux, conn)
 if err != nil {
  panic(err)
 }
 // Start HTTP server (and proxy calls to grpc server endpoint)
 logrus.Fatal(http.ListenAndServe("localhost:60001", mux))
}

最后运行gw.go, 然后在终端上调用 curl -X POST http://localhost:60001/hello -d '{"name": "fromGW"}' 就OK了。


具体网关参考:https://www.cnblogs.com/hacker-linner/p/14618862.html


4. 小结



本篇文章到这里就结束了,代码在【微服务架构上篇】结束之后会把github地址贴出来,到时候大家clone到本地运行即可。本篇重点以实战的角度讲解grpc的server和client以及gateway能力,接下来的文章我们会聊聊基于etcd的服务注册和发现能力,重点先介绍etcd的原理,欢迎大家关注点赞和分享。

相关文章
|
8天前
|
缓存 负载均衡 JavaScript
探索微服务架构下的API网关模式
【10月更文挑战第37天】在微服务架构的海洋中,API网关犹如一座灯塔,指引着服务的航向。它不仅是客户端请求的集散地,更是后端微服务的守门人。本文将深入探讨API网关的设计哲学、核心功能以及它在微服务生态中扮演的角色,同时通过实际代码示例,揭示如何实现一个高效、可靠的API网关。
|
6天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
6天前
|
负载均衡 监控 API
dotnet微服务之API网关Ocelot
Ocelot 是一个基于 .NET 的 API 网关,适用于微服务架构。本文介绍了如何创建一个 Web API 项目并使用 Ocelot 进行 API 请求路由、负载均衡等。通过配置 `ocelot.json` 和修改 `Program.cs`,实现对 `GoodApi` 和 `OrderApi` 两个项目的路由管理。最终,通过访问 `https://localhost:7122/good/Hello` 和 `https://localhost:7122/order/Hello` 验证配置成功。
15 1
dotnet微服务之API网关Ocelot
|
7天前
|
Dubbo Java 应用服务中间件
服务架构的演进:从单体到微服务的探索之旅
随着企业业务的不断拓展和复杂度的提升,对软件系统架构的要求也日益严苛。传统的架构模式在应对现代业务场景时逐渐暴露出诸多局限性,于是服务架构开启了持续演变之路。从单体架构的简易便捷,到分布式架构的模块化解耦,再到微服务架构的精细化管理,企业对技术的选择变得至关重要,尤其是 Spring Cloud 和 Dubbo 等微服务技术的对比和应用,直接影响着项目的成败。 本篇文章会从服务架构的演进开始分析,探索从单体项目到微服务项目的演变过程。然后也会对目前常见的微服务技术进行对比,找到目前市面上所常用的技术给大家进行讲解。
17 1
服务架构的演进:从单体到微服务的探索之旅
|
5天前
|
Cloud Native 安全 API
云原生架构下的微服务治理策略与实践####
—透过云原生的棱镜,探索微服务架构下的挑战与应对之道 本文旨在探讨云原生环境下,微服务架构所面临的关键挑战及有效的治理策略。随着云计算技术的深入发展,越来越多的企业选择采用云原生架构来构建和部署其应用程序,以期获得更高的灵活性、可扩展性和效率。然而,微服务架构的复杂性也带来了服务发现、负载均衡、故障恢复等一系列治理难题。本文将深入分析这些问题,并提出一套基于云原生技术栈的微服务治理框架,包括服务网格的应用、API网关的集成、以及动态配置管理等关键方面,旨在为企业实现高效、稳定的微服务架构提供参考路径。 ####
26 5
|
7天前
|
Kubernetes 负载均衡 Cloud Native
云原生架构下的微服务治理策略
随着云原生技术的不断成熟,微服务架构已成为现代应用开发的主流选择。本文探讨了在云原生环境下实施微服务治理的策略和方法,重点分析了服务发现、负载均衡、故障恢复和配置管理等关键技术点,以及如何利用Kubernetes等容器编排工具来优化微服务的部署和管理。文章旨在为开发者提供一套实用的微服务治理框架,帮助其在复杂的云环境中构建高效、可靠的分布式系统。
21 5
|
7天前
|
负载均衡 监控 Cloud Native
云原生架构下的微服务治理策略与实践####
在数字化转型浪潮中,企业纷纷拥抱云计算,而云原生架构作为其核心技术支撑,正引领着一场深刻的技术变革。本文聚焦于云原生环境下微服务架构的治理策略与实践,探讨如何通过精细化的服务管理、动态的流量调度、高效的故障恢复机制以及持续的监控优化,构建弹性、可靠且易于维护的分布式系统。我们将深入剖析微服务治理的核心要素,结合具体案例,揭示其在提升系统稳定性、扩展性和敏捷性方面的关键作用,为读者提供一套切实可行的云原生微服务治理指南。 ####
|
8天前
|
监控 持续交付 Docker
Docker 容器化部署在微服务架构中的应用有哪些?
Docker 容器化部署在微服务架构中的应用有哪些?
|
8天前
|
监控 持续交付 Docker
Docker容器化部署在微服务架构中的应用
Docker容器化部署在微服务架构中的应用
|
8天前
|
安全 持续交付 Docker
微服务架构和 Docker 容器化部署的优点是什么?
微服务架构和 Docker 容器化部署的优点是什么?