1. 微服务架构上篇:2. grpc+protobuf+网关实战

简介: 1. 微服务架构上篇:2. grpc+protobuf+网关实战

1. 前言



这片文章主要是讲解grpc相关技术实战,会把企业级微服务项目进行剥离,抽离出核心框架,然后把它用在以后的项目中。我们要知道再庞大的项目,核心框架逻辑基本都是一样的,只不过在其基础之上增加了很多组建而已,比如流控,链路追踪等,所以接下来主要针对微服务核心逻辑进行讲解,请大家耐心看完。


2. grpc+protobuf实战



2.1 protobuf


Protocol Buffers 是一种与语言、平台无关,可扩展的序列化结构化数据的方法,常用于通信协议,数据存储等等。相较于 JSON、XML,它更小、更快、更简单,因此也更受开发人员的青眯。


语法格式:

syntax = "proto3";
package helloworld;
import "gogoproto/gogo.proto";
import "google/api/annotations.proto";//注解 用于生成反向代理 for gateway使用
option (gogoproto.marshaler_all) = true;
option (gogoproto.unmarshaler_all) = true;
// 服务定义 即我们要提供给外部的接口
service Greeter {
    rpc SayHello (HelloRequest) returns (HelloReply) {
        option (google.api.http) = { // google.api.http会把restful api转为grpc
            post: "/hello" // method:post 路由:/hello
            body: "*"
        };
    }
}
//请求参数结构体
message HelloRequest {
    string name = 1; //1 只是代表参数序号 不是值
}
// 返回响应结构体
message HelloReply {
    string message = 1; //解释同上
}

大家看到其实定义一个proto文件最核心的四个点就是:

  1. 首行的协议(syntax = "proto3")
  2. 接口定义(service Greeter)
  3. Request请求定义(HelloRequest)
  4. Response响应定义(HelloReply)


其他proto语法具体参考:https://colobu.com/2019/10/03/protobuf-ultimate-tutorial-in-go/


然后我们需要protoc工具生成相应的文件,这里你可以单独调用protoc生成,也可以用shell脚本生成(如果是简单用一下就直接参考:https://learnku.com/docs/go-micro-build/1.0/21-preparation-and-generation-of-proto-file/8881;如果是shell脚本,后面等到etcd服务发现和注册讲完之后贴出来供大家参考)。


生成的文件截图如下:

640.png


里面的generate.sh就是我们刚才说的shell脚本,运行它之后就会生成下面的helloworld.pb.go文件,这个里面就有proto协议生成的Request和Response,所有转码解码都在这里,我们会基于这里面的pb.HelloRequestpb.HelloReply实现接口。


2.2 grpc的client和server介绍


grpc是c/s架构,它具备client和server,所以想要实现一个基于grpc的微服务,那就得实现二者的相关逻辑,首先介绍server的实现, 代码示例:server.go


func main() {
flag.Parse()
  //首先定义一个基于tcp协议的ip端口Listener
 lis, err := net.Listen("tcp", "localhost:50051")
 if err != nil {
  panic(err)
 }
  //初始化一个grpc服务
  s := grpc.NewServer()
  //注册server服务到grpc 这个server结构体会实现SayHello接口
 pb.RegisterGreeterServer(s, &server{})
  //grpc服务利用Listener提供server能力
 s.Serve(lis)
}


接下来看看server结构体的定义和实现


// 定义server结构体实现helloworld.GreeterServer接口
type server struct{}
// SayHello实现helloworld.GreeterServer
// 这里就会用proto生成的文件中的请求和响应
func (s *server) SayHello(ctx context.Context, in *pb.HelloRequest) (*pb.HelloReply, error) {
 logrus.Infof("%v: Receive is %s\n", time.Now(), in.Name)
 return &pb.HelloReply{Message: "Hello " + in.Name + " from " + net.JoinHostPort(*host, *port)}, nil
}


我们看到其实grpc的server创建和服务注册其实很简单,包括后面我们基于etcd实现服务注册与发现能力,也是非常简单的,几行代码就具备了基于grpc的微服务架构能力,简直屌爆了。

其次就是介绍client的实现,代码示例如下:client.go


func main() {
 flag.Parse()
 ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
 // 创建 grpc Channel 与 grpc Server 进行通信(需服务器地址和端口作为参数)
 // 并且设置 DialOptions 比如负载均衡,凭证等
 conn, err := grpc.DialContext(ctx, "localhost:50051", grpc.WithInsecure(), grpc.WithBalancerName(roundrobin.Name), grpc.WithBlock())
 cancel()
 if err != nil {
  panic(err)
 }
 //创建 Client Stub
 client := pb.NewGreeterClient(conn)
 //调用对应的服务方法 即调服务端定义的接口SayHello 参数和server参数对应 是proto的request
 resp, err := client.SayHello(context.Background(), &pb.HelloRequest{Name: "world " + strconv.Itoa(t.Second())})
 if err == nil {
  logrus.Infof("%v: Reply is %s\n", t, resp.Message)
 }
}


客户端的创建和调用也非常简单,因为grpc是由rpc而来,所以远程过程调用就是客户端直接调用方法即可实现请求远端接口的能力。


最后就是启动服务端: 运行server的main.go, 然后执行client的main.go即可实现rpc调用啦。


3. grpc+gateway网关实战



网关能力我们直接用github.com/grpc-ecosystem/grpc-gateway

我们都知道 grpc 并不是万能的工具,在某些情况下,我们仍然想提供传统的 HTTP/JSON API。原因可能从保持向后兼容性到支持编程语言或 grpc 无法很好地支持的客户端。但是仅仅为了公开 HTTP/JSON API 而编写另一个服务是一项非常耗时且乏味的任务。

那么,有什么方法可以只编写一次代码,却可以同时在 grpc 和 HTTP/JSON 中提供 API?

答案是 Yes。


grpc-Gateway 是 Google protocol buffers compiler protoc 的插件。它读取 protobuf service 定义并生成反向代理服务器( reverse-proxy server) ,该服务器将 RESTful HTTP API 转换为 grpc。该服务器是根据服务定义中的 google.api.http 批注(annotations)生成的。

这有助于你同时提供 gRPC 和 HTTP/JSON 格式的 API。


gateway的代码生成同样是基于上面的shell脚本(generate.sh)生成的,代码后期会同步,生成之后的文件如下:

640.png


生成的文件是helloworld.pb.gw.go,这里面有我们需要对外提供RESTful API的handler,即RegisterGreeterHandler,这个handler会注册到golang的ServeMux,最后通过http.ListenAndServe提供监听服务。代码示例如下:gw.go


func main() {
 conn, err := grpc.DialContext(ctx, "localhost:50051", grpc.WithInsecure(), grpc.WithBalancerName(roundrobin.Name), grpc.WithBlock())
 cancel()
 if err != nil {
  panic(err)
 }
 // 初始化ServeMux
 mux := runtime.NewServeMux()
 // 将Greeter服务注册到mux
 err = pb.RegisterGreeterHandler(ctx, mux, conn)
 if err != nil {
  panic(err)
 }
 // Start HTTP server (and proxy calls to grpc server endpoint)
 logrus.Fatal(http.ListenAndServe("localhost:60001", mux))
}

最后运行gw.go, 然后在终端上调用 curl -X POST http://localhost:60001/hello -d '{"name": "fromGW"}' 就OK了。


具体网关参考:https://www.cnblogs.com/hacker-linner/p/14618862.html


4. 小结



本篇文章到这里就结束了,代码在【微服务架构上篇】结束之后会把github地址贴出来,到时候大家clone到本地运行即可。本篇重点以实战的角度讲解grpc的server和client以及gateway能力,接下来的文章我们会聊聊基于etcd的服务注册和发现能力,重点先介绍etcd的原理,欢迎大家关注点赞和分享。

相关文章
|
21天前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
20天前
|
Java 开发者 微服务
从单体到微服务:如何借助 Spring Cloud 实现架构转型
**Spring Cloud** 是一套基于 Spring 框架的**微服务架构解决方案**,它提供了一系列的工具和组件,帮助开发者快速构建分布式系统,尤其是微服务架构。
141 68
从单体到微服务:如何借助 Spring Cloud 实现架构转型
|
19天前
|
运维 监控 持续交付
微服务架构解析:跨越传统架构的技术革命
微服务架构(Microservices Architecture)是一种软件架构风格,它将一个大型的单体应用拆分为多个小而独立的服务,每个服务都可以独立开发、部署和扩展。
149 36
微服务架构解析:跨越传统架构的技术革命
|
7天前
|
NoSQL 前端开发 测试技术
👀探秘微服务:从零开启网关 SSO 服务搭建之旅
单点登录(Single Sign-On,简称SSO)是一种认证机制,它允许用户只需一次登录就可以访问多个应用程序或系统。本文结合网关和SaToken快速搭建可用的Session管理服务。
46 8
|
7天前
|
弹性计算 Java 数据库
Web应用上云经典架构实战
本课程详细介绍了Web应用上云的经典架构实战,涵盖前期准备、配置ALB、创建服务器组和监听、验证ECS公网能力、环境配置(JDK、Maven、Node、Git)、下载并运行若依框架、操作第二台ECS以及验证高可用性。通过具体步骤和命令,帮助学员快速掌握云上部署的全流程。
|
16天前
|
Cloud Native API 微服务
微服务引擎 MSE 及云原生 API 网关 2024 年 11 月产品动态
微服务引擎 MSE 及云原生 API 网关 2024 年 11 月产品动态。
|
17天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 11 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
22天前
|
设计模式 负载均衡 监控
探索微服务架构下的API网关设计
在微服务的大潮中,API网关如同一座桥梁,连接着服务的提供者与消费者。本文将深入探讨API网关的核心功能、设计原则及实现策略,旨在为读者揭示如何构建一个高效、可靠的API网关。通过分析API网关在微服务架构中的作用和挑战,我们将了解到,一个优秀的API网关不仅要处理服务路由、负载均衡、认证授权等基础问题,还需考虑如何提升系统的可扩展性、安全性和可维护性。文章最后将提供实用的代码示例,帮助读者更好地理解和应用API网关的设计概念。
51 8
|
27天前
|
消息中间件 运维 Kubernetes
后端架构演进:从单体到微服务####
本文将探讨后端架构的演变过程,重点分析从传统的单体架构向现代微服务架构的转变。通过实际案例和理论解析,揭示这一转变背后的技术驱动力、挑战及最佳实践。文章还将讨论在采用微服务架构时需考虑的关键因素,包括服务划分、通信机制、数据管理以及部署策略,旨在为读者提供一个全面的架构转型视角。 ####
35 1
|
6天前
|
存储 监控 供应链
微服务拆分的 “坑”:实战复盘与避坑指南
本文回顾了从2~3人初创团队到百人技术团队的成长历程,重点讨论了从传统JSP到前后端分离+SpringCloud微服务架构的演变。通过实际案例,总结了微服务拆分过程中常见的两个问题:服务拆分边界不清晰和拆分粒度过细,并提出了优化方案,将11个微服务优化为6个,提高了系统的可维护性和扩展性。
22 0