go-zero代码生成器助你高效开发

简介: go-zero代码生成器助你高效开发

Protocol Buffers 是谷歌推出的编码标准,它在传输效率和编解码性能上都要优于 JSON。但其代价则是需要依赖中间描述语言(IDL)来定义数据和服务的结构(通过 *.proto 文件),并且需要一整套的工具链(protoc 及其插件)来生成对应的序列化和反序列化代码。除了谷歌官方提供的工具和插件(比如生成 go 代码的 protoc-gen-go)外,开发者还可以开发或定制自己的插件,根据业务需要按照 proto 文件的定义生成代码或者文档。

goctl rpc 代码生成工具开发的目的:

  1. proto 模版生成
  2. rpc server 代码生成 → 得到的是 go-zero zrpc
  3. 内部包装了 gRPC pb code 的生成
  4. 和 http server 一样,提供了 go-zero 内置的一些管控中间件

我们可以注意到第3点,基本在不使用 codegen tool 情况下,开发者需要自己执行 protoc + protoc-gen-go 插件生成对应的 .pb.go 文件。整个过程比较繁琐。

以上是 goctl rpc 的背景。本篇文章先从整体生成的角度阐述 goctl 生成过程,之后再分析一些关键的部分,从而让各位开发者可以开发出契合自己业务系统的 codegen tool

整体结构

// 推荐使用 v3 版本。现在流行的 gRPC 框架也是使用 v3 版本。
syntax = "proto3";
// 每个 proto 文件需要定义自己的包名,类似 c++ 的名称空间。
package hello;
// 数据结构通过 message 定义
message Echo {
  // 每个 message 可以有多个 field。
  // 每个 field 需要指定类型、字段名和编号。
  // Protocol Buffers 在内部使用编号区分字段,一旦指定就不能更改。
  string msg = 1;
}
// 服务使用 servcie 定义
service Demo {
  // 每个 service 可以定义多个 rpc
  // 每个 rpc 需要指定接口名、传入消息和返回消息三部分。
  rpc Echo(Echo) returns (Echo);
}

所谓 代码生成 其实也就是把 proto file(IDL) 的每一部分解析出来,然后再对应每一部分做模版渲染,生成对应的代码即可。

而且在生成过程中,我们还可以借助插件或者定制自己的插件。

我们先看看入口:

{
  Name:        "protoc",
  Usage:       "generate grpc code",
  UsageText:   "example: goctl rpc protoc xx.proto --go_out=./pb --go-grpc_out=./pb --zrpc_out=.",
  Description: "for details, see https://go-zero.dev/cn/goctl-rpc.html",
  Action:      rpc.ZRPC,
  Flags:       []cli.Flag{
   ...
  },
}

从 goctl.go(基本上goctl下面的命令入口都在这个文件可以找到)进入:

// ZRPC generates grpc code directly by protoc and generates
// zrpc code by goctl.
func ZRPC(c *cli.Context) error {
  ...
  grpcOutList := c.StringSlice("go-grpc_out")
  goOutList := c.StringSlice("go_out")
  zrpcOut := c.String("zrpc_out")
  style := c.String("style")
  home := c.String("home")
  remote := c.String("remote")
  branch := c.String("branch")
  ...
  goOut := goOutList[len(goOutList)-1]
  grpcOut := grpcOutList[len(grpcOutList)-1]
  ...
 
  var ctx generator.ZRpcContext
  ...
  // 将args中的值逐个赋值给 ZRpcContext,作为env context注入 generator
  g, err := generator.NewDefaultRPCGenerator(style, generator.WithZRpcContext(&ctx))
  if err != nil {
   return err
  }
  return g.Generate(source, zrpcOut, nil)
}

g.Generate(source, zrpcOut, nil) → goctl rpc 生成的核心函数,负责了整个生命周期:

  1. 解析 → proto parse
  2. 模版填充 → proto item into template
  3. 文件生成 → touch generate file

generator

func (g *RPCGenerator) Generate(src, target string, protoImportPath []string, goOptions ...string) error {
  ...
  // proto parser
  p := parser.NewDefaultProtoParser()
  proto, err := p.Parse(src)
  
  dirCtx, err := mkdir(projectCtx, proto, g.cfg, g.ctx)
  
  // generate Go code
  err = g.g.GenEtc(dirCtx, proto, g.cfg)
  err = g.g.GenPb(dirCtx, protoImportPath, proto, g.cfg, g.ctx, goOptions...)
  err = g.g.GenConfig(dirCtx, proto, g.cfg)
  err = g.g.GenSvc(dirCtx, proto, g.cfg)
  err = g.g.GenLogic(dirCtx, proto, g.cfg)
  err = g.g.GenServer(dirCtx, proto, g.cfg)
  err = g.g.GenMain(dirCtx, proto, g.cfg)
  err = g.g.GenCall(dirCtx, proto, g.cfg)
  ...
}

上图展示 Generate() 的代码生成过程。


这里提前说明一些 GenPb() 的过程。为什么要说这个呢?goctl是脱离 protoc 的工具体系,包括和 protoc 插件机制,所以要生成 .pb.go 文件,之间是怎么耦合的呢?

首先查询是否有内置的 xxx 插件,如果没有内置的 xxx 插件那么将继续查询当前系统中是否存在 protoc-gen-xxx 命名的可执行程序,最终通过查询到的插件生成代码。

go-zero 是没有对 protoc 额外编写插件辅助生成代码。所以默认使用的就是 protoc-gen-xxx 生成的go代码。

func (g *DefaultGenerator) GenPb(ctx DirContext, 
  protoImportPath []string, 
  proto parser.Proto, 
  _ *conf.Config, 
  c *ZRpcContext, 
  goOptions ...string) error {
 ...
 // protoc 命令string
 cw := new(bytes.Buffer)
 ...
 // cw.WriteString("protoc ")
 // cw.WriteString(some command shell)
 command := cw.String()
 g.log.Debug(command)
 _, err := execx.Run(command, "")
 if err != nil {
  if strings.Contains(err.Error(), googleProtocGenGoErr) {
   return errors.New(`unsupported plugin protoc-gen-go which installed from the following source:
google.golang.org/protobuf/cmd/protoc-gen-go, 
github.com/protocolbuffers/protobuf-go/cmd/protoc-gen-go;
Please replace it by the following command, we recommend to use version before v1.3.5:
go get -u github.com/golang/protobuf/protoc-gen-go`)
  }
  return err
 }
 return nil
}

一句话描述 GenPb() :

根据前面 proto parse 解析出来的结构和路径拼装 protoc 编译运行的命令,然后 execx.Run(command, "") 直接执行这条命令即可。

所以如果开发者需要加入自己的插件,可以自行修改其中 cw.WriteString(some command shell) 写入自己的执行命令逻辑即可。

总结

以上就是本文的全部内容了。本文从 goctl rpc 生成rpc代码的入口分析了整个生成流程,其中特意提到 .pb.go 文件的生成,开发者可以从此代码部分切入 goctl rpc,加入自己编写的proto插件。当然还有其他部分,会在后续的文章继续分析。

本系列文章的目的:顺便带大家改造一个属于自己的 rpc codegen tool。

项目地址

https://github.com/zeromicro/go-zero

相关文章
|
18天前
|
缓存 弹性计算 API
用 Go 快速开发一个 RESTful API 服务
用 Go 快速开发一个 RESTful API 服务
|
1月前
|
JSON 中间件 Go
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
本文详细介绍了如何在Go项目中集成并配置Zap日志库。首先通过`go get -u go.uber.org/zap`命令安装Zap,接着展示了`Logger`与`Sugared Logger`两种日志记录器的基本用法。随后深入探讨了Zap的高级配置,包括如何将日志输出至文件、调整时间格式、记录调用者信息以及日志分割等。最后,文章演示了如何在gin框架中集成Zap,通过自定义中间件实现了日志记录和异常恢复功能。通过这些步骤,读者可以掌握Zap在实际项目中的应用与定制方法
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
|
1月前
|
算法 NoSQL 中间件
go语言后端开发学习(六) ——基于雪花算法生成用户ID
本文介绍了分布式ID生成中的Snowflake(雪花)算法。为解决用户ID安全性与唯一性问题,Snowflake算法生成的ID具备全局唯一性、递增性、高可用性和高性能性等特点。64位ID由符号位(固定为0)、41位时间戳、10位标识位(含数据中心与机器ID)及12位序列号组成。面对ID重复风险,可通过预分配、动态或统一分配标识位解决。Go语言实现示例展示了如何使用第三方包`sonyflake`生成ID,确保不同节点产生的ID始终唯一。
go语言后端开发学习(六) ——基于雪花算法生成用户ID
|
1月前
|
JSON 缓存 监控
go语言后端开发学习(五)——如何在项目中使用Viper来配置环境
Viper 是一个强大的 Go 语言配置管理库,适用于各类应用,包括 Twelve-Factor Apps。相比仅支持 `.ini` 格式的 `go-ini`,Viper 支持更多配置格式如 JSON、TOML、YAML
go语言后端开发学习(五)——如何在项目中使用Viper来配置环境
|
1月前
|
关系型数据库 MySQL Go
Go - 代码生成工具
Go - 代码生成工具
25 3
|
19天前
|
Java Go API
我用go-zero开发了第一个线上项目
我用go-zero开发了第一个线上项目
|
2月前
|
缓存 编译器 Go
开发与运维线程问题之Go语言的goroutine基于线程模型实现如何解决
开发与运维线程问题之Go语言的goroutine基于线程模型实现如何解决
48 3
|
30天前
|
监控 Serverless Go
Golang 开发函数计算问题之Go 语言中切片扩容时需要拷贝原数组中的数据如何解决
Golang 开发函数计算问题之Go 语言中切片扩容时需要拷贝原数组中的数据如何解决
|
1月前
|
Go 开发者
Go1.22 新特性:Slices 变更 Concat、Delete、Insert 等函数,对开发挺有帮助!
Go1.22 新特性:Slices 变更 Concat、Delete、Insert 等函数,对开发挺有帮助!
|
2月前
|
算法 网络协议 Linux