go-micro集成链路跟踪的方法和中间件原理

简介: go-micro集成链路跟踪的方法和中间件原理

前几天有个同学想了解下如何在go-micro中做链路跟踪,这几天正好看到wrapper这块,wrapper这个东西在某些框架中也称为中间件,里边有个opentracing的插件,正好用来做链路追踪。opentracing是个规范,还需要搭配一个具体的实现,比如zipkin、jeager等,这里选择zipkin。

1689144742842.png


链路跟踪实战


安装zipkin


通过docker快速启动一个zipkin服务端:

docker run -d -p 9411:9411 openzipkin/zipkin


程序结构


为了方便演示,这里把客户端和服务端放到了一个项目中,程序的目录结构是这样的:

1689144799313.png

  • main.go 服务端程序。
  • client/main.go 客户端程序。
  • config/config.go 程序用到的一些配置,比如服务的名称和监听端口、zipkin的访问地址等。
  • zipkin/ot-zipkin.go opentracing和zipkin相关的函数。

安装依赖包


需要安装go-micro、opentracing、zipkin相关的包:

go get go-micro.dev/v4@latest
go get github.com/go-micro/plugins/v4/wrapper/trace/opentracing
go get -u github.com/openzipkin-contrib/zipkin-go-opentracing


编写服务端


首先定义一个服务端业务处理程序:

type Hello struct {
}
func (h *Hello) Say(ctx context.Context, name *string, resp *string) error {
  *resp = "Hello " + *name
  return nil
}

这个程序只有一个方法Say,输入name,返回 "Hello " + name。

然后使用go-micro编写服务端框架程序:

func main() {
  tracer := zipkin.GetTracer(config.SERVICE_NAME, config.SERVICE_HOST)
  defer zipkin.Close()
  tracerHandler := opentracing.NewHandlerWrapper(tracer)
  service := micro.NewService(
    micro.Name(config.SERVICE_NAME),
    micro.Address(config.SERVICE_HOST),
    micro.WrapHandler(tracerHandler),
  )
  service.Init()
  micro.RegisterHandler(service.Server(), &Hello{})
  if err := service.Run(); err != nil {
    log.Println(err)
  }
}

这里NewService的时候除了指定服务的名称和访问地址,还通过micro.WrapHandler设置了一个用于链路跟踪的HandlerWrapper。

这个HandlerWrapper是通过go-micro的opentracing插件提供的,这个插件需要传入一个tracer。这个tracer可以通过前边安装的 zipkin-go-opentracing 包来创建,我们把创建逻辑封装在了config.go中:

func GetTracer(serviceName string, host string) opentracing.Tracer {
  // set up a span reporter
  zipkinReporter = zipkinhttp.NewReporter(config.ZIPKIN_SERVER_URL)
  // create our local service endpoint
  endpoint, err := zipkin.NewEndpoint(serviceName, host)
  if err != nil {
    log.Fatalf("unable to create local endpoint: %+v\n", err)
  }
  // initialize our tracer
  nativeTracer, err := zipkin.NewTracer(zipkinReporter, zipkin.WithLocalEndpoint(endpoint))
  if err != nil {
    log.Fatalf("unable to create tracer: %+v\n", err)
  }
  // use zipkin-go-opentracing to wrap our tracer
  tracer := zipkinot.Wrap(nativeTracer)
  opentracing.InitGlobalTracer(tracer)
  return tracer
}

service创建完毕之后,还要通过 micro.RegisterHandler 来注册前边编写的业务处理程序。

最后通过 service.Run 让服务运行起来。

编写客户端

再来看一下客户端的处理逻辑:

func main() {
  tracer := zipkin.GetTracer(config.CLIENT_NAME, config.CLIENT_HOST)
  defer zipkin.Close()
  tracerClient := opentracing.NewClientWrapper(tracer)
  service := micro.NewService(
    micro.Name(config.CLIENT_NAME),
    micro.Address(config.CLIENT_HOST),
    micro.WrapClient(tracerClient),
  )
  client := service.Client()
  go func() {
    for {
      <-time.After(time.Second)
      result := new(string)
      request := client.NewRequest(config.SERVICE_NAME, "Hello.Say", "FireflySoft")
      err := client.Call(context.TODO(), request, result)
      if err != nil {
        log.Println(err)
        continue
      }
      log.Println(*result)
    }
  }()
  service.Run()
}

这段代码开始也是先NewService,设置客户端程序的名称和监听地址,然后通过micro.WrapClient注入链路跟踪,这里注入的是一个ClientWrapper,也是由opentracing插件提供的。这里用的tracer和服务端tracer是一样的,都是通过config.go中GetTracer函数获取的。

然后为了方便演示,启动一个go routine,客户端每隔一秒发起一次RPC请求,并将返回结果打印出来。运行效果如图所示:


1689144970686.png

Wrap原理分析

Wrap从字面意思上理解就是封装、嵌套,在很多的框架中也称为中间件,比如gin中,再比如ASP.NET Core中。这个部分就来分析下go-micro中Wrap的原理。

服务端Wrap

在go-micro中服务端处理请求的逻辑封装称为Handler,它的具体形式是一个func,定义为:

func(ctx context.Context, req Request, rsp interface{}) error

这个部分就来看一下服务端Handler是怎么被Wrap的。

HandlerWrapper

要想Wrap一个Handler,必须创建一个HandlerWrapper类型,这其实是一个func,其定义如下:

type HandlerWrapper func(HandlerFunc) HandlerFunc

它的参数和返回值都是HandlerFunc类型,其实就是上面提到的Handler的func定义。

以本文链路跟踪中使用的 tracerHandler 为例,看一下HandlerWrapper是如何实现的:

  func(h server.HandlerFunc) server.HandlerFunc {
    return func(ctx context.Context, req server.Request, rsp interface{}) error {
      ...
      if err = h(ctx, req, rsp); err != nil {
      ...
    }
  }

从中可以看出,Wrap一个Hander就是定义一个新Handler,在它的的内部调用传入的原Handler。

Wrap Handler

创建了一个HandlerWrapper之后,还需要把它加入到服务端的处理过程中。

go-micro在NewService的时候通过调用 micro.WrapHandler 设置这些 HandlerWrapper:

service := micro.NewService(
    ...
    micro.WrapHandler(tracerHandler),
  )

实现:

func WrapHandler(w ...server.HandlerWrapper) Option {
  return func(o *Options) {
    var wrappers []server.Option
    for _, wrap := range w {
      wrappers = append(wrappers, server.WrapHandler(wrap))
    }
    o.Server.Init(wrappers...)
  }
}

它返回的是一个函数,这个函数会将我们传入的HandlerWrapper通过server.WrapHandler转化为一个server.Option,然后交给Server.Init进行初始化处理。

这里的server.Option其实还是一个func,看一下WrapHandler的源码:

func WrapHandler(w HandlerWrapper) Option {
  return func(o *Options) {
    o.HdlrWrappers = append(o.HdlrWrappers, w)
  }
}

这个func将我们传入的HandlerWrapper添加到了一个切片中。

那么这个函数什么时候执行呢?就在Server.Init中。看一下Server.Init中的源码:

 func (s *rpcServer) Init(opts ...Option) error {
  ...
  for _, opt := range opts {
    opt(&s.opts)
  }
  if s.opts.Router == nil {
    r := newRpcRouter()
    r.hdlrWrappers = s.opts.HdlrWrappers
    ...
    s.router = r
  }
  ...
}

它会遍历传入的所有server.Option,也就是执行每一个func(o *Options)。这样Options的切片HdlrWrappers中就添加了我们设置的HandlerWrapper,同时还把这个切片传递到了rpcServer的router中。

可以看到这里的Options就是rpcServer.opts,HandlerWrapper切片同时设置到了rpcServer.router和rpcServer.opts中。

还有一个问题:WrapHandler返回的func什么时候执行呢?

这个在micro.NewService -> newService -> newOptions中:


func newOptions(opts ...Option) Options {
  opt := Options{
  ...
    Server:    server.DefaultServer,
  ...
  }
  for _, o := range opts {
    o(&opt)
  }
  ...
}

遍历opts就是执行每一个设置func,最终执行到rpcServer.Init。

到NewService执行完毕为止,我们设置的WrapHandler全部添加到了一个名为HdlrWrappers的切片中。

再来看一下服务端Wrapper的执行过程是什么样的?

执行Handler的这段代码在rpc_router.go中:

func (s *service) call(ctx context.Context, router *router, sending *sync.Mutex, mtype *methodType, req *request, argv, replyv reflect.Value, cc codec.Writer) error {
  defer router.freeRequest(req)
  ...
  for i := len(router.hdlrWrappers); i > 0; i-- {
    fn = router.hdlrWrappers[i-1](fn)
  }
  ...
  // execute handler
  return fn(ctx, r, rawStream)
}

根据前面的分析,可以知道router.hdlrWrappers中记录的就是所有的HandlerWrapper,这里通过遍历router.hdlrWrappers实现了HandlerWrapper的嵌套,注意这里遍历时索引采用了从大到小的顺序,后添加的先被Wrap,先添加在外层。

实际执行时就是先调用到最先添加的HandlerWrapper,然后一层层向里调用,最终调用到我们注册的业务Handler,然后再一层层的返回,每个HandlerWrapper都可以在调用下一层前后做些自己的工作,比如链路跟踪这里的检测执行时间。


相关文章
|
数据采集 运维 DataWorks
DataWorks 千万级任务调度与全链路集成开发治理赋能智能驾驶技术突破
智能驾驶数据预处理面临数据孤岛、任务爆炸与开发运维一体化三大挑战。DataWorks提供一站式的解决方案,支持千万级任务调度、多源数据集成及全链路数据开发,助力智能驾驶模型数据处理与模型训练高效落地。
1040 0
|
10月前
|
存储 安全 Java
【Golang】(4)Go里面的指针如何?函数与方法怎么不一样?带你了解Go不同于其他高级语言的语法
结构体可以存储一组不同类型的数据,是一种符合类型。Go抛弃了类与继承,同时也抛弃了构造方法,刻意弱化了面向对象的功能,Go并非是一个传统OOP的语言,但是Go依旧有着OOP的影子,通过结构体和方法也可以模拟出一个类。
454 2
|
机器学习/深度学习 Python
堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能
本文深入探讨了堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能。文章详细介绍了堆叠的实现步骤,包括数据准备、基础模型训练、新训练集构建及元学习器训练,并讨论了其优缺点。
1096 3
|
12月前
|
缓存 监控 中间件
Django中间件自定义开发指南:从原理到实战的深度解析
Django中间件是Web应用的“交通警察”,在请求与响应过程中进行全局处理,适用于身份验证、日志记录、性能监控等功能。本文详解中间件的工作原理、开发步骤及实战案例,帮助开发者掌握自定义中间件的构建方法,提升Django应用的可维护性与扩展性。
574 0
|
人工智能 安全 Java
Go与Java泛型原理简介
本文介绍了Go与Java泛型的实现原理。Go通过单态化为不同类型生成函数副本,提升运行效率;而Java则采用类型擦除,将泛型转为Object类型处理,保持兼容性但牺牲部分类型安全。两种机制各有优劣,适用于不同场景。
665 24
|
机器学习/深度学习 数据采集 存储
朴素贝叶斯处理混合数据类型,基于投票与堆叠集成的系统化方法理论基础与实践应用
本文探讨了朴素贝叶斯算法在处理混合数据类型中的应用,通过投票和堆叠集成方法构建分类框架。实验基于电信客户流失数据集,验证了该方法的有效性。文章详细分析了算法的数学理论基础、条件独立性假设及参数估计方法,并针对二元、类别、多项式和高斯分布特征设计专门化流水线。实验结果表明,集成学习显著提升了分类性能,但也存在特征分类自动化程度低和计算开销大的局限性。作者还探讨了特征工程、深度学习等替代方案,为未来研究提供了方向。(239字)
375 5
朴素贝叶斯处理混合数据类型,基于投票与堆叠集成的系统化方法理论基础与实践应用
Go语言方法与接收者 -《Go语言实战指南》
本文介绍了 Go 语言中方法的相关概念和用法。方法是绑定到特定类型上的函数,包含值接收者和指针接收者两种形式。值接收者不会改变原始数据,而指针接收者可修改原始数据,且在处理大型结构体时性能更优。文章详细对比了方法与普通函数的区别,并说明了选择指针接收者的原因,如修改原始值、提升性能及保持一致性。此外,Go 支持为任意自定义类型定义方法,不仅限于结构体。最后通过表格总结了方法的核心概念和使用场景。
372 34
|
存储 人工智能 安全
深入理解 go sync.Map - 基本原理
本文介绍了 Go 语言中 `map` 在并发使用时的常见问题及其解决方案,重点对比了 `sync.Mutex`、`sync.RWMutex` 和 `sync.Map` 的性能差异及适用场景。文章指出,普通 `map` 不支持并发读写,容易引发错误;而 `sync.Map` 通过原子操作和优化设计,在某些场景下能显著提升性能。同时详细讲解了 `sync.Map` 的基本用法及其适合的应用环境,如读多写少或不同 goroutine 操作不同键的场景。
585 1
|
算法 Java Go
Go内存原理-GC原理
本文介绍了Go语言中垃圾回收(GC)机制的发展与实现原理,涵盖从标记-清除算法到三色标记法,再到三色标记加混合写屏障的演进过程,重点解析各版本GC的核心思想、优缺点及性能优化方向。
468 4
|
安全 Go 开发者
Go语言之切片的原理与用法 - 《Go语言实战指南》
切片(slice)是Go语言中用于处理变长数据集合的核心结构,基于数组的轻量级抽象,具有灵活高效的特点。切片本质是一个三元组:指向底层数组的指针、长度(len)和容量(cap)。本文详细介绍了切片的声明与初始化方式、基本操作(如访问、修改、遍历)、长度与容量的区别、自动扩容机制、共享与副本处理、引用类型特性以及常见陷阱。通过理解切片的底层原理,开发者可以更高效地使用这一数据结构,优化代码性能。
475 13