Go语言微服务框架 - 13.监控组件Prometheus的引入

简介: 今天我们专注于自定义服务中的Prometheus的监控,在框架中引入Prometheus相关的组件。关于更细致的使用方式,我会给出相关的链接,有兴趣进一步学习Prometheus的同学可以边参考资料边实践。

作为云原生程序监控的标准组件,Prometheus支持了各类Paas、Saas平台,并提供了一整套采集+存储+展示的解决方案。

今天我们专注于自定义服务中的Prometheus的监控,在框架中引入Prometheus相关的组件。关于更细致的使用方式,我会给出相关的链接,有兴趣进一步学习Prometheus的同学可以边参考资料边实践。

v0.8.0:监控组件Prometheus的引入

项目链接 https://github.com/Junedayday/micro_web_service/tree/v0.8.0

目标

引入prometheus组件,提供标准与自定义的metrics。

关键技术点

  1. metrics接口的开放
  2. 示例counter的初始化
  3. 示例counter的计数
  4. 学习Prometheus监控使用方法

目录构造

--- micro_web_service            项目目录
    |-- gen                            从idl文件夹中生成的文件,不可手动修改
       |-- idl                             对应idl文件夹
          |-- demo                             对应idl/demo服务,包括基础结构、HTTP接口、gRPC接口
            |-- order                            对应idl/order服务,同上
     |-- swagger.json                    openapiv2的接口文档
    |-- idl                            原始的idl定义
       |-- demo                            业务package定义,protobuffer的原始定义
       |-- order                           业务order定义,同时干
    |-- internal                       项目的内部代码,不对外暴露
       |-- config                          配置相关的文件夹,viper的相关加载逻辑
       |-- dao                             Data Access Object层,是model层的实现
       |-- gormer                          从pkg/gormer中生成的相关代码,不允许更改
       |-- metrics                         新增:自定义监控指标
       |-- model                           model层基本定义由gormer自动生成
       |-- mysql                           MySQL连接,支持日志打印
       |-- server                          服务器的实现,对idl中定义服务的具体实现
       |-- service                         service层,作为领域实现的核心部分
     |-- zlog                            封装zap日志的代码实现
  |-- pkg                            开放给第三方的工具库
     |-- gormer                          gormer二进制工具,用于生成Gorm相关Dao层代码
    |-- buf.gen.yaml                   buf生成代码的定义,新增参数校验逻辑
    |-- buf.yaml                       buf工具安装所需的工具,从v1beta升到v1
    |-- format.sh                      新增:格式化代码的脚本
    |-- gen.sh                         生成代码的脚本:buf+gormer
    |-- go.mod                         Go Module文件
    |-- gormer.yaml                    将gormer中的参数移动到这里
    |-- main.go                        项目启动的main函数
    |-- swagger.sh                     生成openapiv2的相关脚本

1.metrics接口的开放

Prometheus官方推荐的metrics开放方式为http。将它引入到程序中的代码如下面几行,不过有几个点值得注意:

go func() {
   
  mux := http.NewServeMux()
  mux.Handle("/metrics", promhttp.Handler())
  http.ListenAndServe(fmt.Sprintf(":%d", config.Viper.GetInt("server.prometheus.port")), mux)
}()
  1. http.ListenAndServe 函数是阻塞的,所以需要开一个goroutine。
  2. 为了保证Prometheus的指标监控不与应用的http服务冲突,这里采用了端口隔离,也就是另起一个http服务。
  3. Gohttp 库如果要支持多port的运行,需要引入mux的概念;默认会注册到http库中的DefaultServeMux

为了验证我们的metrics已经正常running,我们可以调用一个curl请求查看一下(具体返回结果不细讲)。

# 示例的metrics起在8083端口
curl --request GET 'http://127.0.0.1:8083/metrics'

2.示例counter的初始化

我们先以一个最简单的counter累加器为例,实现一个自定的指标监控。

package metrics

import "github.com/prometheus/client_golang/prometheus"

func init() {
   
    prometheus.MustRegister(OrderList)
}

var OrderList = prometheus.NewCounterVec(
    prometheus.CounterOpts{
   
        Name: "order_list_counter",
        Help: "List Order Count",
    },
    []string{
   "service"},
)

代码的逻辑比较简单,我们注意以下三个关键点:

  1. OrderList 是一个全局变量,方便使用方调用;
  2. NewCounterVec 表示这个Counter是一个向量,包括了两块 - opts和labels
    1. opts包括Name和Help,Name是metrics唯一的名称,Help是metrics的帮助信息
    2. labels是用来过滤、聚合功能的关键参数,提前声明有利于存储端进行优化(可类比数据库索引)
  3. prometheus.MustRegister(OrderList) 是将metrics注册到prometheus的全局变量里,与main函数里的注册对应

3.示例counter的计数

从指标的定义可以看到,我们设计的这个metrics是为了统计订单查询接口的次数,于是我们在代码侧引入:

func (s *Server) ListOrders(ctx context.Context, req *order.ListOrdersRequest) (*order.ListOrdersResponse, error) {
   
    metrics.OrderList.With(map[string]string{
   "service": "example"}).Inc()
  // ...
}

函数是一个链式调用,包括两块:

  1. With,也就是label信息,用一个map[string]string填入,是个通用功能;
  2. Inc,即计数+1,这个方法和具体的metrics类型相关。

接着,我们调用两次对应的接口,可以从metrics信息中看到下面的内容:

# HELP order_list_counter List Order Count
# TYPE order_list_counter counter
order_list_counter{service="example"} 2

除非程序重启,否则这个Counter会不断累加。

4.学习Prometheus监控使用方法

Prometheus监控埋点的使用方式比较直观,上手难度不大。如果你希望进一步了解这块,我推荐两个核心的资料:

这两份资料是英文的,可能对部分同学来说学成本比较高,可以考虑先去搜索一些中文翻译文档、了解梗概后,再回过头来看这两篇。如果你希望深入了解Prometheus,必须要仔细看这两块内容,保证实时性。

总结

对接Prometheus的自定义metrics是一个应用程序很常见的功能,例如业务指标埋点。在埋点的过程中,有一个大误区需要刚接触Prometheus的同学注意:把计算的工作交给Prometheus引擎,而不要放在你开发的程序里。

例如,你希望计算某个订单的成功率,你不应该用一个metrics对应成功率,而应该给出两个指标,即订单总量和成功的订单量(也可以放在一个指标中,用label区分成功与否),交由Prometheus进行计算,方便后续的各种metrics的扩展。

更多Prometheus的实践,需要大家边学习边实践。如果反响热烈,我也会抽几讲谈谈Prometheus。

目录
相关文章
|
1天前
|
存储 编译器 Go
Go语言学习12-数据的使用
【5月更文挑战第5天】本篇 Huazie 向大家介绍 Go 语言数据的使用,包含赋值语句、常量与变量、可比性与有序性
33 6
Go语言学习12-数据的使用
|
3天前
|
Java Go
一文带你速通go语言指针
Go语言指针入门指南:简述指针用于提升效率,通过地址操作变量。文章作者sharkChili是Java/CSDN专家,维护Java Guide项目。文中介绍指针声明、取值,展示如何通过指针修改变量值及在函数中的应用。通过实例解析如何使用指针优化函数,以实现对原变量的直接修改。作者还邀请读者加入交流群深入探讨,并鼓励关注其公众号“写代码的SharkChili”。
9 0
|
3天前
|
存储 缓存 Java
来聊聊go语言的hashMap
本文介绍了Go语言中的`map`与Java的不同设计思想。作者`sharkChili`是一名Java和Go开发者,同时也是CSDN博客专家及JavaGuide项目的维护者。文章探讨了Go语言`map`的数据结构,包括`count`、`buckets指针`和`bmap`,解释了键值对的存储方式,如何利用内存对齐优化空间使用,并展示了`map`的初始化、插入键值对以及查找数据的源码过程。此外,作者还分享了如何通过汇编查看`map`操作,并鼓励读者深入研究Go的哈希冲突解决和源码。最后,作者提供了一个交流群,供读者讨论相关话题。
13 0
|
4天前
|
Java Go
Go语言学习11-数据初始化
【5月更文挑战第3天】本篇带大家通过内建函数 new 和 make 了解Go语言的数据初始化过程
17 1
Go语言学习11-数据初始化
|
4天前
|
自然语言处理 安全 Java
速通Go语言编译过程
Go语言编译过程详解:从词法分析(生成token)到句法分析(构建语法树),再到语义分析(类型检查、推断、匹配及函数内联)、生成中间码(SSA)和汇编码。最后,通过链接生成可执行文件。作者sharkchili,CSDN Java博客专家,分享技术细节,邀请读者加入交流群。
22 2
|
4天前
|
Java Linux Go
一文带你速通Go语言基础语法
本文是关于Go语言的入门介绍,作者因其简洁高效的特性对Go语言情有独钟。文章首先概述了Go语言的优势,包括快速上手、并发编程简单、设计简洁且功能强大,以及丰富的标准库。接着,文章通过示例展示了如何编写和运行Go代码,包括声明包、导入包和输出语句。此外,还介绍了Go的语法基础,如变量类型(数字、字符串、布尔和复数)、变量赋值、类型转换和默认值。文章还涉及条件分支(if和switch)和循环结构(for)。最后,简要提到了Go函数的定义和多返回值特性,以及一些常见的Go命令。作者计划在后续文章中进一步探讨Go语言的其他方面。
10 0
|
5天前
|
JavaScript 前端开发 Go
Go语言的入门学习
【4月更文挑战第7天】Go语言,通常称为Golang,是由Google设计并开发的一种编程语言,它于2009年公开发布。Go的设计团队主要包括Robert Griesemer、Rob Pike和Ken Thompson,这三位都是计算机科学和软件工程领域的杰出人物。
14 1
|
6天前
|
Go
|
6天前
|
分布式计算 Java Go
Golang深入浅出之-Go语言中的分布式计算框架Apache Beam
【5月更文挑战第6天】Apache Beam是一个统一的编程模型,适用于批处理和流处理,主要支持Java和Python,但也提供实验性的Go SDK。Go SDK的基本概念包括`PTransform`、`PCollection`和`Pipeline`。在使用中,需注意类型转换、窗口和触发器配置、资源管理和错误处理。尽管Go SDK文档有限,生态系统尚不成熟,且性能可能不高,但它仍为分布式计算提供了可移植的解决方案。通过理解和掌握Beam模型,开发者能编写高效的数据处理程序。
135 1
|
6天前
|
算法 关系型数据库 MySQL
Go语言中的分布式ID生成器设计与实现
【5月更文挑战第6天】本文探讨了Go语言在分布式系统中生成全局唯一ID的策略,包括Twitter的Snowflake算法、UUID和MySQL自增ID。Snowflake算法通过时间戳、节点ID和序列号生成ID,Go实现中需处理时间回拨问题。UUID保证全局唯一,但长度较长。MySQL自增ID依赖数据库,可能造成性能瓶颈。选择策略时需考虑业务需求和并发、时间同步等挑战,以确保系统稳定可靠。
113 0