使用ApiBoot Logging进行统一管理请求日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: `ApiBoot Logging`通过集成`minbox-logging`来进行管理每一次请求的日志信息,包含`头信息`、`参数`、`主体内容`、`路径`、发生的`服务器`相关信息等,根据接口的响应状态还可以记录响应的头信息、响应的内容以及发生异常时的`堆栈信息`。

ApiBoot Logging通过集成minbox-logging来进行管理每一次请求的日志信息,包含头信息参数主体内容路径、发生的服务器相关信息等,根据接口的响应状态还可以记录响应的头信息、响应的内容以及发生异常时的堆栈信息

minbox-projects开源组织

“org.minbox.framework” 致力于向广大开发者提供一系列的 “开箱即用” 的框架落地实现解决方案。

自从ApiBoot框架的落地,内部集成的第三方插件(plugin)日渐增多也同样导致了ApiBoot的源码太过于冗肿,针对这个问题minbox-projects开源组织就诞生了,ApiBoot第一个加入了该组织,并且会将ApiBoot内集成的第三方插件进行陆续分离,将每一个插件作为独立的开源项目加入minbox-projects开源组织,方便各个项目的单独维护以及更新发版。

组织首页:https://gitee.com/minbox-projects

minbox-logging日志组件

minbox-logging日志组件是minbox-projects开源组织内的一员,是一款分布式零侵入式、链路式请求日志分析框架

提供Admin端点进行采集日志分析日志日志告警通知服务性能分析等。通过Admin Ui可查看实时链路日志信息、在线业务服务列表,致力解决request -> response整个业务请求的日志分析以及记录。

minbox-logging日志组件源码:https://gitee.com/minbox-projects/minbox-logging

创建示例项目

通过idea开发工具创建一个SpringBoot项目。

  • pom.xml依赖
<!--配置参数-->
<properties>
  <java.version>1.8</java.version>
  <api.boot.version>2.1.4.RELEASE</api.boot.version>
</properties>

<dependencies>
  <!--Web-->
  <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
  </dependency>
  <!--ApiBoot Logging-->
  <dependency>
    <groupId>org.minbox.framework</groupId>
    <artifactId>api-boot-starter-logging</artifactId>
  </dependency>
</dependencies>

<dependencyManagement>
  <!--ApiBoot统一版本依赖-->
  <dependencies>
    <dependency>
      <groupId>org.minbox.framework</groupId>
      <artifactId>api-boot-dependencies</artifactId>
      <type>pom</type>
      <scope>import</scope>
      <version>${api.boot.version}</version>
    </dependency>
  </dependencies>
</dependencyManagement>
  • 测试控制器

添加一个用于测试的LoggingSampleController控制器,源码如下所示:

/**
 * 请求日志示例
 *
 * @author 恒宇少年
 */
@RestController
@RequestMapping(value = "/test")
public class LoggingSampleController {
    /**
     * 验证请求参数以及相应内容
     *
     * @param name
     * @return
     */
    @GetMapping
    public String hello(@RequestParam("name") String name) {
        return "你好:" + name;
    }

    /**
     * 验证主体请求内容以及相应内容
     *
     * @param user
     * @return
     */
    @PostMapping
    public String bodyHello(@RequestBody User user) {
        return "你好:" + user.getName();
    }

    /**
     * RequestBody 示例类
     */
    @Data
    public static class User {
        private String name;
    }
}
  • application.yml
spring:
  application:
    name: apiboot-unified-manage-request-logs
server:
  port: 8080

由于ApiBoot Logging需要记录日志产生的服务器相关信息,所以spring.application.name以及server.port这两个参数必须配置,要不然启动项目时会抛出错误信息。

  • @EnableLoggingClient注解
@SpringBootApplication
@EnableLoggingClient
public class ApibootUnifiedManageRequestLogsApplication {

    public static void main(String[] args) {
        SpringApplication.run(ApibootUnifiedManageRequestLogsApplication.class, args);
    }

}

使用@EnableLoggingClient注解来开启日志的客户端,将该注解配置在入口类上,内部通过ImportBeanDefinitionRegistrar进行注册minbox-logging-client所需要的Bean

ApiBoot的版本统一依赖

我们在使用SpringBoot时发现我们添加的依赖并不需要指定具体的版本号,这就是版本统一依赖起到的作用,主要还是Maven继承关系缘故。

ApiBoot内也存在这么一个统一维护依赖版本的模块api-boot-dependencies,这个模块源码仅一个pom.xml文件,主要用来配置每一个第三方依赖或者内置的依赖的具体版本。

我们通过在项目中的pom.xml配置文件内添加如下版本管理依赖:

<dependencyManagement>
  <!--ApiBoot统一版本依赖-->
  <dependencies>
    <dependency>
      <groupId>org.minbox.framework</groupId>
      <artifactId>api-boot-dependencies</artifactId>
      <type>pom</type>
      <scope>import</scope>
      <version>${api.boot.version}</version>
    </dependency>
  </dependencies>
</dependencyManagement>

就可以不指定版本号使用ApiBoot所提供的全部依赖。

最新版的ApiBoot,请访问: https://search.maven.org/search?q=a:api-boot-dependencies进行查询。

测试请求

项目准备完成,我们先来把项目通过SpringBoot Application方式进行启动,通过如下curl命令访问我们的测试接口:

curl http://localhost:8080/test\?name\=hengboy

访问完成后,请求成功,但是控制台并没有打印任何请求日志信息,倒是有一个警告的日志:

Not set 【LoggingAdminDiscovery】in LoggingFactoryBean,don't invoke report request logs.

这个警告告知的很清楚,我们并未配置logging-admin,所以无法执行日志的上报,我们本章节是独立使用ApiBoot Logging日志组件,所以这个警告信息可以忽略。

控制台打印请求日志

ApiBoot Logging提供了一个配置api.boot.logging.show-console-log,该配置默认值为false,通过该配置可以实现在控制台打印请求日志。

application.yml配置文件内添加配置如下所示:

api:
  boot:
    # ApiBoot Logging 日志组件配置
    logging:
      show-console-log: true

添加完成后,重启项目,再次访问测试接口,控制台打印如下所示:

2019-10-16 10:20:18.489  INFO 3930 --- [         task-1] o.m.f.l.c.n.support.LoggingLocalNotice   : Request Uri:/test, Logging:
{"endTime":1571192418416,"httpStatus":200,"requestBody":"","requestHeaders":{"host":"localhost:8080","user-agent":"curl/7.64.1","accept":"*/*"},"requestIp":"0:0:0:0:0:0:0:1","requestMethod":"GET","requestParam":"{\"name\":\"hengboy\"}","requestUri":"/test","responseBody":"你好:hengboy","responseHeaders":{},"serviceId":"apiboot-unified-manage-request-logs","serviceIp":"127.0.0.1","servicePort":"8080","spanId":"35a22772-5015-438a-a441-ba407926b789","startTime":1571192418391,"timeConsuming":25,"traceId":"ec53d162-314e-4516-8c24-5d5e03181543"}

这时我们就可以看到打印的请求日志信息了,不过打印的日志内容并未进行美化,不要着急,ApiBoot Logging同样提供了一个配置来进行美化输出内容。

控制台美化请求日志

ApiBoot Logging提供了配置api.boot.logging.format-console-log-json,该参数默认为false,我们通过修改该配置的值可以实现美化打印请求日志。

application.yml配置文件内添加配置如下所示:

api:
  boot:
    # ApiBoot Logging 日志组件配置
    logging:
      show-console-log: true
      format-console-log-json: true

添加完成后我们再次来重启项目后,访问测试接口,控制台打印如下所示:

2019-10-16 10:24:05.480  INFO 4051 --- [         task-1] o.m.f.l.c.n.support.LoggingLocalNotice   : Request Uri:/test, Logging:
{
    "endTime":1571192645404,
    "httpStatus":200,
    "requestBody":"",
    "requestHeaders":{
        "accept":"*/*",
        "host":"localhost:8080",
        "user-agent":"curl/7.64.1"
    },
    "requestIp":"0:0:0:0:0:0:0:1",
    "requestMethod":"GET",
    "requestParam":"{\"name\":\"hengboy\"}",
    "requestUri":"/test",
    "responseBody":"你好:hengboy",
    "responseHeaders":{},
    "serviceId":"apiboot-unified-manage-request-logs",
    "serviceIp":"127.0.0.1",
    "servicePort":"8080",
    "spanId":"277c0973-8042-4740-a8e7-2dbb0c7bb42c",
    "startTime":1571192645381,
    "timeConsuming":23,
    "traceId":"7a742942-f3cc-4d72-9493-d828b090f1cc"
}

这样是不是很直接明了的看到了请求的详细信息了?不过建议根据自己项目的实际情况来配置,美化后的日志会占用更多的控制台行

LoggingNotice日志通知

ApiBoot Logging提供了日志通知的接口,我们只需要实现该接口就可以获取到每一次请求日志对象,还可以自定义每一个日志通知实现类的执行顺序

ApiBoot Logging内部提供的实现类如下图所示:

  • LoggingLocalNotice

    该类就是用于在控制台打印请求日志以及美化请求日志的实现,优先级为:Ordered#HIGHEST_PRECEDENCE(最高优先级)。

  • LoggingAdminNotice

    该类用于将请求日志上报到Logging Admin,优先级为:Ordered#HIGHEST_PRECEDENCE +1,仅低于LoggingLocalNotice

使用LoggingNotice添加Header

在上面我们已经知道了两个内置的LoggingNotice实现类,优先级我们也已经清楚了,那么我们如果添加自定义的LoggingNotice实现类来向本次请求日志的RequestHeader内添加一个我们自定义的头信息该怎么做呢?

AddHeaderLoggingNotice通知类源码如下所示:

/**
 * 通过{@link LoggingNotice}向日志的请求header内添加区域信息
 *
 * @author 恒宇少年
 */
@Component
public class AddHeaderLoggingNotice implements LoggingNotice {
    /**
     * 区域头信息key
     */
    private static final String SERVER_REGION = "server-region";

    @Override
    public void notice(MinBoxLog minBoxLog) {
        minBoxLog.getRequestHeaders().put(SERVER_REGION, "JiNan");
    }

    /**
     * 最大优先级
     *
     * @return
     */
    @Override
    public int getOrder() {
        return HIGHEST_PRECEDENCE;
    }
}

由于minbox-logging在设计初期就已经考虑到了这一点,所以添加起来比较简单,我们只需要调整我们自定义日志通知的优先级,然后通过#notice方法修改本次请求日志对象的值即可。

敲黑板划重点

本章节我们介绍了ApiBoot Logging的集成使用,可用于采集请求日志,能力确不仅仅如此,使用得当它会很强大,日志通知设计可以使我们很好的控制一个请求的日志,对日志进行添加标识归类等,可以通过配置来控制日志打印以及美化

代码示例

如果您喜欢本篇文章请为源码仓库点个Star,谢谢!!!
本篇文章示例源码可以通过以下途径获取,目录为apiboot-unified-manage-request-logs

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
logging 日志 模块
logging 日志 模块
|
4月前
|
Go 开发者
【应用服务 App Service】App Service发生错误请求时,如何查看IIS Freb日志,从中得知错误所发生的模块,请求中所携带的Header信息
【应用服务 App Service】App Service发生错误请求时,如何查看IIS Freb日志,从中得知错误所发生的模块,请求中所携带的Header信息
|
4月前
|
存储 安全 Python
[python]使用标准库logging实现多进程安全的日志模块
[python]使用标准库logging实现多进程安全的日志模块
|
4月前
|
JavaScript Serverless Linux
函数计算产品使用问题之遇到Node.js环境下的请求日志没有正常输出时,该如何排查
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
4月前
|
存储 Kubernetes API
【APIM】Azure API Management Self-Host Gateway是否可以把请求的日志发送到Application Insights呢?让它和使用Azure上托管的 Gateway一样呢?
【APIM】Azure API Management Self-Host Gateway是否可以把请求的日志发送到Application Insights呢?让它和使用Azure上托管的 Gateway一样呢?
|
4月前
|
数据采集 存储 监控
Haskell爬虫中日志记录:监控HTTP请求与响应
Haskell爬虫中日志记录:监控HTTP请求与响应
|
4月前
|
Java
SpringBoot 拦截器 统一日志 记录用户请求返回日志
SpringBoot 拦截器 统一日志 记录用户请求返回日志
201 0
|
5月前
PolarDB-SCC使用问题之线性Lamport时间戳如何保证强一致性
PolarDB-SCC使用问题之线性Lamport时间戳如何保证强一致性
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
271 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
6天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。