SpringCloud微服务日志经kafka缓冲写入到ELK

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: SpringCloud微服务日志经kafka缓冲写入到ELK

准备工作

kafka介绍与安装
springcloud 微服务日志写入kafka
kafka日志写入logstash
elaticsearch kibana介绍与安装

有了上面的准备之后即可完整的将日志写入kafka,经kafka缓冲后异步写入elk中。

启动kafka

启动zookeeper
新版本中将不再依赖外部的zookeeper

$ bin/zookeeper-server-start.sh config/zookeeper.properties
AI 代码解读

启动kafka

$ bin/kafka-server-start.sh config/server.properties
AI 代码解读

创建一个Topic

$ bin/kafka-topics.sh --create --topic logger-channel --bootstrap-server localhost:9092
AI 代码解读

启动elasticsearch

 bin/elasticsearch

启动kibana

bin/kibana

启动logstash

编写配置文件kafka.conf

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  kafka {
    id => "my_plugin_id"
    bootstrap_servers => "localhost:9092"
    topics => ["logger-channel"]
    auto_offset_reset => "latest"
  }
}

filter {
  #json
    json {
        source => "message"
    }
    date {
        match => ["time", "yyyy-MM-dd HH:mm:ss.SSS"]
        remove_field => ["time"]
    }
}

output {
  #stdout {}
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "logs-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}
AI 代码解读

启动服务

./bin/logstash -f ./config/kafka.conf --config.reload.automatic
AI 代码解读

配置SpringBoot服务日志文件

logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- scan:当此属性设置为true时,配置文件如果发生改变,将会被重新加载,默认值为true。 scanPeriod:设置监测配置文件是否有修改的时间间隔,如果没有给出时间单位,
 默认单位是毫秒当scan为true时,此属性生效。默认的时间间隔为1分钟。 debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。
 默认值为false。 -->
<!-- <configuration scan="false" scanPeriod="60 seconds" debug="false"> -->
<configuration>

  <!--设置上下文名称,用于区分不同应用程序的记录。一旦设置不能修改, 可以通过%contextName来打印日志上下文名称 -->
  <contextName>kafka-log-test</contextName>

  <property name="applicationName" value="${spring.application.name:-paw-kelk}"/>
  <!-- 定义日志的根目录 -->
  <property name="logDir" value="/Users/rubble/logs/${applicationName}" />
  <!-- 定义日志文件名称 -->
  <property name="logName" value="${applicationName}"/>
  <!--  profile -->
  <property name="profileActive" value="${spring.profile.active:-dev}" />

  <!-- ConsoleAppender 表示控制台输出 -->
  <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
    <!-- 日志输出格式: %d表示日期时间, %thread表示线程名, %-5level:级别从左显示5个字符宽度, %logger{50}
        表示logger名字最长50个字符,否则按照句点分割。 %msg:日志消息, %n是换行符 -->
    <encoder>
      <pattern>%d{HH:mm:ss.SSS}  %contextName [%thread] %-5level %logger{36}  - %msg%n</pattern>
    </encoder>
  </appender>

  <!-- 异常错误日志记录到文件  -->
  <appender name="logfile" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <!-- <Encoding>UTF-8</Encoding> -->
    <File>${logDir}/${logName}.log</File>
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
      <FileNamePattern>${logDir}/history/${myspringboottest_log}.%d{yyyy-MM-dd}.rar</FileNamePattern>
      <maxHistory>30</maxHistory>
    </rollingPolicy>
    <encoder>
      <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36}  - %msg%n</pattern>
    </encoder>
  </appender>


  <appender name="kafkaAppender" class="com.github.danielwegener.logback.kafka.KafkaAppender">
    <encoder class="com.github.danielwegener.logback.kafka.encoding.LayoutKafkaMessageEncoder">
      <layout class="net.logstash.logback.layout.LogstashLayout" >
        <includeContext>false</includeContext>
        <includeCallerData>true</includeCallerData>
        <customFields>{"appName":"${applicationName}","env":"${profileActive}"}</customFields>
        <fieldNames class="net.logstash.logback.fieldnames.ShortenedFieldNames"/>
<!--        <fieldNames class="net.logstash.logback.fieldnames.LogstashFieldNames"/>-->
      </layout>
      <charset>UTF-8</charset>
    </encoder>
    <!--kafka topic 需要与配置文件里面的topic一致 否则kafka会沉默并鄙视你-->
    <topic>logger-channel</topic>
    <keyingStrategy class="com.github.danielwegener.logback.kafka.keying.HostNameKeyingStrategy" />
    <deliveryStrategy class="com.github.danielwegener.logback.kafka.delivery.AsynchronousDeliveryStrategy" />
    <producerConfig>bootstrap.servers=localhost:9092</producerConfig>
    <!-- 如果kafka不可用则输出到 appender -->
    <appender-ref ref="logfile" />
  </appender>


  <!--异步写入kafka,尽量不占用主程序的资源-->
  <appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender">
    <neverBlock>true</neverBlock>
    <includeCallerData>true</includeCallerData>
    <discardingThreshold>0</discardingThreshold>
    <queueSize>2048</queueSize>
    <appender-ref ref="kafkaAppender" />
  </appender>

  <root level="INFO">
    <appender-ref ref="CONSOLE" />
<!--    <appender-ref ref="logfile"/>-->
        <!-- kafka 日志    -->
    <appender-ref ref="ASYNC" />
  </root>

</configuration>
AI 代码解读

启动springBoot服务,打印任意日志。

kibana查看日志

从菜单找到stack Management>>index patterns>> create index pattern 创建索引

image-kibana.png

菜单discover >> 选择刚创建的索引 即可查看日志了

image-kibana2.png

至此SpringCloud微服务日志写入到kafka-elk完成。

目录
打赏
0
0
0
0
2
分享
相关文章
|
3月前
|
利用Spring Cloud Gateway Predicate优化微服务路由策略
Spring Cloud Gateway 的路由配置中,`predicates`​(断言)用于定义哪些请求应该匹配特定的路由规则。 断言是Gateway在进行路由时,根据具体的请求信息如请求路径、请求方法、请求参数等进行匹配的规则。当一个请求的信息符合断言设置的条件时,Gateway就会将该请求路由到对应的服务上。
232 69
利用Spring Cloud Gateway Predicate优化微服务路由策略
Spring Cloud Dubbo:微服务通信的高效解决方案
【10月更文挑战第15天】随着信息技术的发展,微服务架构成为企业应用开发的主流。Spring Cloud Dubbo结合了Dubbo的高性能RPC和Spring Cloud的生态系统,提供高效、稳定的微服务通信解决方案。它支持多种通信协议,具备服务注册与发现、负载均衡及容错机制,简化了服务调用的复杂性,使开发者能更专注于业务逻辑的实现。
120 2
从单体到微服务:如何借助 Spring Cloud 实现架构转型
**Spring Cloud** 是一套基于 Spring 框架的**微服务架构解决方案**,它提供了一系列的工具和组件,帮助开发者快速构建分布式系统,尤其是微服务架构。
378 69
从单体到微服务:如何借助 Spring Cloud 实现架构转型
【Azure Kafka】使用Spring Cloud Stream Binder Kafka 发送并接收 Event Hub 消息及解决并发报错
reactor.core.publisher.Sinks$EmissionException: Spec. Rule 1.3 - onSubscribe, onNext, onError and onComplete signaled to a Subscriber MUST be signaled serially.
微服务架构设计与实践:用Spring Cloud实现抖音的推荐系统
本文基于Spring Cloud实现了一个简化的抖音推荐系统,涵盖用户行为管理、视频资源管理、个性化推荐和实时数据处理四大核心功能。通过Eureka进行服务注册与发现,使用Feign实现服务间调用,并借助Redis缓存用户画像,Kafka传递用户行为数据。文章详细介绍了项目搭建、服务创建及配置过程,包括用户服务、视频服务、推荐服务和数据处理服务的开发步骤。最后,通过业务测试验证了系统的功能,并引入Resilience4j实现服务降级,确保系统在部分服务故障时仍能正常运行。此示例旨在帮助读者理解微服务架构的设计思路与实践方法。
151 17
智慧工地云平台的技术架构解析:微服务+Spring Cloud如何支撑海量数据?
慧工地解决方案依托AI、物联网和BIM技术,实现对施工现场的全方位、立体化管理。通过规范施工、减少安全隐患、节省人力、降低运营成本,提升工地管理的安全性、效率和精益度。该方案适用于大型建筑、基础设施、房地产开发等场景,具备微服务架构、大数据与AI分析、物联网设备联网、多端协同等创新点,推动建筑行业向数字化、智能化转型。未来将融合5G、区块链等技术,助力智慧城市建设。
建筑施工一体化信息管理平台源码,支持微服务架构,采用Java、Spring Cloud、Vue等技术开发。
智慧工地云平台是专为建筑施工领域打造的一体化信息管理平台,利用大数据、云计算、物联网等技术,实现施工区域各系统数据汇总与可视化管理。平台涵盖人员、设备、物料、环境等关键因素的实时监控与数据分析,提供远程指挥、决策支持等功能,提升工作效率,促进产业信息化发展。系统由PC端、APP移动端及项目、监管、数据屏三大平台组成,支持微服务架构,采用Java、Spring Cloud、Vue等技术开发。
125 7
|
3月前
|
Spring Cloud Alibaba:一站式微服务解决方案
Spring Cloud Alibaba(简称SCA) 是一个基于 Spring Cloud 构建的开源微服务框架,专为解决分布式系统中的服务治理、配置管理、服务发现、消息总线等问题而设计。
759 13
Spring Cloud Alibaba:一站式微服务解决方案
微服务SpringCloud链路追踪之Micrometer+Zipkin
SpringCloud+Openfeign远程调用,并用Mircrometer+Zipkin进行链路追踪
453 20
微服务SpringCloud分布式事务之Seata
SpringCloud+SpringCloudAlibaba的Seata实现分布式事务,步骤超详细,附带视频教程
159 1

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等