石臻臻的杂货铺_社区达人页

2022年11月

• 11.09 20:30:21
  发表了文章 2022-11-09 20:30:21

  【kafka 运维】 kafka-consumer-groups.sh 消费者组管理

  消费者组管理 kafka-consumer-groups.sh 1. 查看消费者列表--list sh bin/kafka-consumer-groups.sh --bootstrap-server xxxx:9090 --list 先调用MetadataRequest拿到所有在线Broker列表 再给每个Broker发送ListGroupsRequest请求获取 消费者组数据 2. 查看消费者组详情--describe

  
• 11.07 17:16:12
  发表了文章 2022-11-07 17:16:12

  SPL比SQL更难了还是更容易了？

  SPL作为专门用于结构化和半结构化数据的处理技术，在实际应用时经常能比SQL快几倍到几百倍，同时代码还会短很多，尤其在处理复杂计算时优势非常明显。用户在看到这些应用效果后对SPL往往很感兴趣
• 11.06 19:03:51
  发表了文章 2022-11-06 19:03:51

  【云原生】Nacos-TaskManager 任务管理的使用

  因为Nacos中有很多地方使用了这个TaskManager,所以我们得先了解一下这个类是干啥用的,方便后面阅读源码时候不会吃力;

  
• 11.05 10:10:20
  发表了文章 2022-11-05 10:10:20

  多网络情况下,Kafka客户端如何选择合适的网络发起请求

  我们都知道, 每个Broker都可以配置多个监听器, 用来用于网络分流。 相关知识请看：一文搞懂Kafka中的listeners和advertised.listeners以及其他通信配置

  
• 11.03 18:40:49
  发表了文章 2022-11-03 18:40:49

  如何快速优雅的用Know Streaming创建Topic

  简单清晰的操作界面, 让你能够非常快速的创建一个新的Topic； 除了这个基本的功能外,你还可以看到在这里能够针对每个Topic做更细粒度的定制化配置。

  
• 11.01 15:21:28
  发表了文章 2022-11-01 15:21:28

  【云原生】内存数据库如何发挥内存优势

  与以磁盘存储为主的普通数据库相比，内存数据库的数据访问速度可以高出几个数量级，能大幅提高运算性能，更适合高并发、低延时的业务场景。

2022年10月

• 10.31 10:59:19
  发表了文章 2022-10-31 10:59:19

  【运维】Centos 7 一键 搭建 Java开发者环境

  虽然自己是一个开发,但是并不能止于开发的技术,项目发布需要部署到到Linux 服务器上, 所以对于开发人员来说，掌握一定的运维技能是必须的, 之前也有过帮人搭建网站的一些经验,运维什么的也是自己一并来，所以专门写一篇文章来记录一下相关,方便回头查阅！ Centos 7 开发者环境初始化脚本下载
• 10.25 16:05:24
  发表了文章 2022-10-25 16:05:24

  【kafka运维】Topic的生产和消费运维脚本

  1.Topic的发送kafka-console-producer.sh 1.1 生产无key消息 ## 生产者 bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test --producer.config config/producer.properties 1.2 生产有key消息加上属性--property parse.key=true
• 10.24 10:48:06
  发表了文章 2022-10-24 10:48:06

  【kafka运维】ConfigCommand运维脚本

  ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置; 1 查询配置 Topic配置查询 展示关于Topic的动静态配置 1.1.查询单个Topic配置(只列举动态配置)

  
• 10.23 10:32:23
  发表了文章 2022-10-23 10:32:23

  【kafka运维】TopicCommand运维脚本(1)

  1TopicCommand 1.Topic创建 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3 --topic test
• 10.22 09:45:03
  发表了文章 2022-10-22 09:45:03

  Kafka消费者JoinGroupRequest流程解析

  当我们启动消费者客户端的时候, 会向协调器 coordinator 发起一个 JoinGroup的请求,表示要加入消费组中。 这个发起请求的地方在 AbstractCoordinator#sendJoinGroupRequest

  
• 10.21 18:50:16
  发表了文章 2022-10-21 18:50:16

  【kafka原理】kafka Log存储解析以及索引机制

  我们在kafka的log文件中发现了还有很多以 __consumer_offsets_的文件夹；总共50个; 由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。

  
• 10.20 17:58:35
  发表了文章 2022-10-20 17:58:35

  多图详解kafka生产者消息发送过程

  今天我们来通过源码来分析一下,生产者发送一条消息的所有流程~~~ 生产者客户端代码

  
• 10.19 12:29:48
  发表了文章 2022-10-19 12:29:48

  国产CPU执行SPL实现数据库运算的性能实用性测试

  任务背景 国际大环境就不用多说了。 对于数据库类的关键业务，全国产技术（国产CPU+国产数据库）和国外主流技术在性能上相比还有不小的差距，经常需要借助分布式技术使用数倍的硬件才能获得类似的效果。
• 10.18 18:03:28
  发表了文章 2022-10-18 18:03:28

  多图详解kafka生产者消息发送过程

  作者：石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家 、 KnowStreaming。 KnowStreaming 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,当你导师带你参与开源！ 。 生产者客户端代码

  
• 10.17 15:47:21
  发表了文章 2022-10-17 15:47:21

  接口测试这件小事

  伴随着对接口测试的认知升级，是从测试工程师到测试架构师完成蜕变的过程，因此，想和大家聊一下“接口测试这件小事”，以及分享一下我和接口测试之间的爱恨纠葛。

  
• 10.17 10:18:32
  发表了文章 2022-10-17 10:18:32

  Kafka消费组/者协调器的介绍

  什么是协调器 协调器是用于协调多个消费者之间能够正确的工作的一个角色, 比如计算消费的分区分配策略，又或者消费者的加入组与离开组的处理逻辑, 有一点类似Kafka种的控制器的角色。

  
• 10.16 18:46:45
  发表了文章 2022-10-16 18:46:45

  Kafka监控与指标之UnderReplicatedPartitions

  Kafka监控 Kafka 使用 Yammer Metrics 在服务器中报告指标,Java 客户端使用 Kafka Metrics，这是一个内置的指标注册表. 两者都通过 JMX 公开指标 启用JMX并上报指标 Kafka 默认禁用远程 JMX，Kafka启动JMX方式

  
• 10.13 21:17:44
  发表了文章 2022-10-13 21:17:44

  【kafka问题】记一次kafka消费者未接收到消息问题

  出现了这样一个问题, A说他的kafka消息发送了; B说它没有接收到; 那么问题来了： • A的消息是否发送了？ • 如果A的消息发送成功了; B为何没有消费到？ 好,带着上面的问题,我们来一步步排查一下问题所在

  
• 10.12 17:05:04
  发表了文章 2022-10-12 17:05:04

  多图详解kafka生产者消息发送过程

  1构造KafkaProducer KafkaProducer通过解析producer.propeties文件里面的属性来构造自己。 例如 ：分区器、Key和Value序列化器、拦截器、RecordAccumulator消息累加器 、元信息更新器、启动发送请求的后台线程

  
• 10.10 11:48:30
  发表了文章 2022-10-10 11:48:30

  SPL工业智能：原料与产品的拟合

  工业生产活动的目标是利用原料生产产品，从而产生利润。原料经过一系列加工过程，包括物理反应和化学反应，最终形成产品，生产的理想状态是原料到产品的转换率是确定的，工厂想生产多少产品就知道需要准备多少原料，提高生产效率。 许多工艺原理和生产经验都表明，在简化情况下，可以认为原料用量和产品产量之间近似是线性关系。这样，每一种原料和每一种产品之间都会有一个与原料用量无关的恒定转换率，在化工界称为收率

  
• 10.07 11:12:50
  发表了文章 2022-10-07 11:12:50

  【Redis】三、Redis整数集合和压缩列表

  整数集合(intset)是集合建的底层实现之一,当一个集合只包括整数值的元素，并且这个集合的元素数量不多时,Redis就会用整数集合作为集合建的底层实现

  
• 10.06 19:27:49
  发表了文章 2022-10-06 19:27:49

  【Redis】二、Redis中字典结构

  Redis的字典使用哈希表作为底层实现，一个哈希表里面有多个哈希表节点,而每个哈希表节点保存了字典中的一个键值对（key-value）
• 10.04 12:24:53
  发表了文章 2022-10-04 12:24:53

  【Redis】一、Redis的简单动态字符串SDS

  Redis没有直接使用C语言传统的字符串表示(以空字符 \0 结尾的字符数组)，而是构建了一种名为简单动态字符串SDS的抽象类型，并将SDS用作Redis的默认字符串表示。

  
• 10.02 18:54:50
  发表了文章 2022-10-02 18:54:50

  【Jvm】Jvm类加载机制

  类加载时机 虚拟机把描述类的数据从 Class 文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机直接使用的 Java 类型，这就是虚拟机的类加载机制。 在Java语言里面，类型的加载、连接和初始化过程都是在程序运行期间完成的

  

2022年09月

• 09.27 11:56:23
  发表了文章 2022-09-27 11:56:23

  怎么样在应用中实现自助报表功能

  自助报表需求已经是越来越普遍，各行业的应用软件中，不管是主动还是被动，都在思考并在努力实现自助报表功能 这样做对于用户来说，可以自由灵活的去分析了解数据，不再拘泥于固定格式的数据报表，方便灵活、体验更好的同时，也能盘活更多数据的价值

  
• 09.26 09:53:48
  发表了文章 2022-09-26 09:53:48

  【Mybatis】Mybatis generator如何修改Mapper.java文件

  我写的代码生成插件Gitee地址同样是在扩展 Mybatis generator插件的时候，有这样一个需求是需要在生成的，那么 如何修改Mapper.java文件？ 跟着Mybatis generator 源码去找一找 哪里可以扩展
• 09.25 19:21:34
  发表了文章 2022-09-25 19:21:34

  【Log日志】logback.xml动态配置属性值(包括接入的第三方配置)

  1如何动态配置Logback的存放路径 我们在开发过程中,会使用到logback.xml 配置来管理日志文件; 比如
• 09.22 21:27:57
  发表了文章 2022-09-22 21:27:57

  【Kafka】编译 Kafka 源码并搭建源码环

  搭建源码环境可以看这篇文章：编译 Kafka 源码并搭建源码环境 上面有个地方注意,启动的时候,可以传入VM参数来指定 kafka.log.dir 路径(存放各种日志的路径)

  
• 09.21 20:22:35
  发表了文章 2022-09-21 20:22:35

  【kafka原理】 消费者偏移量__consumer_offsets_相关解析

  我们在kafka的log文件中发现了还有很多以 __consumer_offsets_的文件夹；总共50个; 由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。 __consumer_offsets 是 kafka 自行创建的，和普通的 topic 相同。它存在的目的之一就是保存 consumer 提交的位移。__consumer_offsets 的每条消息格

  
• 09.20 12:51:33
  发表了文章 2022-09-20 12:51:33

  SPL 工业智能：识别指定工况

  1问题提出 工业生产过程中会产生大量的数据，比如电压、温度、流量等等，不同的工况条件下，数据的走势不同，比如产量稳定时，流量走势平稳，产量增加时，流量势必也会增加，体现在图像上就是流量曲线上升。 比如下图：

  
• 09.19 18:49:49
  发表了文章 2022-09-19 18:49:49

  【kafka原理】kafka Log存储解析以及索引机制

  本文设置到的配置项有 名称 描述 类型 默认 num.partitions topic的默认分区数 int 1 log.dirs 保存日志数据的目录。如果未设置，则使用log.dir中的值 string /tmp/kafka-logs offsets.topic.replication.factor offset topic复制因子（ps：就是备份数，设置的越高来确保可用性）。为了确保offset topic有效的复制因子，第一次请求offset topic时，活的broker的数量必须最少最少是配置的复制因子数。 如果不是，offset topic将创建失败或获取最小的复制因子（活着的bro

  
• 09.18 17:02:06
  发表了文章 2022-09-18 17:02:06

  Kafka生产者客户端几种异常Case详解

  1生产者UserCallBack异常 异常日志 ERROR Error executing user-provided callback on message for topic-partition 'Topic1-0' (org.apache.kafka.clients.producer.internals.ProducerBatch) 通常还会有具体的异常栈信息 异常源码 ProducerBatch#completeFutureAndFireCallbacks

  
• 09.17 18:06:03
  发表了文章 2022-09-17 18:06:03

  Spring源码解析(十一)Spring扩展接口InstantiationAwareBeanPostProcessor解析

  之前我们有分析BeanPostProcessor接口,今天要分析的InstantiationAwareBeanPostProcessor是继承了BeanPostProcessor接口的; Part1InstantiationAwareBeanPostProcessor InstantiationAwareBeanPostProcessor代表了Spring的另外一段生命周期：实例化。先区别一下Spring Bean的实例化和初始化两个阶段的主要作用： 1、实例化----实例化的过程是一个创建Bean的过程，即调用Bean的构造函数，单例的Bean放入单例池中
• 09.13 19:54:18
  发表了文章 2022-09-13 19:54:18

  Spring源码解析(十)分析一个Spring循环引用失败的问题

  1前言: 之前我们有分析过Spring是怎么解决循环引用的问题,主要思路就是三级缓存；Spring在加载beanA的时候会先调用默认的空构造函数(在没有指定构造函数实例化的前提下)得到一个空的实例引用对象，这个时候没有设置任何值，但是Spring会用缓存把它给提前暴露出来，让其他依赖beanA的bean可以持有它提前暴露的引用；比如 a 依赖b ，b依赖a，并且他们都是通过默认方法实例化，那么简单流程是这样的： 1. ioc实例化a,a提前暴露自己的，然后填充属性值，在填充属性值的时候发现有个对象b,这个时候去容器里面取到b的引用，发现b还没有被创建，那么就走实例化b的流程；
• 09.12 16:03:07
  发表了文章 2022-09-12 16:03:07

  Spring源码分析(九)lazy-init 在Spring中是怎么控制加载的

  ApplicationContext实现的默认行为就是在启动时将所有singleton bean提前进行实例化（也就是依赖注入）。提前实例化意味着作为初始化过程的一部分，ApplicationContext实例会创建并配置所有的singleton bean。通常情况下这是件好事，因为这样在配置中的任何错误就会即刻被发现（否则的话可能要花几个小时甚至几天）。
• 09.12 16:00:17
  发表了文章 2022-09-12 16:00:17

  Spring源码分析(八)Spring 所有BeanFactoryPostProcessor扩展接口

  这一篇分析的不错，我就不分析这个接口了;偷个懒0.0Spring的BeanFactoryPostProcessor和BeanPostProcessor
• 09.07 09:52:58
  发表了文章 2022-09-07 09:52:58

  SPL工业智能：发现时序数据的异常

  工业生产过程中会产生大量的数据，比如电压、温度、流量等等，它们随时间推移而不断产生，这些数据在多数情况下是正常的，否则生产无法正常进行；少数情况下，数据是异常的，生产效率会降低甚至发生事故。

  
• 09.06 11:14:36
  发表了文章 2022-09-06 11:14:36

  Spring源码分析(六)FactoryBean 接口解析

  说道FactoryBean，不少人会拿它跟BeanFactory作比较，但是实际上他们没有多大关系；我们简单介绍一下两者 Part1一、BeanFactory和FactoryBean区别 1BeanFactory BeanFactory：这就是一个Factory，是一个IOC容器或者叫对象工厂，它里面存着很多的bean。例如默认的实现方式DefaultListableBeanFactory；我们把IOC容器可以比作一个水桶，IOC容器里面的所有bean就是装的水； ##FactoryBean

  
• 09.05 09:02:19
  发表了文章 2022-09-05 09:02:19

  Spring源码解析(五)Spring 加载bean 依赖注入

  开始这篇文章之前，我们简单回顾一下前面几篇文章的内容 至此，我们分析过后，可以简单的归纳一下Spring IOC容器的过程一、Resource定位过程 这个Resource定位指的的是BeanDefinition的资源定位，他由ResourceLoader通过统一的Resource接口来完成，这个Resource对各种形式的BeanDefinition的使用都提供了统一接口，

  

2022年08月

• 08.31 14:08:04
  发表了文章 2022-08-31 14:08:04

  Spring源码解析(四)Spring是怎么处理BeanDefinition的？

  上一篇文章中分析了 BeanDefinition是怎么被解析出来的，在这一篇文章中我们主要看下 解析完了之后所做的事情； 1一、DefaultBeanDefinitionDocumentReader 源码入口 DefaultBeanDefinitionDocumentReader #processBeanDefinition(Element ele, BeanDefinitionParserDelegate delegate)

  
• 08.30 19:03:39
  发表了文章 2022-08-30 19:03:39

  Spring源码分析(三)Spring是如何把元素解析成BeanDefinition对象的

  spring中解析元素最重要的一个对象应该就属于 BeanDefinition了；这个Spring容器中最基本的内部数据结构；它让xml文件中所有的配置有了一个归属的地方；在xml中存在的配置都能在BeanDefinition找到对应的属性；我们今天来看看BeanDefinition是如何被创建的

  
• 08.29 19:06:06
  发表了文章 2022-08-29 19:06:06

  Spring源码分析(二)Spring怎么扩展解析xml接口的

  1自定义Spring配置 https://blog.csdn.net/bingduanlbd/article/details/38770685 2BeanDefinitionParserDelegate 在DefaultBeanDefinitionDocumentReader处理Document元素时,将Document文档内元素具体解析工作委托给BeanDefinitionParserDelegate类来处理,默认BeanDefinitionParserDelegate会处理”http://www.springframework.org/schema/beans“命名空间下元素及其属性,查看

  
• 08.29 19:01:47
  发表了文章 2022-08-29 19:01:47

  Sring源码解析(一)Spring是怎么读取配置Xml文件的

  1#Spring读取配置文件 ##Document 在XmlBeanDefinitionReader.doLoadBeanDefinitions(InputSource inputSource, Resource resource)方法中将Xml文件转换成Document对象;Document doc = doLoadDocument(inputSource, resource);

  
• 08.28 18:59:21
  发表了文章 2022-08-28 18:59:21

  【Mybatis】Mybatis generator自动生成插件如何修改Mapper.xml 的命名空间namespace

  这也是在扩展 Mybatis generator 的时候遇到的问题，记录一下； 在上一篇文章 如何继承Mybatis中的Mapper.xml文件很重要的一点就是要让两个Mapper.xml文件的命名空间相同，这样才能够实现继承； 那么既然是自动生成插件，在生成原始 Mapper.xml的时候，我要如何去修改他的命名空间呢？ 例如
• 08.27 14:07:09
  发表了文章 2022-08-27 14:07:09

  【Mybatis】如何继承Mybatis中的Mapper.xml文件

  最近在写一个 Mybatis 代码自动生成插件，用的是Mybatis来扩展，其中有一个需求就是 生成javaMapper文件和 xmlMapper文件的时候 希望另外生成一个扩展类和扩展xml文件。原文件不修改，只存放一些基本的信息，开发过程中只修改扩展的Ext文件 形式如下：SrcTestMapper.java
• 08.26 19:43:39
  发表了文章 2022-08-26 19:43:39

  【Nacos源码之配置管理 七】服务端增删改配置数据之后如何通知集群中的其他机器

  在后台管理界面可以直接增删改查所有的配置数据,那么问题来了 1. [x] 增删改数据这个操作,除了落库,还做了哪些操作？ 1新增配置数据 打开后台新建一个配置