小林求职记(六)踩过Dubbo坑,回答印象深,干货整理

简介: 小林求职记(六)踩过Dubbo坑,回答印象深,干货整理

终于,在小林的努力下,获得了王哥公司那边的offer,但是因为薪水没有谈妥,小林又重新进入了求职的旅途,在经历了多次求职过程之后,小林也大概地对求职的考点掌握地七七八八了,于是这次他重新书写了简历,投递了一家新的互联网企业。


距离面试开始还有大约十分钟,小林已经抵达了面试现场,并开始调整自己的状态。


过了不久,一个稍显消瘦,戴着黑色眼镜框的男人走了过来,估计这家伙就是小林这次的面试官了。


面试官:你好,请简单先做个自我介绍吧。


小林:嗯嗯,面试官你好,我是XXXX(此处省略200个字)


面试官:我看到你的项目里面有提及到dubbo,rpc技术这一技术栈正好和我们这边的匹配,我先问你些关于dubbo和rpc的技术问题吧。首先你能讲解下什么是rpc吗?


小林:好的,rpc技术其实简单地来理解就是不同计算机之间进行远程通信实现数据交互的一种技术手段吧。一个合理的rpc应该要分为server, client, server stub,client stub四个模块部分,


面试官:嗯嗯,你说的server stub,client stub该怎么理解呢?


小林:这个可以通过名字来识别进行理解,client stub就是将服务的请求的参数,请求方法,请求地址通过打包封装给成一个对象统一发送给server端。server stub就是服务端接收到这些参数之后进行拆解得到最终数据的结果。


image.png


在以前的单机版架构里面,两个方法进行相互调用的时候都是先通过内存地址查询到对应的方法,然后调用执行,但是分布式环境下不同的进程是可能存在于不同的机器中的,因此在通过原先的寻址方式调用函数就不可行了,这个时候就需要结合网络io的手段来进行服务的”交流“。


面试官:了解,你对rpc本质还是有自己的理解。可以大致讲解下dubbo在工程中启动的时候的一些整体流程吗?


小林:嗯嗯(猛地想起了之前写的一些笔记内容)


在工程进行启动的时候(假设使用spring容器进行bean的托管),首先会将bean注册到spring容器中,然后再将对应的服务注册到zk中,实现对外暴露服务。


面试官:可以说说在源码里面的核心设计吗?假设说某个dubbo服务没有对外暴露成功,你会如何去做分析呢?


小林:嗯嗯。其实可以先通过阅读启动日志进行分析,dubbo的启动顺序并不是直接就进行zk的连接,而是先校验配置文件是否正确,然后是否已经将bean都成功注册到了Spring的ioc容器中,接下来才是连接zk并且将服务进行注册的环节。


image.png


如果确保服务的配置无误,那么问题可能就是出在连接zk的过程了。


面试官:嗯嗯,有一定的逻辑依据,挺好的。你有了解过服务暴露的细节点吗?例如说dubbo是如何将自己的服务提供者信息写入到注册中心(zookeeper)的呢?


小林:我在阅读dubbo对外进行服务暴露的源代码时印象中对ServiceConfig这个类比较熟系。在实现对外做服务暴露的时候,这里面的有个加了锁的export函数,内部会先对dubbo的配置进行校验,首先判断是否需要对外暴露,然后是是否需要延迟暴露,如果需要延迟暴露则会通过ScheduledExecutorService去做延迟暴露的操作,否则立即暴露,即执行doExport方法


image.png


在往源码里面分析,会看到一个叫做doExportUrls的函数,这里面写明了关于注册的细节点:


private void doExportUrls() {
    List<URL> registryURLs = loadRegistries(true);
    for (ProtocolConfig protocolConfig : protocols) {
        String pathKey = URL.buildKey(getContextPath(protocolConfig).map(p -> p + "/" + path).orElse(path), group, version);
        ProviderModel providerModel = new ProviderModel(pathKey, ref, interfaceClass);
        ApplicationModel.initProviderModel(pathKey, providerModel);
        //暴露对外的服务内容 核心
        doExportUrlsFor1Protocol(protocolConfig, registryURLs);
    }
}


实现注册中心的服务暴露核心点:


image.png


doExportUrlsFor1Protocol内部的代码
Invoker<?> invoker = PROXY_FACTORY.getInvoker(ref, (Class) interfaceClass, registryURL.addParameterAndEncoded(EXPORT_KEY, url.toFullString()));
//这里有一个使用了委派模型的invoker
DelegateProviderMetaDataInvoker wrapperInvoker = new DelegateProviderMetaDataInvoker(invoker, this);
//服务暴露的核心点
Exporter<?> exporter = protocol.export(wrapperInvoker);
exporters.add(exporter);


最终在org.apache.dubbo.registry.zookeeper.ZookeeperRegistry#doRegister函数里面会有一步熟系的操作,将dubbo的服务转换为url写入到zk中做持久化处理:


image.png


面试官: 看来你对服务注册的这些原理还是有过一定深入的理解啊。你以前的工作中是有遇到过源码分析的情况吗?对这块还蛮清晰的。


小林:嗯嗯,之前在工作中有遇到过服务启动异常,一直报错,但是又没人肯帮我,所以这块只好硬着头皮去学习。后来发现了解了原理以后,对于dubbo启动报错异常的分析还是蛮有思路的。


面试官:嘿嘿,挺好的,那你对于使用dubbo的时候又遇到过dubbo线程池溢出的情况吗?


小林:嗯嗯,以前工作中在做这块的时候有遇到过。


面试官: 嘿嘿,跟我讲讲你自己对于dubbo内部的线程池这块的分析吧。


小林:嗯嗯,可以的。


接下来小林进行了一番压测场景的讲解:


其实dubbo的服务提供者端一共包含了两类线程池,一类叫做io线程池,还有一类叫做业务线程池,它们各自有着自己的分工,如下图所示:


image.png


dubbo在服务提供方中有io线程池和业务线程池之分。可以通过调整相关的dispatcher参数来控制将请求处理交给不同的线程池处理。(下边列举工作中常用的几个参数:)


all:将请求全部交给业务线程池处理(这里面除了日常的消费者进行服务调用之外,还有关于服务的心跳校验,连接事件,断开服务,响应数据写回等)


execution:会将请求处理进行分离,心跳检测,连接等非业务核心模块交给io线程池处理,核心的业务调用接口则交由业务线程池处理。


假设说我们的dubbo接口只是一些简单的逻辑处理,例如说下方这类:


@Service(interfaceName = "msgService")
public class MsgServiceImpl implements MsgService {
    @Override
    public Boolean sendMsg(int id, String msg)  {
            System.out.println("msg is :"+msg);
            return true;
    }
}


并没有过多的繁琐请求,并且我们手动设置线程池参数:


dubbo.protocol.threadpool=fixed
dubbo.protocol.threads=10
dubbo.protocol.accepts=5


当线程池满了的时候,服务会立马进入失败状态,此时如果需要给provider设置等待队列的话可以尝试使用queues参数进行设置。


dubbo.protocol.queues=100


但是这个设置项虽然看似能够增大服务提供者的承载能力,却并不是特别建议开启,因为当我们的provider承载能力达到原先预期的限度时,通过请求堆积的方式继续请求指定的服务器并不是一个合理的方案,合理的做法应该是直接抛出线程池溢出异常,然后请求其他的服务提供者。


测试环境:Mac笔记本,jvm:-xmx 256m -xms 256m


接着通过使用jmeter进行压力测试,发现一秒钟调用100次(大于实际的业务线程数目下,线程池并没有发生溢出情况)。这是因为此时dubbo接口中的处理逻辑非常简单,这么点并发量并不会造成过大影响。(几乎所有请求都能正常抗住)


image.png


但是假设说我们的dubbo服务内部做了一定的业务处理,耗时较久,例如下方:


@Service(interfaceName = "msgService")
public class MsgServiceImpl implements MsgService {
    @Override
    public Boolean sendMsg(int id, String msg) throws InterruptedException {
            System.out.println("msg is :"+msg);
            Thread.sleep(500);
            return true;
    }
}


此时再做压测,解果就会不一样了。


image.png


此时大部分的请求都会因为业务线程池中的数目有限出现堵塞,因此导致大量的rpc调用出现异常。可以在console窗口看到调用出现大量异常:


image.png


将jmeter的压测报告进行导出之后,可以看到调用成功率大大降低,



image.png


也仅仅只有10%左右的请求能够被成功处理,这样的服务假设进行了线程池参数优化之后又会如何呢?


1秒钟100个请求并发访问dubbo服务,此时业务线程池专心只处理服务调用的请求,并且最大线程数为100,服务端最大可接纳连接数也是100,按理来说应该所有请求都能正常处理


dubbo.protocol.threadpool=fixed
dubbo.protocol.dispatcher=execution
dubbo.protocol.threads=100
dubbo.protocol.accepts=100


还是之前的压测参数,这回所有的请求都能正常返回。


image.png


ps:提出一个小问题,从测试报告中查看到平均接口的响应耗时为:502ms,也就是说其实dubbo接口的承载能力估计还能扩大个一倍左右,我又尝试加大了压测的力度,这次看看1秒钟190次请求会如何?(假设线程池100连接中,每个连接对请求的处理耗时大约为500ms,那么一秒时长大约能处理2个请求,但是考虑到一些额外的耗时可能达不到理想状态那么高,因此设置为每秒190次(190 <= 2*100)请求的压测)


但是此时发现请求的响应结果似乎并没有这么理想,这次请求响应的成功率大大降低了。


jmeter参数:


image.png


Java知音 发起了一个读者讨论亲爱的读者小伙伴们,你们知道这是为什么吗?如果有自己的见解欢迎在提问框中进行阐述讨论已结束


面试官:哦,看来你对线程池这块的参数还是有一定的研究哈。


面试官:你刚刚提到了请求其他服务提供者,那么你对于dubbo的远程调用过程以及负载均衡策略这块可以讲讲吗?最好能够将dubbo的整个调用链路都讲解一遍?


小林思考了一整子,在脑海中整理了一遍dubbo的调用链路,然后开始了自己的分析:

小林:这整个的调用链路其实是非常复杂的,但是我尝试将其和你阐述清楚。


衔接我上边的服务启动流程,当dubbo将服务暴露成功之后,会在zk里面记录相关的url信息


image.png


此时我们切换视角回归到consumer端来分析。假设此时consumer进行了启动,启动的过程中,会触发一个叫做get的函数操作,这个操作位于ReferenceConfig中。


image.png


首先是检查配置校验,然后再是进行初始化操作。在init操作中通过断点分析可以看到一个叫做createProxy的函数,在这里面会触发创建dubbo的代理对象。可以通过idea工具分析,此时会传递一个包含了各种服务调用方的参数进入该函数中。


image.png


在createProxy这个方法的名字上边可以分析出,这时候主要是创建了一个代理对象。并且还优先会判断是否走jvm本地调用,如果不是的话,则会创建远程调用的代理对象,并且是通过jdk的代理技术进行实现的。


最终会在org.apache.dubbo.registry.support.ProviderConsumerRegTable#registerConsumer里面看到consumer调用服务时候的一份map关系映射。这里面根据远程调用的方法名称来识别对应provider的invoker对象


image.png


最后当需要从consumer对provider端进行远程调用的时候,会触发一个叫做:


DubboInvoker的对象,在这个对象内部有个叫做doInvoke的操作,这里面会将数据的格式进行封装,最终通过netty进行通信传输给provider。并且服务数据的写回主要也是依靠netty来处理。


ps:


dubbo的整体架构图


image.png


面试官:嗯嗯,你大概讲解了一遍服务的调用过程,虽然源码部分讲解地挺细(面试官也听得有点点晕~~),但是我还是想问你一些关于更加深入的问题。你对于netty这块有过相关的了解吗?


小林:好像在底层中是通过netty进行通信的。这块的通信机制原理之前有简单了解过一些。


面试官:能讲解下netty里面的粘包和拆包有所了解吗?


小林:哈哈,可以啊。其实粘包和拆包是一件我们在研发工作中经常可能遇到的一个问题。一般只有在TCP网络上通信时才会出现粘包与拆包的情况。


正常的一次网络通信:


客户端和服务端进行网络通信的时候,client给server发送了两个数据包,分别是msg1,msg2,理想状态下可能数据的发送情况如下:


image.png


但是在网络传输中,tcp每次发送都会有一个叫做Nagle的算法,当发送的数据包小于mss(最大分段报文体积)的时候,该算法会尽可能将所有类似的数据包归为同一个分组进行数据的发送。避免大量的小数据包发送,因为发送端通常都是收到前一个报文确认之后才会进行下个数据包的发送,因此有可能在网络传输数据过程中会出现粘包的情况,例如下图:


两个数据包合成一个数据包一并发送


image.png


某个数据包的数据丢失了一部分,缺失部分和其他数据包一并发送


image.png


为了防止这种情况发生,通常我们会在服务端制定一定的规则来防范,确保每次接收的数据包都是完整的数据信息。


netty里面对于数据的粘包拆包处理机制主要是通过ByteToMessageDecoder这款编码器来进行实现的。常见的手段有:定长协议处理,特殊分隔符,自定义协议方式。


面试官:哦,看来你对这块还是有些了解的哈。行吧,那先这样吧,后边是二面,你先在这等一下吧。


小林长舒一口气,瞬间感觉整个人都轻松多了。


(未完待续...)

相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
相关文章
|
8月前
|
NoSQL Java 关系型数据库
面经开篇手册《面试官都问些啥问题》,一文讲透,值得收藏
面经开篇手册《面试官都问些啥问题》,一文讲透,值得收藏
|
5天前
|
消息中间件 Java 关系型数据库
首发!阿里面试官总结从零到架构面试宝典,是时候让面试官懵逼了
最近几年公司的大小招聘,社招、校招都有参与,遇到过许多厉害的,也遇到过很多职场小白。
首发!阿里面试官总结从零到架构面试宝典,是时候让面试官懵逼了
|
7月前
全到哭!从面试到架构,阿里大佬用五部分就把高并发编程讲清楚了
不知道大家最近去面试过没有?有去面试过的小伙伴应该会知道现在互联网企业招聘对于“高并发”这块的考察可以说是越来越注重了。基本上你简历上有高并发相关经验,就能成为企业优先考虑的候选人。其原因在于,企业真正需要的是能独立解决问题的人才。每年面试找工作的人很多,技术水平也是高低不一,而并发编程却一直是让大家很头疼的事情,很多人总觉得自己似乎掌握了并发编程的知识,但实际在面试或者工作中,都会被它吊打虐哭。
113 0
|
11月前
|
架构师 算法 Dubbo
划重点!2023面试必刷461道大厂架构面试真题汇总+面经+简历模板
在过去的一年里,LZ看到很多小伙伴在面试的时候都拿到了自己心仪的Offer,同时也在各大论坛博客平台看到了大家分享出来的面经,面试题。趁着年末时间多,公司上我手头的活基本完事了,就在业余时间把阿里,字节等大厂的Java岗面试真题为大家简单汇总了一下,一共是22个主流技术;除面试汇总外还有一份阿里七面面经与架构师简历模板,想要在金三银四面试的小伙伴可以好好看看,多少对你们有所帮助!
|
存储 自然语言处理 NoSQL
虚言妙诀终虚见,面试躬行是致知,Python技术面试策略与技巧实战记录
2023年,对于正在找工作的朋友来说,今年的就业季显得更加具有挑战性,更有意思的是,每当这个时候,各种面试经验分享就如同过江之鲫一般,俯拾皆是,因为例子过多,兹不细举。然而这些面试经验大部分都停留在理论阶段,这就造成了一个问题:理论和实际,到底有多大出入?我国古代大名仕曾文正公曾经说:“天下事,在局外呐喊议论,总是无益,必须躬身入局,挺膺负责,方有成事之可冀。”革命先烈李大钊先生也曾感叹:“凡事都要脚踏实地去作,不驰于空想,不骛于虚声,而惟以求真的态度作踏实的工夫。以此态度求学,则真理可明,以此态度做事,则功业可就。”所以本次我们来进行一次真实的线上面试,正所谓空谈误国,实干兴邦,能够检验真理
虚言妙诀终虚见,面试躬行是致知,Python技术面试策略与技巧实战记录
|
存储 资源调度 算法
不管卷不卷,面试还是得问问你G1原理!
所有的垃圾回收器的目的都是朝着减少STW的目的而前进,G1(Garbage First)回收器的出现颠覆了之前版本CMS、Parallel等垃圾回收器的分代收集方式,从2004年Sun发布第一篇关于G1的论文后,直到2012年JDK7发布更新版本,花了将近10年的时间G1才达到商用的程度,而到JDK9发布之后,G1成为了默认的垃圾回收器,CMS也变相地相当于被淘汰了。
不管卷不卷,面试还是得问问你G1原理!
|
Web App开发 安全 Java
【面试-八股文】万字app测试 面试题,助你吊打面试官系列
最近温大大的读者们问我有没有app相关的面试题, 作为「平易近人」的大大怎么能忍心说没有呢, 这不继续爆肝 输出app测试工程师专项面试题, 本篇从:app测试基础、app 测试场景(覆盖7大场景 + 100 多个测试点,直接可以拿来用)、app工具 Appium/ Fiddler/ Monkey 介绍、app 常见问答定位、app 环境安装 这些个纬度大家全面解析app面试题。
【面试-八股文】万字app测试 面试题,助你吊打面试官系列
|
缓存 网络协议 算法
【面试-八股文】网络协议万字总结,助你吊打面试官系列
最近温大大又又又整理了:万字网络协议方面的总结 主要覆盖:网络基础、TCP/UDP 高频面试题、HTTP 协议、Cookis/session、滑动窗口机制等知识点。 这次「网络八股文」配合前两次 Linux 万字总结 Mysql 入门到入土 这样同学们的基础八股文算是覆盖全了:数据库、Linux、网络 就像凑齐七龙珠能召唤1个神龙许愿1个愿望一样,如果你好好的阅读下温大大这三篇文章, 保证你能实现「涨薪」愿望呀。
【面试-八股文】网络协议万字总结,助你吊打面试官系列
|
存储 缓存 NoSQL
小林求职记(二):说好的问基础,为啥我感觉一点也不基础呢?
小林求职记(二):说好的问基础,为啥我感觉一点也不基础呢?
小林求职记(二):说好的问基础,为啥我感觉一点也不基础呢?
|
设计模式 运维 Kubernetes
15年老司机聊程序员成长的28个要点
15年老司机聊程序员成长的28个要点
349 1