丁威: 优秀程序员必备技能之如何高效阅读源码(二更)

简介: 丁威: 优秀程序员必备技能之如何高效阅读源码(二更)

“我能熟练使用这个框架/软件/技术就行了, 为什么要看源码?”


“平时不用看源码, 看源码太费时间,还容易忘记,工作中出现问题再针对性地阅读,效率更高。”


“为了面试才需要看源码!”


。。。。。。


如果你也有类似的疑问,不妨接着往下看


1、为什么要阅读源码?


1.1 在通用型基础技术中提高技术能力


在 JAVA 领域中包含 JAVA 集合、Java并发(JUC)等, 它们是项目中使用的高频技术,在各种复杂的场景中选用合适的数据结构、线程并发模型,合理控制锁粒度等都能显著提高应用程序的可用性、健壮性,非常容易凸显出自己的技术实力,更容易受到领导的认可,助力职场。


当然通过阅读源码并不是知晓原理的唯一方法,但作为一个名程序员、直面代码,亲自感受代码的魅力或许会显得的更加直接。


1.2 在重点领域打造自己的亮点


我所在公司使用了 Dubbo、RocketMQ,我也有幸参与到这些技术栈的运用与运维,积累了丰富的使用经验,为了突出在这两个领域的优势,我详细阅读了它们的源码,在CSDN和公众号等知识分享平台发布了大量的技术文章,成体系的剖析其实现原理、架构设计理念,理论与实战相结合,让我成为在Dubbo、RocketMQ领域当仁不让的技术专家,团队中的核心骨干。


同时由于文章是成体系的,被出版社相中,邀请出书,《RocketMQ技术内幕》一书应运而生,从而成为我职业技能列表中非常亮眼的名片,形成公认的技术影响力,具备一定的“品牌溢价”能力。


当然, 也可以等到出了问题再看源码,“投入产出比”更高,但这是个被动过程,如果生产环境由于并发不高,那可能一年、两年你都遇不到真正的问题,经验积累非常慢, 工作了4、5年,有可能还比不过工作2、3年的人。


所以如果是你想快速打造亮点的话,还是需要主动阅读源码,成体系掌握其设计理念、实现原理。


1.3 从优秀的源码中学习设计和编码


学习编程的过程其实就是一个模仿的过程, 优秀的源码都是大师级作品,极具营养,可以看到大师们是如何抽象接口的,如何应用SOLID原则的,还有很多非常有用的编程技巧。


例如JUnit是从模式开始构建系统, 其中你可以看到大量的设计模式的应用,这些都是活生生的案例,比干巴巴地看那些设计模式理论,或者简单的例子不知道好到哪里去了。


2、如何阅读源码


我根据多年的阅读经验,整理了这么一套方法:


  1. 了解这款软件的使用场景、以及架构设计中将承担的责任。
  2. 寻找官方文档,从整体上把握这款软件的设计理念。
  3. 搭建自己的开发调试环境,运行官方提供Demo示例,为后续深入研究打下基础。
  4. 先主干流程再分支流程,注意切割,逐个击破。


接下来分享一下我在阅读 RocketMQ 源码时的一些经历,尽量让上述理论具有画面感。


2.1 了解 RocketMQ的应用场景


MQ的使用场景是比较清晰的,它的两大基本职责是解耦与削峰填谷。


举一个最简单的场景:新用户注册送积分、送优惠券场景,其原始架构设计通常如下:

c44e456b0858ab8cf88e2314a2d3c75d.png

以看出用户注册和发优惠券,送积分是紧耦合的, 随着业务不断发展,活动部门提出在春节期间用户注册不送积分,发优惠券,而是赠送一个新春礼包,如果基于上述架构的话,需要去改动用户注册的主流程,违背了设计模式中的对修改关闭、对扩展开放的设计理念。


MQ的出现,可以很好地解决上面的问题:


57bcda8c48d144df58dc6a06bc6f8ddb.png

通过引入MQ,用户注册主流程只需要完成注册逻辑,并向MQ发送一条消息,然后活动模块(送积分、送优惠券、送礼包)只需要订阅MQ中的消息,进行对应的处理。

这样消息注册主流程会非常的简单,不管活动种类如何变化,注册流程无需更改,这样就实现了解耦。


2.2  通读官方文档,从全局把握其设计理念


了解使用场景以后,接下我们可以去查阅官方文档,主要包括用户设计文档(架构设计),用户使用手册等,从全局了解其设计理念。

c2bae1eaf878fc0d238e35c697e1aad2.png

通过通读官方文档,不仅可以得出MQ的整体脉络(例如NameServer路由发现、消息发送、消息存储、消息消费、消息过滤),也能对顺序消费,零拷贝、同步刷盘、异步刷盘等“高端大气上档次”的高级特性产生兴趣与好奇,驱动我们去阅读其源码,探究其实现细节,使得我们在阅读源码中进行一定的自我思考成为了可能。


2.3 搭建开发调试环境


不同的系统搭建方式也不同,我这里有一篇手把手教你安装RocketMQ与IDEA Debug环境搭建


2.4 先主干,再分支


在搭建好本地开发环境后,切忌直接用Debug去跟踪消息发送的整体流程,因为这个流程实在是太长了,从比较粗粒度来看其流程如下图所示:

ca95f4f2c0499f14ec49877e27268dab.png

如果大家想一次将上述流程的源码全部看一遍,几乎是不可能的。 因为消息发送高可用设计、消息存储、刷盘、同步等机制,每个点详细展开的工作都是海量的,我们没有这么多连续的时间,所以适当的拆分非常有必要。

abbf770a9c85b301d3766e573fba0ae9.png

经过这样一分解,就能专注理解其某一块的设计原理,所需要的连续时间也能大大减少,一口一口“吃”,最终完成整个体系的理解。

这还带来了一个额外的好处:分批次输出多篇文章,提高了文章产出,提高了成就感。


3、阅读源码很容易放弃,怎么办?



阅读源码是枯燥的,一个人孤军奋战很容易放弃,尤其是遇到问题的时候,  如何才能坚持下去,把它读完呢?


我的答案是坚持,但允许短暂的修整、停留,然后反复发起冲刺,拼抢,直到攻克这个“山头”。


因为一旦放弃就将前功尽弃,一旦突破,自身能力能得到一个质的飞跃。


我在阅读Netty源码时就遇到了难题,当时刚刚写完Netty的内存泄露检测,准备开始研究内存分配机制, 这一块儿非常抽象,涉及的数据结构复杂,需要掌握二叉树与数组之间如何映射、牵扯到大量的位运算等等,让我在探究其原理时寸步难行,怎么办呢?放弃?

当一周、两周都无法取得突破时,人很容易想到:这样持续投入时间,又没有回报, 是不是在浪费时间?


其实我想过放弃,但转念一想:放弃后,我会做什么呢?玩游戏?看电视?


既然是玩游戏、看电视,不更是浪费时间吗?想清楚这一层后,继续攻关,继续突破就成了唯一的选择。


当然,遇到难题了,偶尔放松一两天,重新调整状态也是非常必要的。短暂的休整可以让我们变得不那么焦躁,有利于我们重新整理思路,重新发起冲刺。


当时遇到难题时,采取哪些措施有利于我们攻克难题呢?


1、向“度娘”求救

在阅读源码时可以将看不懂的代码直接COPY一小段到百度上去搜索,可能会有大牛已经对这些代码做过解读,能起到指点作用。


当时经过我的搜索,发现Netty的内存分配算法并不是首创,而是对 jemalloc 算法的实现,通过查阅相关的技术文档,可以从整体上理解Netty的内存分配算法。


2、Debug


Netty追求极致的性能,采用了大量的位运算,由于平时工作中很少会使用位运算,看起来比较吃力,为了弥补这方面的不足,使用DEBUG模式,结合运行时数据,去理解位运算,更容易开窍。


经过上面的努力,花了10天时间,Netty的内存分配机制慢慢被我解开,经过分解,我写了一系列文章来描述Netty内存分配:


a2e06a16c07535c909f3698d0c147e94.png


迈过了这道坎,后面的源码阅读效率变得非常高效。


通过攻克一个个难题,最终从量变引发质变,逐渐形成一条自己的源码阅读理论,后续的源码分析RocketMQ、Dubbo、ElasticJob、Sentinel、Kafka等专栏就变得非常简单了。


4、源码阅读的三层境界


4.1 初级:记流水账


我初期的源码阅读文章基本上是记流水账,例如对源码一样一行加注释,只关注底层实现细节,但并未形成更高层次认知,对其设计理念没有提炼与深度领悟。


4.2 中级:能提问、思考、提炼


随着技术类文章的持续分享, 我认识了很多大牛,发现和他们交流的时候,发现他们一开始并不会说细节,而是讲设计理念。


这就要求我们在阅读源码的时候多思考,并反问自己如果自己实现的话该如何着手,如何设计,带着疑问去研究源码。通过对比,思考,会对其背后的理念有了更深刻的理解。


4.3 高级:思考、质疑、验证


不管是哪个开源框架,都会存在BUG或者实现并不合理的地方,如果大家在阅读源码的时候能够深入思考, 合理质疑,并能通过验证证明自己的观点,然后与官方取得联系,交流,共同促进社区的发展,说明我们的能力、思考得到了极大的提升。


思考与质疑是源码阅读的一个升华,比如我在看Sentinel 熔断时对其提出的质疑。


一个“用户信息查找”服务,被部署到了三个机器上。

5ac8ff19a3c7064809f87d9a0e2803de.png

其中192.168.1.3这个机器有一段时间负载过高,响应时间过长,发往它的请求有30%都失败了。


而30%恰恰是Sentinel设置的熔断错误率, 于是Sentinel认为整个“用户信息查找”服务不可用了,熔断了。


这明显是不合理的,因为192.168.1.4和192.168.1.5这两个机器还活着呢!


本质上这是因为熔断错误率被定义到了服务级别 :服务 -> 熔断错误率

在对这个问题进行思考的时候,我认为在配置熔断规则的时候,需要细化,应该把熔断错误率定义到资源组级别:[服务 , 机器] ->  熔断错误率


这样,当一个机器上的服务提供者被熔断后,不影响其他机器,保证了真正的高可用。

通过与官方联系,我这个想法得到了其作者的肯定,反向促进了社区的发展。


相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
6月前
|
算法 测试技术 开发工具
编写高效技术文档的艺术:C++项目实践指南
编写高效技术文档的艺术:C++项目实践指南
165 0
|
1月前
|
数据采集 数据挖掘 数据处理
探索Python编程:从基础到进阶的旅程
在编程世界中,Python因其易学性和强大功能而受到许多开发者的青睐。本文将通过一系列生动的例子和实用的技巧,带领初学者理解Python的基础概念,并逐步深入到更复杂的编程任务。我们将一起探索如何通过Python解决实际问题,同时提升编程技能和逻辑思维能力。无论你是编程新手还是希望提高现有技能的开发者,这篇文章都将为你提供宝贵的学习资源和灵感。
|
5月前
|
Linux 开发工具 C++
技术笔记:RustGUI编程
技术笔记:RustGUI编程
|
1月前
|
机器学习/深度学习 算法 数据可视化
高效记录并整理编程学习笔记:打造你的编程知识宝库
高效记录并整理编程学习笔记:打造你的编程知识宝库
|
2月前
|
机器学习/深度学习 程序员 Python
掌握Python编程:从基础到进阶的旅程
【9月更文挑战第11天】在这篇文章中,我们将一起踏上Python编程的学习之旅。无论你是初学者还是希望提升自己的技能,这篇文章都将为你提供一条清晰的道路。我们将从Python的基本概念出发,逐步深入到更复杂的主题,如面向对象编程、异常处理和模块使用。通过这篇文章,你将获得必要的知识和技能,以便在Python编程世界中自信地迈出每一步。
|
3月前
|
开发者 Python
探索Python编程:从基础到高级的旅程
【8月更文挑战第31天】 这篇文章是一次深入Python编程世界的探险之旅。我们将从最基础的语法开始,逐步深入到面向对象编程、异常处理等高级主题。通过丰富的代码示例和实际应用场景,你将获得从初学者到高级开发者所需的所有知识和技能。无论你是编程新手还是有经验的开发者,这篇文章都将为你提供新的视角和深度理解。让我们一起开启这段激动人心的编程之旅吧!
|
3月前
|
监控 Java 测试技术
探索自动化测试的奥秘:从基础到进阶之旅
【8月更文挑战第30天】在软件工程的世界里,自动化测试是保证项目质量和效率的关键工具。本文将通过浅显易懂的语言和实际示例,带领读者了解自动化测试的基本概念、常用工具和实践策略,旨在为初学者提供一条清晰的学习路径,并帮助有经验的测试人员深化理解,共同提升软件测试的艺术。
|
12月前
|
程序员
开发中遇到问题如何更好地提问
开发中遇到问题如何更好地提问
51 0
|
JavaScript 程序员 API
程序员为什么会在开发中阅读源码?
作为程序员的大家想必都会在开发的时候,去阅读源码。在实际开发中,开发者经常需要阅读和理解源代码,阅读源码是一种非常有用的技能,它可以帮助程序员更好地了解代码、解决问题、学习新技术和提高编码能力。阅读源码的过程实质上是对软件构建技术和架构深度的一种持续学习和理解。阅读源码可以揭示代码的内在逻辑,这被看作是对技术深度理解的一种体现,它能提高我们对技术的理解程度。结合阅读《Node 中的 AsyncLocalStorage 的前世今生和未来》这篇文章之后,我深刻体会到了作为开发者阅读源码的重要性和必要性。通过阅读这篇文章,我对 AsyncLocalStorage 的实现原理和使用方式有了更深入的理解
228 3
程序员为什么会在开发中阅读源码?
|
Cloud Native 程序员 Go
从项目中突显技能:在面试中讲述你的编程故事
从项目中突显技能:在面试中讲述你的编程故事
71 0