RocketMQ:底层Netty频繁OS OOM
本文记录了一例Java应用因多ClassLoader加载多个Netty的PooledByteBufAllocator导致堆外内存超限,引发OS OOM的排查过程。尽管MaxDirectMemorySize设为1G,但多个中间件独立占用堆外内存,总量远超限制。通过NMT、Arthas等工具定位到RocketMQ客户端为主要占用者。最终建议短期调小堆内存以腾出空间,并推动中间件优化。
异步消息组件MQ基础
本课程学习MQ应用场景及RabbitMQ入门,掌握同步与异步调用区别,理解消息队列的解耦、异步处理与流量削峰作用,熟悉RabbitMQ收发消息、多种交换机类型及队列特性,并应用于商城项目中。
为什么会选择使用RabbitMQ
选用RabbitMQ因其功能丰富,支持多种消息模式、延迟与惰性队列,天然集群高可用,性能优异且文档齐全。MQ提升吞吐、隔离故障、削峰填谷,降低耦合,但也增加架构复杂性,依赖Broker稳定性。
项目中哪里用到了RabbitMQ
本项目广泛使用RabbitMQ实现服务间异步通信,作为两大通信方式之一(另一为Feign同步调用),主要用于非查询类操作。如内容审核、验证码发送、用户行为采集、搜索记录保存、用户信息变更通知、页面静态化及MySQL、Redis、ES间数据同步,提升系统解耦与性能。
应用架构图
技术架构是将业务需求转化为技术实现的关键过程,涵盖分层设计、技术选型与系统间关系梳理。本文详解单体与分布式架构,包括展现层、业务层、数据层及基础层的设计原则,并阐述应用内外调用关系与边界划分,助力构建清晰的技术体系。
别老想着怎么用好 RPC 框架,你得多花时间琢磨原理
2011年加入京东,亲历技术演进,现任技术架构部首席架构师。主导微服务、消息中间件等核心系统研发,深耕分布式架构。课程涵盖RPC基础、进阶与高级实战,带你掌握网络通信核心,构建高效可靠分布式系统。(238字)
RocketMQ:底层Netty频繁OS OOM
本文记录了一例Java应用因Netty多ClassLoader加载多个PooledByteBufAllocator实例,导致堆外内存超限引发OS OOM的排查过程。通过NMT、Arthas等工具分析,发现多个中间件独立加载Netty,各自绕过JVM直接内存限制分配堆外内存,总量远超MaxDirectMemorySize。最终定位RocketMQ客户端为主要内存占用者,建议短期调小Java堆让出内存,长期优化中间件内存使用。
RabbitMQ工作模型
工作队列模型通过多个消费者共同消费一个队列中的消息,实现任务的并行处理。默认情况下,消息平均分配给消费者,可能导致处理能力不同的消费者负载不均。通过设置`prefetch=1`,可实现“能者多劳”,即处理速度快的消费者自动接收更多消息,提升整体效率。发布订阅模型则通过交换机(Exchange)将一条消息转发给多个队列,支持Fanout、Direct、Topic等类型交换机,实现广播或多条件路由消息,满足不同业务场景需求。
RabbitMQ入门
RabbitMQ是基于Erlang开发的开源消息中间件,支持AMQP协议,实现应用间解耦与异步通信。其核心组件包括生产者、消费者、队列、交换机和虚拟主机,可通过Docker快速部署并结合SpringAMQP实现消息收发。