RocketMQ - 生产者启动流程

简介: RocketMQ - 生产者启动流程

生产者启动流程

DefaultMQProducer是RocketMQ中默认的生产者实现

核心属性:

namesrvAddr: 继承自 ClientConfig,表示 RocketMQ 集群的Namesrv 地址,如果是多个则用分号分开。比如:127.0.0.1:9876;127.0.0.2:9876。

clientIP: 使用的客户端程序所在机器的 IP地址。支持 IPv4和IPv6,IPv4 排除了本地的环回地址(127.0.xxx.xxx)和私有内网地址(192.168.xxx.xxx)。这里需要注意的是,如果 Client 运行在Docker 容器中,获取的 IP 地址是容器所在的 IP 地址,而非宿主机的IP地址。

instanceName: 实例名,每个实例都需要取唯一的名字,因为有时我们会在同一个机器上部署多个程序进程,如果名字有重复就会导致启动失败。

vipChannelEnabled: 这是一个 boolean 值,表示是否开启 VIP通道。VIP 通道和非VIP通道的区别是:在通信过程中使用的端口号不同。

clientCallbackExecutorThreads: 客户端回调线程数。该参数表示 Netty 通信层回调线程的个数 ,默认值 Runtime.getRuntime().availableProcessors()表示当前CPU的有效个数。

pollNameServerInterval: 获取 Topic 路由信息的间隔时长,单位为 ms,默认为30 000ms。

heartbeatBrokerInterval: 与Broker心跳间隔的时长,单位为 ms,默认为30 000ms。

defaultMQProducerImpl: 默认生产者的实现类,其中封装了Broker的各种API(启动及关闭生产者的接口)。如果你想自己实现一个生产者,可以添加一个新的实现,保持DefaultMQProducer对外接口不变,用户完全没有感知。

producerGroup: 生产者组名,这是一个必须传递的参数。RocketMQ-way表示同一个生产者组中的生产者实例行为需要一致。

sendMsgTimeout: 发送超时时间,单位为ms。

compressMsgBodyOverHowmuch: 消息体的容量上限,超过该上限时消息体会通过ZIP进行压缩,该值默认为4MB。

retryTimesWhenSendFailed: 同步发送失败后重试的次数。默认为2次,也就是说,一共有3次发送机会。

retryTimesWhenSendAsyncFailed: 异步发送失败后重试的次数。默认为2次。异步重试是有条件的重试,并不是每次发送失败后都重试 。 源代码可以查看 org.apache.rocketmq.client.impl.MQClientAPIImpl.sendMessageAsync()方法 。 每次发送失败抛出异常后 , 通过执行onExceptionImpl()方法来决定什么场景进行重试

核心方法

start():这是启动整个生产者实例的入口,主要负责校验生产者的配置参数是否正确,并启动通信通道、各种定时计划任务、Pull服务、Rebalance服务、注册生产者到Broker等操作。

shutdown(): 关闭本地已注册的生产者,关闭已注册到Broker的客户端。

fetchPublishMessageQueues(Topic): 获取一个Topic有哪些Queue。在发送消息、Pull消息时都需要调用。

send(Message msg): 同步发送普通消息。

send(Message msg,long timeout): 同步发送普通消息(超时设置)。

send(Message msg,SendCallback sendCallback): 异步发送普通消息。

send(Message msg , SendCallback sendCallback , long timeout): 异步发送普通消息(超时设置)。

sendOneway(Message msg): 发送单向消息。只负责发送消息,不管发送结果。

send(Message msg,MessageQueue mq): 同步向指定队列发送消息。

send(Message msg,MessageQueue mq,long timeout): 同步向指定队列发送消息(超时设置)。同步向指定队列发送消息时,如果只有一个发送线程,在发送到某个指定队列中时,这个指定队列中的消息是有顺序的,那么就按照发送

时间排序;如果某个Topic的队列都是这种情况,那么我们称该Topic的全部消息是分区有序的。

send(Message msg , MessageQueue mq , SendCallback sendCallback): 异步发送消息到指定队列。

send(Message msg , MessageQueue mq , SendCallback sendCallback,long timeout): 异步发送消息到指定队列(超时设置)。

send(Message msg,MessageQueueSelector selector,Object arg,SendCallback sendCallback): 自定义消息发送到指定队列。通过实现MessageQueueSelector接口来选择将消息发送到哪个队列。

send(Collection<Message>msgs): 批量发送消息。

核心管理接口

createTopic(String key , String newTopic , int queueNum): 创建Topic。

viewMessage(String offsetMsgId): 根据消息id查询消息内容。

启动流程

生产者启动的流程比消费者启动的流程更加简单,一般用户使用DefaultMQProducer的构造函数构造一个生产者实例,并设置各种参数。比如Namesrv地址、生产者组名等,调用start()方法启动生产者实例,start()方法调用了生产者默认实现类的start()方法启动,这里我们主要讲实现类的start()方法内部是怎么实现的,

第一步: 通过 switch-case 判断当前生产者的服务状态,创建时默认状态是CREATE_JUST。设置默认启动状态为启动失败。

第二步: 执行 DefaultMQProducerImpl.checkConfig()方法。校验生产者实例设置的各种参数。比如生产者组名是否为空、是否满足命名规则、长度是否满足等。

第三步: 执行 DefaultMQProducer.changeInstanceNameToPID()方法。校验instancename,如果是默认名字则将其修改为进程id。

第四步: 执行 MQClientManager.getOrCreateMQClientInstance()方法。根据生产者组名获取或者初始化一个

MQClientInstance实例与 clientId是一一对应的,而clientId是由clientIP、instanceName 及 unitName 构成的。因此,为了减少客户端的使用资源,如果将所有的 instanceName和 unitName设置为同样的值,就会只创建一个 MQClientInstance实例

ClientConfig.java

public String buildMQClientId() {
    StringBuilder sb = new StringBuilder();
    sb.append(this.getClientIP());
    sb.append("@");
    sb.append(this.getInstanceName());
    if (!UtilAll.isBlank(this.unitName)) {
        sb.append("@");
        sb.append(this.unitName);
    }
    if (enableStreamRequestType) {
        sb.append("@");
        sb.append(RequestType.STREAM);
    }
    return sb.toString();
}

MQClientInstance 实例的功能是管理本实例中全部生产者与消费者的生产和消费行为 。

org.apache.rocketmq.client.impl.factory.MQClientInstance

类的核心属性

public class MQClientInstance { 
    ...
    private final ClientConfig clientConfig;
    private final int instanceIndex;
    private final String clientId;
    private final long bootTimestamp = System.currentTimeMillis();
    //当前client实例的全部生产者的内部实例。
    private final ConcurrentMap<String/* group */, MQProducerInner> producerTable = new ConcurrentHashMap<String, MQProducerInner>();
    //当前client实例的全部消费者的内部实例。
    private final ConcurrentMap<String/* group */, MQConsumerInner> consumerTable = new ConcurrentHashMap<String, MQConsumerInner>();
    //当前client实例的全部管理实例。
    private final ConcurrentMap<String/* group */, MQAdminExtInner> adminExtTable = new ConcurrentHashMap<String, MQAdminExtInner>();
    private final NettyClientConfig nettyClientConfig;
    //其实每个client也是一个Netty Server,也会支持Broker访问,这里实现了全部client支持的接口
    private final MQClientAPIImpl mQClientAPIImpl;
    //管理接口的本地实现类
    private final MQAdminImpl mQAdminImpl;
    //当前生产者、消费者中全部Topic的本地缓存路由信息
    private final ConcurrentMap<String/* Topic */, TopicRouteData> topicRouteTable = new ConcurrentHashMap<String, TopicRouteData>();
    private final Lock lockNamesrv = new ReentrantLock();
    private final Lock lockHeartbeat = new ReentrantLock();
    private final ConcurrentMap<String/* Broker Name */, HashMap<Long/* brokerId */, String/* address */>> brokerAddrTable =
        new ConcurrentHashMap<String, HashMap<Long, String>>();
    private final ConcurrentMap<String/* Broker Name */, HashMap<String/* address */, Integer>> brokerVersionTable =
        new ConcurrentHashMap<String, HashMap<String, Integer>>();
    //本地定时任务,比如定期获取当前 Namesrv 地址、定期同步Namesrv信息、定期更新Topic路由信息、定期发送心跳信息给Broker、定期清理已下线的Broker、
    //定期持久化消费位点、定期调整消费线程数(这部分源代码被官方删除了)
    private final ScheduledExecutorService scheduledExecutorService = Executors.newSingleThreadScheduledExecutor(new ThreadFactory() {
        @Override
        public Thread newThread(Runnable r) {
            return new Thread(r, "MQClientFactoryScheduledThread");
        }
    });
    //请求的处理器,从处理方法 processRequest() 中我们可以知道目前支持哪些功能接口
    private final ClientRemotingProcessor clientRemotingProcessor;
    //Pull服务
    private final PullMessageService pullMessageService;
    //重新平衡服务。定期执行重新平衡方法this.mqClientFactory.doRebalance()。
    //这里的 mqClientFactory 就是 MQClientInstance 实例,通过依次调用MQClientInstance中保存
    //的消费者实例的doRebalance()方法,来感知订阅关系的变化、集群变化等,以达到重新平衡。
    private final RebalanceService rebalanceService;
    private final DefaultMQProducer defaultMQProducer;
    //消费监控 。 比如拉取 RT(Response Time,响应时间)、拉取TPS(Transactions Per Second,每秒处理消息数)、消费RT等都可以统计。
    private final ConsumerStatsManager consumerStatsManager;
 }

类的核心方法

public class MQClientInstance {  
    //从多个Namesrv中获取最新Topic路由信息,更新本地缓存
    public void updateTopicRouteInfoFromNameServer(){}
    //清理已经下线的Broker
    private void cleanOfflineBroker(){}
    //检查Client是否在Broker中有效
    private void checkClientInBroker(){}
    //发送客户端的心跳信息给所有的Broker。
    public void sendHeartbeatToAllBrokerWithLock() {}
    //在本地注册一个消费者。
    public synchronized boolean registerConsumer(final String group, final MQConsumerInner consumer) {}
    //取消本地注册的消费者。
    public synchronized void unregisterConsumer(final String group) {}
    //在本地注册一个生产者。
    public synchronized boolean registerProducer(final String group, final DefaultMQProducerImpl producer) {}
    //取消本地注册的生产者。
    public synchronized void unregisterProducer(final String group){}
    //注册一个管理实例。
    public boolean registerAdminExt(final String group, final MQAdminExtInner admin)
    //立即执行一次 Rebalance。该操作是通过 RocketMQ 的一个CountDownLatch2锁来实现的。
    public void rebalanceImmediately(){}
    //对于所有已经注册的消费者实例 ,执行一次Rebalance。
    public void doRebalance(){}
    //在本地缓存中查找Slave Broker信息
    public FindBrokerResult findBrokerAddressInSubscribe(
        final String brokerName,
        final long brokerId,
        final boolean onlyThisBroker
    ){}
    //在本地缓存中查找Master Broker地址。
    public String findBrokerAddressInPublish(final String brokerName){}
    //查找消费者id列表。
    public List<String> findConsumerIdList(final String topic, final String group) {}
    //通过Topic名字查找Broker地址。
    public String findBrokerAddrByTopic(final String topic) {}
    //重置消费位点。
    public synchronized void resetOffset(String topic, String group, Map<MessageQueue, Long> offsetTable){}
    //获取一个订阅关系中每个队列的消费进度。
    public Map<MessageQueue, Long> getConsumerStatus(String topic, String group){}
    //获取本地缓存Topic路由。
    public ConcurrentMap<String, TopicRouteData> getTopicRouteTable(){}
    //直接将消息发送给指定的消费者消费,和正常投递不同的是,指定了已经订阅的消费者组中的一个,
    //而不是全部已经订阅的消费者。一般适用于在消费消息后,某一个消费者组想再消费一次的场景。    
    public ConsumeMessageDirectlyResult consumeMessageDirectly(final MessageExt msg,
        final String consumerGroup,
        final String brokerName) {}
    //获取消费者的消费统计信息。包含消费RT、消费TPS等。
    public ConsumerRunningInfo consumerRunningInfo(final String consumerGroup){}
 }

《RocketMQ分布式消息中间件:核心原理与最佳实践_李伟 (作者) _电子工业出版社 (2020年7月1日)》

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
6月前
|
消息中间件 网络安全 开发工具
消息队列 MQ产品使用合集之使用grpc proxy,生产者心跳并没有发送至Default中,如何解决
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
4月前
|
消息中间件 负载均衡 API
RocketMQ生产者负载均衡(轮询机制)核心原理
文章深入分析了RocketMQ生产者的负载均衡机制,特别是轮询机制的实现原理,揭示了如何通过`ThreadLocal`技术和消息队列的选播策略来确保消息在多个队列之间均衡发送,以及如何通过灵活的API支持自定义负载均衡策略。
|
4月前
|
消息中间件 数据安全/隐私保护 RocketMQ
就软件研发问题之RocketMQ ACL 2.0的认证流程的问题如何解决
就软件研发问题之RocketMQ ACL 2.0的认证流程的问题如何解决
|
4月前
|
消息中间件 RocketMQ
RocketMQ - 生产者最佳实践总结
RocketMQ - 生产者最佳实践总结
56 0
|
4月前
|
消息中间件 缓存 API
RocketMQ - 生产者消息发送流程
RocketMQ - 生产者消息发送流程
82 0
|
4月前
|
消息中间件 Kafka Apache
RocketMQ - 生产者原理
RocketMQ - 生产者原理
53 0
|
5月前
|
消息中间件 负载均衡 算法
【RocketMQ系列十二】RocketMQ集群核心概念之主从复制&生产者负载均衡策略&消费者负载均衡策略
【RocketMQ系列十二】RocketMQ集群核心概念之主从复制&生产者负载均衡策略&消费者负载均衡策略
154 2
|
5月前
|
消息中间件 负载均衡 Apache
【RocketMQ系列七】消费者和生产者的实现细节
【RocketMQ系列七】消费者和生产者的实现细节
149 1
|
6月前
|
消息中间件 监控 网络安全
在RocketMQ中,生产者提交数据导致连接不上问题
【6月更文挑战第19天】在RocketMQ中,生产者提交数据导致连接不上问题
271 1
|
7月前
|
监控 安全 物联网
阿里云mqtt简介和使用流程
本文介绍了阿里云MQTT的准备工作、简介和使用流程。首先,用户需要注册阿里云账号并完成实名认证。接着,通过阿里云物联网平台创建产品和设备,获取连接所需的Broker Address、Port、Username和Password。然后,使用MQTT客户端(如MQTTX)配置这些信息进行连接,并激活设备。最后,创建并订阅/发布自定义Topic,实现设备间的通信。阿里云MQTT是一个适用于物联网设备的轻量级通信协议,提供高并发、高可靠性的服务,广泛应用于各种物联网场景。
阿里云mqtt简介和使用流程

热门文章

最新文章