启动服务后,如何同时持续监听消息队列(mns)的消息(工单解决全过程)?

简介:

我: 如何监听消息队列的消息?我使用django开发,在启动服务的的时候就开启监听,但是这样由于使用while True,导致服务启动阻塞.请问应该如何解决?

工程师: 多线程并发消费消息,可以参考: https://help.aliyun.com/document_detail/32451.html 虽然是java demo, 原理类似,可以拿来参考。


我: 看起来有点吃力,逻辑是当启动web服务的时候同时启动一个线程,这个线程执行receive_message

工程师: 这个线程执行receive_message 具体遇到什么问题? 具体堵塞在什么地方?


我: 之前的写法是这样,执行到message.receive_message()这里就停在这里了

message = Message(topic='user', queue='register') 
message.receive_message()

现在我改成了这样:

message = Message(topic='user', queue='register') 
threading.Thread(target=message.receive_message).start()

这样写好像就解决了我的问题

工程师: 抱歉,我们对django开发所知甚少。 相关开发问题,还需要您到相关开发社区去咨询一下。


我: 这跟django没有关系吧

工程师: 如果配置了长轮询https://help.aliyun.com/document_detail/34478.html 那么当队列没有消息时,receive_message会挂住,如果WaitSecond内有消息,立即返回;否则,会等到WaitSecond后才返回。
“执行到message.receive_message()这里就停在这里了” 停止了多长时间?


我: 长时间,一直没有执行下面的代码;还有一个问题,我使用的python的sdk,消息写入队列成功,但是取的时候出现错误,在你们的控制台也是base64出现乱码;我写入的消息内容只有Message内容, 消息取出的是如上图的结构吗?

工程师: 您好,消息的结构是这样的。请问您乱码问题在本地读取也是,还是只是控制台测试是这样?


我: 使用sdk的receive_message(wait_seconds)方法,会报Incorrect padding错误

工程师: 长轮询最长是30秒,如果超过30秒receive_message都没有返回,可以怀疑是代码的问题,建议使用单线程写个最简单的程序(官网python demo),先将receive_message调试成功。
关于乱码: queue提供的sdk,会默认对发送的消息做Base64 Encode,对接收到的消息做Base64 Decode。
所以如果使用queue sdk来发送,sdk接收是没有问题的。 在队列控制台点击“接收消息”时,您需要指定使用base64解码.


我: 问题好像已经解决了 1.开启进程可以解决持续监听队列消息的问题 2.关于编码问题,python sdk中, Queue和Topic都有发送消息的方法,Queue.send_message()默认经过base64编码,使用Queue.receive_message时默认解码所以可以正常执行(你们官方示例就是这样),但是Topic.publish_message()默认写入队列时未经过base64编码,但是官方未给出主题队列获取消息的示例,则同样使用Queue.receive_message获取消息,则会报错,只要在获取Queue示例queue后,再执行queue.set_encoding(False),然后在获取消息就不会报错了

工程师: topic提供的sdk, 默认是不做任何编解码的。
所以如果用sdk发送消息到topic, 配置推送消息到队列,用python sdk拉取队列消息,是会产生乱码的,需要自行做base64解码。
php: 从1.2.1版本开始,Queue提供了禁用Base64的选项,需要在getQueueRef的时候传入参数$base64 = FALSE;
java: 从1.1.0版本开始,消息Base64编码支持可选。 其他语言的queue sdk目前还不提供base64编解码可选。

相关文章
|
2月前
|
消息中间件 网络性能优化 开发工具
消息队列 MQ使用问题之如何确保消息的唯一性
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
2月前
|
消息中间件 C语言 RocketMQ
消息队列 MQ操作报错合集之出现"Connection reset by peer"的错误,该如何处理
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
2月前
|
消息中间件 Java C语言
消息队列 MQ使用问题之在使用C++客户端和GBase的ESQL进行编译时出现core dump,该怎么办
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
2月前
|
消息中间件 Java 测试技术
消息队列 MQ使用问题之数据流出规则是否支持平台的云RabbitMQ
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
25天前
|
消息中间件 存储 Java
【揭秘】RocketMQ内部运作大揭秘:一探究竟,原来消息队列是这样工作的!
【8月更文挑战第19天】RocketMQ是一款高性能、高可用的消息中间件,在分布式系统中至关重要。它采用发布/订阅模式,支持高吞吐量的消息传递。核心组件包括管理元数据的NameServer、存储消息的Broker以及Producer和Consumer。RocketMQ支持发布/订阅与点对点两种模型,并具备复杂的消息持久化和路由机制。通过Java API示例,可轻松实现消息的发送与接收。RocketMQ凭借其出色的特性和可靠性,成为大型分布式系统首选的消息解决方案。
45 5
|
1月前
|
消息中间件 存储 缓存
一个用过消息队列的人,竟不知为何要用 MQ?
一个用过消息队列的人,竟不知为何要用 MQ?
64 1
|
2月前
|
消息中间件 开发工具 RocketMQ
消息队列 MQ使用问题之一直连接master失败,是什么原因
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
2月前
|
消息中间件 Prometheus 监控
消息队列 MQ使用问题之如何将旧集群的store目录迁移到新集群
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
2月前
|
消息中间件 安全 PHP
消息队列 MQ使用问题之如何获取PHP客户端代码
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
2月前
|
消息中间件 API 开发工具
消息队列 MQ使用问题之如何开启RabbitMQ的MQTT功能
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。

相关产品

  • 云消息队列 MQ