• RocketMQ 客户端最佳实践

    这条消息的消费过程与DB交互了4次,如果按照每次5ms计算,那么总共耗时20ms,假设业务计算耗时5ms,那么总过耗时25ms,如果能把4次DB交互优化为2次,那么总耗时就可以优化到15ms,也就是说总体性能提高了40%。...
    文章 2016-12-09 10677浏览量
  • 搞懂分布式系统27:消息队列设计精要总结之高级特性篇

    2 消息送达与处理的解耦:把消息的送达和消息的处理分开,这样才真正的实现了消息队列的本质-解耦。所以,允许消费者主动进行消费确认是必要的。当然,对于没有特殊逻辑的消息,默认Auto Ack也是可以的,但一定要...
    文章 2018-07-13 1241浏览量
  • 消息队列在线迁移实战|最佳实践

    消息队列(Message Queue,下文简称MQ)是分布式互联网架构中必不可少的核心组件,包括RocketMQ、Kafka、RabbitMQ等在业界广泛使用的产品,在消息分发、异步解耦、削峰填谷、广播通知等领域发挥着巨大的作用。...
    文章 2020-09-11 2856浏览量
  • 轻松搞定RocketMQ入门

    2.消息发送失败处理 Producer 的 send 方法本身支持内部重试,重试逻辑如下: (1)至多重试 3 次 (2)如果发送失败,则轮转到下一个 Broker (3)这个方法的总耗时时间不超过 sendMsgTimeout 设置的值,默认 10s...
    文章 2018-08-10 28839浏览量
  • 天生强大的Redis是如何做实时订阅推送的

    这个相对来说就简单一点,定时任务是去db里面load用户的订阅提醒记录,从中选出当前可以推送的记录。但有句话说得好任何脱离实际业务的设计都是耍流氓~。下面我们就分析一下传统的定时任务到底适不适合我们的这个...
    文章 2019-07-25 791浏览量
  • 十分钟入门RocketMQ

    规范中描述的优先级是指在一个消息队列中,每条消息都有不同的优先级,一般整数来描述,优先级高的消息先投递,如果消息完全在一个内存队列中,那么在投递前可以按照优先级排序,令优先级高的先投递。由于RocketMQ...
    文章 2016-12-08 11625浏览量
  • 如何Redis平衡海量信息推送的实效与体量

    这个相对来说就简单一点,定时任务是去DB里面Load用户的订阅提醒记录,从中选出当前可以推送的记录。但有句话说得好任何脱离实际业务的设计都是耍流氓,下面我们就分析一下传统的定时任务到底适不适合我们的这个...
    文章 2018-07-11 5270浏览量
  • ENode 2.0-整体架构介绍

    而ENode 2.0中,就不会有这个问题了,因为消息队列被设计为独立的,被消费者所共享的;一个消息队列可以被多个消费者集群消费或广播消费,如果一个消费者挂了,那其他的消费者会自动顶上。这里具体的细节,我会在...
    文章 2016-05-27 3406浏览量
  • 【高并发简单解决方案】redis队列缓存+mysql 批量入库...

    问题二:批量入库就需要有高并发的消息队列,决定采用redis list 仿真实现,而且方便回滚。问题三:日志量毕竟大,保存最近30条足矣,决定php写个离线统计和清理脚本。done,下面是小拽的简单实现过程 一:设计...
    文章 2016-05-02 5901浏览量
  • 分布式事务相关问题

    2消息消费的确认机制,消息一定要被正确消费(消息队列ack机制) (3)保障消费处理的幂等性,根据业务逻辑去实现(处理一条消息,就需要保留一条记录,单独一个记录表) 4、LCN 开源框架,可以直接到GitHub中...
    文章 2018-06-03 972浏览量
  • Redis 面试总结

    此外单个value的最大限制是1GB,不像 memcached只能保存1MB的数据,因此Redis可以用来实现很多有用的功能,比方说他的List来做FIFO双向链表,实现一个轻量级的高性 能消息队列服务,他的Set可以做高性能的tag...
    文章 2018-10-23 1964浏览量
  • 消费问题排查|《Rocket MQ 使用排查指南》第三章

    由于消息队列 RocketMQ 版的订阅关系主要由 Topic+Tag 共同组成,因此,保持订阅关系一致意味着同一个消费者 Group ID 下所有的消费者实例需在以下两方面均保持一致: 订阅的 Topic 必须一致订阅的 Topic 中的 Tag ...
    文章 2020-08-13 6297浏览量
  • 抽奖活动的高可用、高并发优化

    以上是常见的几种处理手段,其实所有分布式队列、消息队列都可以作为设计时的考虑对象,我们在选用的是使用RocketMQ来异步化 2)抽奖流程改进 通过缓存控制库存扣减,减库存成功,则通过MQ消息将中奖事件发送出去;...
    文章 2018-05-13 15485浏览量
  • 如何构建普适的企业级微服务架构(下)——阿里云 MVP...

    如上图所示,在同步架构中,上游发送request给下游,下游再返回response给上游,而想将其变为异步架构也非常简单,就是在上游和下游之间加入一个MQ(Message Queue,消息队列)即可,这时虽然上游和MQ之间、下游和MQ...
    文章 2020-05-06 1185浏览量
  • C#分布式消息队列 EQueue 2.0 发布啦

    也就是说,我们无须显式的把消息队列中的位置信息也写入到文件,而是通过这样的固定算法,就能精确的算出Queue中某个消息的MessagePosition是写入在文件的哪个位置。然后拿到了MessagePosition之后,就能从Message...
    文章 2016-05-27 2082浏览量
  • 基于DAG的分布式任务调度平台-Maat

    核心模块的每个节点都独立运行在机器上,启动上互相不依赖,所有消息通信通过DB(数据库)和MQ(消息队列)完成。Web Api Service Web Api Service提供了丰富的与外部交互的Api,包括任务增删改、历史任务状态、任务...
    文章 2018-07-10 13679浏览量
  • 深度解析|基于DAG的分布式任务调度平台:Maat

    但由于Maat基于二层调度Drogo部署,任何部署节点都要求无状态的,而消息队列MQ因为保存消息状态显然不满足这个要求,所以我们选择使用搜索生态的FaaS框架作为Celery+RabbitMQ的替代方案。FaaS FaaS:FaaS(Function ...
    文章 2018-08-16 9322浏览量
  • 面试还搞不懂redis,快看看这40道面试题(含答案和...

    O1)(2)支持丰富数据类型,支持 string,list,set,Zset,hash 等(3)支持事务,操作都是原子性,所谓的原子性就是对数据的更改要么全部执行,要么全部不执行(4)丰富的特性:可用于缓存,消息,按 key 设置过期...
    文章 2019-11-25 4560浏览量
  • Redis常见知识点汇总 也许你能用到

    此外单个value的最大限制是1GB,不像 memcached只能保存1MB的数据,因此Redis可以用来实现很多有用的功能,比方说他的List来做FIFO双向链表,实现一个轻量级的高性 能消息队列服务,他的Set可以做高性能的tag...
    文章 2019-11-20 1519浏览量
  • 【需求设计】从一个小需求感受Redis的独特魅力

    对于这个需求设计到哪种程度取决于你的用户量和并发量,如果是像双十一那样,肯定是要用消息队列的,那一般小的例如,用户量1千万,日活10万,请求最集中的也就是中午9-12点,下午13-17点吧,差不多8个小时,平均...
    文章 2020-05-06 430浏览量
  • Redis常见知识点汇总 也许你能用到

    此外单个value的最大限制是1GB,不像 memcached只能保存1MB的数据,因此Redis可以用来实现很多有用的功能,比方说他的List来做FIFO双向链表,实现一个轻量级的高性 能消息队列服务,他的Set可以做高性能的tag...
    文章 2020-02-23 1122浏览量
  • 转载:erlang程序优化点的总结

    若进程在处理消息时是通过消息匹配方式取得消息,同时又允许其它进程无限制投递消息到本进程,此时会引发灾难,匹配方式取得消息会引发遍历进程消息队列,如果此时仍然有其它进程投递消息,会导致进程消息队列暴涨,...
    文章 2013-08-15 1047浏览量
  • ENode 2.0-深入分析ENode的内部实现流程和关键地方的...

    Controller发送ICommand到消息队列(EQueue);【从这一步开始处理Command】ENode.EQueue中的CommandConsumer接收到该ICommand,先创建一个ICommandContext实例,然后调用ENode中的ICommandExecutor执行当前ICommand...
    文章 2016-05-27 1800浏览量
  • 高并发简单解决方案————redis队列缓存+mysql 批量...

    问题二:批量入库就需要有高并发的消息队列,决定采用redis list 仿真实现,而且方便回滚。问题三:日志量毕竟大,保存最近30条足矣,决定php写个离线统计和清理脚本。一、设计数据库表和存储 考虑到log系统对数据...
    文章 2016-10-29 2718浏览量
  • Flask 教程 第二十二章:后台作业

    另一个流行的Python任务队列是Redis Queue(RQ),它牺牲了一些灵活性,比如只支持Redis消息队列,但作为交换,它的建立要比Celery简单得多。Celery和RQ都非常适合在Flask应用程序中支持后台任务,所以我倾向于选择更...
    文章 2019-02-23 1823浏览量
  • 分布式计算框架Gearman原理详解

    采用memcached做后台工作任务的准持久化队列最好memcached和job server在内网的不同机器。两个机器的两个服务同时挂掉的可能性比较小,同时也保证了高性能。而且memcached应该为两个相互独立实例,防止其上述的...
    文章 2018-01-18 1193浏览量
  • 谈谈网站性能技术

    d)很多异步系统都用消息机制,消息的丢失和乱序也会是比较复杂的问题。throttle 技术其实并不提升性能,这个技术主要是防止系统被超过自己不能处理的流量给搞垮了,这其实是个保护机制。使用throttle技术一般来说是...
    文章 2016-05-12 1950浏览量
  • 基于MongoDB的高并发高可政府云平台架构实践

    缓存数据服务器最好用两台。比如支付宝,新浪微博做的比较成功,大量数据放在缓存里。缓存也有读写分离。一些互联网公司的测试数据显示,Redis的并发能达到每秒11w,所以它很适合做数据持久层的这一套缓存机制,无论...
    文章 2017-03-24 8795浏览量
  • JMS 概述

    1)异构系统(应用)中,如果数据的交互无法通过DB共享/调用接口等方式实现时,可以考虑使用JMS作为数据的中转中心,并使用JMS API来交付消息和消费消息.主要作用为"业务解耦"或"系统解耦". 2)数据交互过程,允许异步操作时...
    文章 2017-07-03 1704浏览量
  • 分布式系统 并不是我想象中的那样!

    消息队列用擅长的MSMQ还是RabbitMQ. 怎样有效的和其他部门的同事沟通;什么样的方式去有效调度不同语言开发的系统;测试例对于大系统从零散到完整是多么的重要;系统标准,代码原则对于后期的维护余扩展是多么的...
    文章 2014-07-31 1242浏览量
1 2 3 4 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化