解锁新姿势 | 如何用配置中心实现全局动态流控?

简介: 当资源成为瓶颈时,服务框架需要对消费者做限流,启动流控保护机制。流量控制有多种策略,比较常用的有:针对访问速率的静态流控、针对资源占用的动态流控、针对消费者并发连接数的连接控制和针对并行访问数的并发控制。在分布式架构中,应用和应用之间的调用类型分为以下两种,流控方式也略有不同。

当资源成为瓶颈时,服务框架需要对消费者做限流,启动流控保护机制。流量控制有多种策略,比较常用的有:针对访问速率的静态流控、针对资源占用的动态流控、针对消费者并发连接数的连接控制和针对并行访问数的并发控制。在实践中,各种流量控制策略需要综合使用才能起到较好的效果。

在分布式架构中,应用和应用之间的调用类型分为以下两种,流控方式也略有不同。

同步RPC类调用,比如RESTful,Dubbo,HSF等都属于该类。对于该类同步调用,通常限流方式为两种:针对服务提供者的并发全局流控,或针对服务消费者的并发局部流控。两种的控制手段类似,都是通过限制服务端或客服端并发调用数来进行限制。

异步MQ类调用,典型如RocketMQ, Kafka,等。对于该类异步调用,通常限流方式是在订阅端限流。限流方式为两种:针对消息订阅者的并发流控,或针对消息订阅者的消费延时流控。

针对消息订阅者的消费延时流控基本原理是,在每次客户端消费时,可以增加一个延时来控制消费速度,这样理论消费并发最快速度为:

MaxRate = 1 / ConsumInterval * ConcurrentThreadNumber

比如如果消息并发消费线程为20,延时为100ms,则理论上可以将并发消费控制在200以下。具体公式如下:

200 = 1 / 0.1 * 20

相比并发线程数流控,消费延时流控优点在于实现相对简单,对MQ类客户端包依赖较少,不需要客户端提供控制并发线程数的动态调整接口。

以上各种流量控制方法,在分布式架构下,如果要做到全局动态控制,一个简单的技术方法是依赖配置中心,即通过配置中心来进行流控参数的下发。

下面章节详细介绍如何基于配置中心来实现异步消息消费的全局动态流控。使用的例子为阿里云上的 MQ (消息队列)和 ACM (应用配置管理)两款产品。

注:之所以用MQ为示例是因为在本文撰写之时,正好MQ Consumer Client SDK并不支持动态调整现成并发数,因此通过基于ACM来动态调整消费延迟的方法正好可以解决MQ消费流控动态的问题。

基于消费延时流控的基本原理

基本原理如下。其中,管理员或应用程序通过ACM控制台发布消费延时配置(RCV_INTERVAL_TIME),所有MQ消费程序订阅该配置。理论上,该配置从发布到下发所有客户端,可以在1秒内完成(取决于网络延时)。

代码示例

该章节基于配置中心来实现异步消息消费的全局动态流控的代码示例。使用的例子为阿里云上的MQ(消息队列)和ACM(应用配置管理)两款产品,基于Java语言。关于SDK的详细介绍,可参见两款产品的官方文档。

在ACM上创建消费延时的参数,截屏如下。

设置全局消费延时变量

首先,设置消费接收延时的全局变量, 如下。

     // 初始化消息接收延时参数,单位为millisecond

        static int RCV_INTERVAL_TIME = 10000;

        // 初始化配置服务,控制台通过示例代码自动获取下面参数

        ConfigService.init("acm.aliyun.com", /*租户ID*/"xxx", /*AK*/"xxx", /*SK*/"yyy");    

        // 主动获取配置

        String content = ConfigService.getConfig("app.mq.qos", "DEFAULT_GROUP", 6000);

        Properties p = new Properties();

        try {

            p.load(new StringReader(content));

            RCV_INTERVAL_TIME = Integer.valueOf(p.getProperty("RCV_INTERVAL_TIME"));

        } catch (IOException e) {

            e.printStackTrace();

        }

其次,设置ACM listener,确保当配置被修改时,即使更新 RCV_INTERVAL_TIME 参数, 如下。

     // 初始化的时候,给配置添加监听,配置变更会回调通知

        ConfigService.addListener("app.mq.qos", "DEFAULT_GROUP", new ConfigChangeListener() {

            public void receiveConfigInfo(String configInfo) {

                Properties p = new Properties();

                try {

                    p.load(new StringReader(configInfo));

                    RCV_INTERVAL_TIME = Integer.valueOf(p.getProperty("RCV_INTERVAL_TIME"));

                } catch (IOException e) {

                    e.printStackTrace();

                }

            }

        });

设置 MQ 消费延时逻辑

完整实例如下。

注:这里 RCV_INTERVAL_TIME 参数的访问是故意没有加锁的,读者可以自行思考原因。Aliyun ONS Client不提供动态线程并发数,默认并发为20。因此这里正好使用消费延时参数来动态调节QoS。

     //以下代码可直接贴在Main()函数里

    Properties properties = new Properties();

    properties.put(PropertyKeyConst.ConsumerId, "CID_consumer_group");

    properties.put(PropertyKeyConst.AccessKey,"xxx");

    properties.put(PropertyKeyConst.SecretKey, "yyy");

    properties.setProperty(PropertyKeyConst.SendMsgTimeoutMillis, "3000");

    // 设置 TCP 接入域名(此处以公共云生产环境为例)

    properties.put(PropertyKeyConst.ONSAddr,

      "http://onsaddr-internet.aliyun.com/rocketmq/nsaddr4client-internet");

    Consumer consumer = ONSFactory.createConsumer(properties);

    consumer.subscribe(/*Topic*/"topic-name", /*Tag*/null, new MessageListener() 

    {

        public Action consume(Message message, ConsumeContext context) {

            // MQ Subscribe QoS logical start, 

            // Each consuming process will sleep for RCV_INTERVAL_TIME seconds with 100 ms sleeping cycle.

            // Within each cycle, the thread will check RCV_INTERVAL_TIME in case it's set to a smaller value. 

            // RCV_INTERVAL_TIME <= 0 means no sleeping.

            int rcvIntervalTimeLeft = RCV_INTERVAL_TIME;

            while (rcvIntervalTimeLeft > 0) {

                if (rcvIntervalTimeLeft > RCV_INTERVAL_TIME) {

                    rcvIntervalTimeLeft = RCV_INTERVAL_TIME;

                }

                try {

                    if (rcvIntervalTimeLeft >= 100) {

                        rcvIntervalTimeLeft -= 100;

                        Thread.sleep(100);

                    } else {

                        Thread.sleep(rcvIntervalTimeLeft);

                        rcvIntervalTimeLeft = 0;

                    }

                } catch (InterruptedException e) {

                    e.printStackTrace();

                }

            }

            // MQ Subscribe interval logical ends

            System.out.println("Receive: " + message);

            /*

             * Put your business logic here.

             */

            doSomething();

            return Action.CommitMessage;

        }

    });

    consumer.start();

运行结果

单机运行consumer进行消费,假设queue内的消息无限多,不存在消费万的情况,分三段测试,分别运行约5分钟,通过ACM配置推送来达到以下效果。

RCV_INTERVAL_TIME = 100 ms

RCV_INTERVAL_TIME = 5000 ms

RCV_INTERVAL_TIME = 1000 ms

结果如下,在单MQ消费业务处理耗时约100ms情况下的,单机并发20线程的测试结果。

RCV_INTERVAL_TIME = 100 ms:平均消费性能约为 9000 tpm 左右

RCV_INTERVAL_TIME = 5000 ms:平均消费性能被限制到了 200 tpm 左右

RCV_INTERVAL_TIME = 1000 ms:平均消费性能回升到到了 1100 tpm 左右

以上结果基本达到消费和 tpm 成反比的预期,最关键的是整个过程中,应用不中断,流控推送结果秒级生效到分布式集群。单机性能结果如下所示。

相关产品详情请参见:

相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
NoSQL 网络协议 数据库
为什么 Lettuce 会带来更长的故障时间
本文详述了阿里云数据库 Tair/Redis 将使用长连接客户端在非预期故障宕机切换场景下的恢复时间从最初的 900s 降到 120s 再到 30s的优化过程,涉及产品优化,开源产品问题修复等诸多方面。
72269 11
为什么 Lettuce 会带来更长的故障时间
|
监控 Java API
图解 Apache SkyWalking UI 的使用
Apache SkyWalking的UI界面主要分为以下几个区域: 功能选择区:这里列出了主要的UI功能,包括仪表盘、拓扑图、追踪、性能刨析、告警等功能 重新加载区:控制重新加载机制,包括定期重新加载或手动重新加载。 时间选择器:控制时区和时间范围。这里有一个中文/英文切换按钮,默认,UI使用浏览器语言设置。 下面逐一介绍功能选择区的各个功能:
2930 0
图解 Apache SkyWalking UI 的使用
|
JSON Java Nacos
SpringCloud 应用 Nacos 配置中心注解
在 Spring Cloud 应用中可以非常低成本地集成 Nacos 实现配置动态刷新,在应用程序代码中通过 Spring 官方的注解 @Value 和 @ConfigurationProperties,引用 Spring enviroment 上下文中的属性值,这种用法的最大优点是无代码层面侵入性,但也存在诸多限制,为了解决问题,提升应用接入 Nacos 配置中心的易用性,Spring Cloud Alibaba 发布一套全新的 Nacos 配置中心的注解。
2205 165
|
人工智能 自然语言处理 JavaScript
体验 通义灵码 2.5 版
通义灵码是阿里云推出的智能编码辅助工具,支持代码生成、智能问答、多文件修改等功能。2.5版本新增智能体模式,具备自主决策与工程记忆能力,集成MCP广场,支持3000+工具扩展。同时升级Qwen3模型,参数量更少但性能更强,支持复杂问题深度思考。企业版提供多模型配置与私域知识增强功能,优化开发者体验。尽管插件安装需依赖本地环境(如node.js),但整体提升了开发效率与灵活性,推动AI原生研发新范式。
3188 5
|
运维 Cloud Native 测试技术
极氪汽车 APP 系统云原生架构转型实践
极氪汽车 APP 系统云原生架构转型实践
3209 128
极氪汽车 APP 系统云原生架构转型实践
|
监控 小程序 前端开发
基于微信小程序充电桩预约管理系统的设计与实现(论文+源码)_kaic
基于微信小程序充电桩预约管理系统的设计与实现(论文+源码)_kaic
|
人工智能 自然语言处理 Java
Spring AI,Spring团队开发的新组件,Java工程师快来一起体验吧
文章介绍了Spring AI,这是Spring团队开发的新组件,旨在为Java开发者提供易于集成的人工智能API,包括机器学习、自然语言处理和图像识别等功能,并通过实际代码示例展示了如何快速集成和使用这些AI技术。
14278 4
Spring AI,Spring团队开发的新组件,Java工程师快来一起体验吧
|
SQL 算法 Java
(二十六)MySQL分库篇:Sharding-Sphere分库分表框架的保姆级教学!
前面《MySQL主从原理篇》、《MySQL主从实践篇》两章中聊明白了MySQL主备读写分离、多主多写热备等方案,但如果这些高可用架构依旧无法满足业务规模,或业务增长的需要,此时就需要考虑选用分库分表架构。
8319 4
|
druid Java 关系型数据库
在Spring Boot中集成Druid实现多数据源有两种常用的方式:使用Spring Boot的自动配置和手动配置。
在Spring Boot中集成Druid实现多数据源有两种常用的方式:使用Spring Boot的自动配置和手动配置。
4149 5
|
消息中间件 中间件 程序员
分布式事务大揭秘:使用MQ实现最终一致性
本文由小米分享,介绍分布式事务中的MQ最终一致性实现,以RocketMQ为例。RocketMQ的事务消息机制包括准备消息、本地事务执行、确认/回滚消息及事务状态检查四个步骤。这种机制通过消息队列协调多系统操作,确保数据最终一致。MQ最终一致性具有系统解耦、提高可用性和灵活事务管理等优点,广泛应用于分布式系统中。文章还讨论了RocketMQ的事务消息处理流程和失败情况下的处理策略,帮助读者理解如何在实际应用中解决分布式事务问题。
2188 6