并发串行调用接口

简介: 这里思考比较少,不过因为事情本身比较简单,就简单处理了。毕竟我这种菜鸟,高大上的东西是从未停止过仰望的。备注下是因为如果有机会再用到类似的逻辑,可以拿来重新思考一下,另外,我还觉得有点儿TCP里”滑动窗口“的感觉喔,哈哈哈,毕竟场景类似,控制流量嘛/** * 代码块说明: 小并发串行调用接口处理大批量数据 * 依赖变量: data (原始数据) */va

这里思考比较少,不过因为事情本身比较简单,就简单处理了。毕竟我这种菜鸟,高大上的东西是从未停止过仰望的。备注下是因为如果有机会再用到类似的逻辑,可以拿来重新思考一下,另外,我还觉得有点儿TCP里”滑动窗口“的感觉喔,哈哈哈,毕竟场景类似,控制流量嘛

/** 
 * 代码块说明: 小并发串行调用接口处理大批量数据
 * 依赖变量: data (原始数据)
 */
var chunks = [],       // 数据切割存储
    size = 50,         // 数据分片大小
    concurrence = 4;   // 并发量

    /* 按数据分片大小切割原始数据 */
    while (data.length > 0){
        chunks.push(data.splice(0, size));
    }

    var batchLength = chunks.length; // 切割后数据块数量
    var steps = 0; // 游标,用于滑动读取切割后的数据块
    /**
     * 核心函数
     * 变量说明: _i (游标, 用于定位分片数据)
     *         cData (切割后的数据块数组) 
     *         len (切割后数据块数量)
     *         c (发送请求的并发量)
     */
    var batchPush = function(_i, cData, len, c){
        if (_i < len) {
            var _pulling = true; // 标识位
            var _j = 0; // 临时变量,定位并发数据块位置

            //分批请求
            while (_pulling){
                if (cData[_j + _i]){
                    $.ajax({
                        method: 'POST',
                        url: 'xxx',
                        data: JSON.stringify(cData[_j + _i]),
                        dataType: 'json',
                        success: function(rData){
                            // 接口返回码校验(此略)
                            ++steps;
                            // 并发都处理完后, 触发下一次并发(串行)
                            if (steps % c === 0) {
                                // 缓冲一秒
                                setTimeout(function(){
                                    batchPush(steps, cData, len, c);
                                }, 1000);
                            }
                            // 数据处理(此略)
                        },
                        error: function(){
                            // 异常处理(此略)
                        }
                    });
                }
                _j++;
                if (_j >= c){
                    _pulling = false;
                }
            }
        } else {
            // 全部发送完毕
            steps = 0;
        }
    };
    // 触发调用
    batchPush(steps, chunks, batchLength, concurrence);

Anyway, it works. 有机会读一读”滑动窗口”的处理逻辑, 哈哈.

目录
相关文章
|
4天前
|
搜索推荐 编译器 Linux
一个可用于企业开发及通用跨平台的Makefile文件
一款适用于企业级开发的通用跨平台Makefile,支持C/C++混合编译、多目标输出(可执行文件、静态/动态库)、Release/Debug版本管理。配置简洁,仅需修改带`MF_CONFIGURE_`前缀的变量,支持脚本化配置与子Makefile管理,具备完善日志、错误提示和跨平台兼容性,附详细文档与示例,便于学习与集成。
300 116
|
19天前
|
域名解析 人工智能
【实操攻略】手把手教学,免费领取.CN域名
即日起至2025年12月31日,购买万小智AI建站或云·企业官网,每单可免费领1个.CN域名首年!跟我了解领取攻略吧~
|
7天前
|
数据采集 人工智能 自然语言处理
Meta SAM3开源:让图像分割,听懂你的话
Meta发布并开源SAM 3,首个支持文本或视觉提示的统一图像视频分割模型,可精准分割“红色条纹伞”等开放词汇概念,覆盖400万独特概念,性能达人类水平75%–80%,推动视觉分割新突破。
480 44
Meta SAM3开源:让图像分割,听懂你的话
|
14天前
|
安全 Java Android开发
深度解析 Android 崩溃捕获原理及从崩溃到归因的闭环实践
崩溃堆栈全是 a.b.c?Native 错误查不到行号?本文详解 Android 崩溃采集全链路原理,教你如何把“天书”变“说明书”。RUM SDK 已支持一键接入。
692 222
|
2天前
|
Windows
dll错误修复 ,可指定下载dll,regsvr32等
dll错误修复 ,可指定下载dll,regsvr32等
135 95
|
12天前
|
人工智能 移动开发 自然语言处理
2025最新HTML静态网页制作工具推荐:10款免费在线生成器小白也能5分钟上手
晓猛团队精选2025年10款真正免费、无需编程的在线HTML建站工具,涵盖AI生成、拖拽编辑、设计稿转代码等多种类型,均支持浏览器直接使用、快速出图与文件导出,特别适合零基础用户快速搭建个人网站、落地页或企业官网。
1697 158
|
存储 人工智能 监控
从代码生成到自主决策:打造一个Coding驱动的“自我编程”Agent
本文介绍了一种基于LLM的“自我编程”Agent系统,通过代码驱动实现复杂逻辑。该Agent以Python为执行引擎,结合Py4j实现Java与Python交互,支持多工具调用、记忆分层与上下文工程,具备感知、认知、表达、自我评估等能力模块,目标是打造可进化的“1.5线”智能助手。
945 62