并发请求数据以及控制数量

简介: 在开发中遇到请求量很大的需求,可以使用并发和控制数量来实现

使用javascript中的axios来实现并发

const request=()=>{
  //请求的地址
  const httpUrl=['http://xxxx1','http://xxxx1'...];
  //控制并发数量在10条
  const COUNT=10;
  const next=()=>{
    const while(Math.min(httpUrl.length,COUNT)){
      const taskHttp=httpUrl.shift();
      axios(taskHttp).then(res=>{
      }).fanlly(()=>{
        if(Math.min(httpUrl.length,COUNT)>0){
          next();
        }
      })
    }
  }
}


相关文章
|
2月前
|
数据采集 Java Python
优化数据的抓取规则:减少无效请求
本文详细介绍了一种高效抓取贝壳等二手房平台房价信息的方法,重点在于过滤无效链接和减少冗余请求。文章首先分析了目标数据和平台特点,然后提出了URL过滤、分页控制、动态设置User-Agent和Cookies、代理IP轮换及多线程优化等策略。最后,提供了一个结合代理IP技术的Python爬虫代码示例,展示了如何具体实现上述优化措施,从而显著提升数据抓取的稳定性和效率。
76 26
优化数据的抓取规则:减少无效请求
|
4月前
|
域名解析 运维 Serverless
函数计算产品使用问题之设置最大实例数为1和最大并发数为20,当请求数量超过20时,系统会如何处理
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
缓存 Go
控制goroutine 的并发执行数量
控制goroutine 的并发执行数量
140 0
|
6月前
|
数据挖掘 网络安全
如何设置代理IP的并发数?
如何设置代理IP的并发数?
|
6月前
|
存储 前端开发 JavaScript
前端面试:如何实现并发请求数量控制?
前端面试:如何实现并发请求数量控制?
249 0
|
6月前
|
JSON 前端开发 JavaScript
关于我认识的请求方式
关于我认识的请求方式有三个
66 0
|
6月前
|
存储 前端开发
【源码共读】大并发量如何控制并发数
【源码共读】大并发量如何控制并发数
107 0
|
JSON NoSQL 安全
后端如何优雅地处理重复请求/并发请求?
后端如何优雅地处理重复请求/并发请求?
320 0
|
SQL Java 数据库
客户端线程占用过多引起等待,从而出现请求缓慢的情况
客户端线程占用过多引起等待,从而出现请求缓慢的情况
217 0
客户端线程占用过多引起等待,从而出现请求缓慢的情况
指定模式可以出现的次数
指定模式可以出现的次数
74 0