我有一个问题!我们有两个队列AB,A是一个没有限制的队列,B是有限制队列,现在不停的往A中放对象,然后采用while循环方式,将A中的对象放入B中,采用20个线程不停的读取B中对象进行处理,目前就是20个线程仍然不能处理过来!如果在增加线程cpu就受不了了,请问有什么好的策略吗?求大神们指导!
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
while没有问题吧,只是在b队列满的时候,能否挂起??
这个是典型的生产者消费者问题吧。。
######回复 @ItBoyWEI : 那你这样迟早会溢出的。。 要不就增加A的能力,比如增加一个处理A的进程或者实例。######是典型的生产者消费者问题,但是生产者过剩,消费者太慢!程序还不能挂起!######可以反过来做吧,不要A主动去放入b。由b去取######不要while循环 那样即使单线程 cpu也挂###### @ItBoyWEI 难道不用线程池?######回复 @iehyou : 就是是B队列到A队列中去取,也需要while循环实现呀!不然我们怎么源源不断从A中取数据呢!每次向服务器发送请求都会往A中添加数据!######回复 @iehyou : 这样呀!好我们测试下!看看内存能否下来!######回复 @ItBoyWEI : 。。 b到A取 ,根本不需要死循环######我们会让线程执行sleep方法######A放慢一点 B读快一点 不就ok了现在不停的往A中放对象
-- 谁不停放进去?
目前就是20个线程仍然不能处理过来
-- 你怎么知道处理不过来? cpu消耗在哪?队列有多长?20个线程平均每s能处理多少,减少线程或增加线程吞吐量会有变化么?多少个cpu,多少核,多少内存?
-- 你什么统计数据都没有? 只是简单描述了现象而已,没有任何指导意义,都是白搭。
######回复 @ItBoyWEI : 测试一下吞吐量是多少。如果吞吐量较大,尝试加大阻塞队列长度试试。 你用个无限队列,通常都是塞得比处理的快,内存岂不是越来越多,这不是很合理哦。######回复 @优雅先生 : 基本每次往服务器上发送请求都会进行添加操作!######回复 @ItBoyWEI : 确实。另外不停地往A中放对象,放的频率是多少呢?######因为目前我们做压力测试,就是由于不停的往A队列中添加数据。然后通过while循环再将A队列中的数据放到B队列中,20个线程去处理B队列。由于处理不过来,导致内存偏大。A用的是ConcurrentLinkedQueue,B用的是BlockingQueue,B限制的是50.######不知道是哪种语言,不过如果是golang,原生的channel就可以轻松解决######Java实现的######在多线程的问题处理上,可根据需要挂起程序,当承载量过大的时候也可通过延时处理的方式减缓cpu的压力######应为系统是实时的。所以无法挂起程序######处理对象是计算密集型吗,如果是的话,创建过多的线程并不会带来性能的提示,反而会下降。
b队列应该是一个blockingQueue吧
######是的!######处理不过来是什么意思,处理不过来会造成什么影响?######回复 @ItBoyWEI : 那问题就出在那个无限制的队列,向里面投递过快才会导致内存过大,因为来不及处理。你要控制外部投递。 当然如果是因为你20个线程同时处理导致内存过大,那就要考虑设计问题。(比如不开20个线程就会处理过慢,而开了20个线程则内存占用过大)######导致内存过大!但是这些数据还是必须要处理的!######可否 直接 处理 A 队列 中 的 对象 么? 为什么 要把 对象从 A 队列 移入 B 队列 ?