开发者社区> 问答> 正文

爬虫中多进程爬虫的流程是什么?

爬虫中多进程爬虫的流程是什么?

展开
收起
游客5n3d3br4o5qn4 2021-11-18 23:10:14 495 0
1 条回答
写回答
取消 提交回答
  • multiprocessing p = multiprocessing.Process(trage=func,args=(,)) p.daemon = True #设置为守护进程,主线程结束,子进程结束 p.start() from multiprocessing import JoinableQueue q = JoinableQueue() q.join() # 让主进程阻塞,等待队列任务计数,计数为0队列任务结束, q.put() # 计数+1 q.get() # 计数不会-1 q.task_done() # get和task_done一起使用才会减一

    2021-11-18 23:10:39
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
服务上云加速大家居产业C2M进程 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
艺龙Web服务性能优化分享 立即下载

相关实验场景

更多