for循环,大概需要遍历100万的数据,对于每一条数据,需要更新5张表,调用两次API接口,但是在执行过程中,因为数据量太大,所以执行的中间,由于耗时严重,经常会出现链接中断等问题,如果把这种遍历100万数据的逻辑,搞成多线程,应该怎么搞啊?
如果只是为了单次处理下这100万的数据,而不是长期使用这个程序,更应该简单粗暴多开几个进程,然后往通过命令行往进程里传递几个参数过去,假设开10个进程 那每个进程负责10万数据按特定规则区分每个进程负责的数据即可。比如ID区间。如果是定时任务处理建议进队列,比如gearman,特别适合处理这种问题
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。