开发者社区> 问答> 正文

请教一个爬小说并写入文件的问题

假如我要按照章节爬取一本小说并且写入文件,我用了Pool的多线程 怎么才能保证写入文件的顺序是按照爬取的顺序来的呢 ?

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。

展开
收起
新闻小助手 2019-08-19 10:35:42 1777 0
1 条回答
写回答
取消 提交回答
  • 从结果一致上看,可以每一章写入一个对应的文件,最后按照id合并 也可以设置一个信号量,强制让线程进行同步,每个线程拿到对应的数据,排队等待写入,这样会失去多线程的意义,但是实际上也会快一些,因为在爬取数据的时候做到了多线程

    2019-09-08 00:27:53
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载