• 关于

    爬虫使用了redis去重之后如何管理redis里面数据

    的搜索结果

回答

一只爬虫如果每天勤劳工作,一年以后,已经爬取了上亿的数据,此时redis也同步存放了上亿的url,内存说不定去到了10G以上,请问各位大神,一般使用了redis去重机制之后,是不是数据就一直存放在redis里面?...
李博 bluemind 2019-12-01 19:37:18 411 浏览量 回答数 1

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化