如何停止webmagic的链接管理的去重? 400 报错
如何停止webmagic的链接管理的去重? 400 报错
我在抓取的软件是这样的，url只有一个，但是每次通过post请求设置不同的参数值来获取不同的内容，但是因为Scheduler的去重使得post请求只进行了一次，那么请问我如何关闭Scheduler的去重功能呢？
展开
收起
1
条回答
写回答
写回答
-
https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIBWebMagic通过DuplicateRemover来去重，你可以重写一个什么都不做的DuplicateRemover来不去重。
spider.setScheduler(new QueueScheduler().setDuplicateRemover(new DonothingDuplicateRemover())
)
######谢谢您的回答！######引用来自“黄亿华”的评论
WebMagic通过DuplicateRemover来去重，你可以重写一个什么都不做的DuplicateRemover来不去重。
spider.setScheduler(new QueueScheduler().setDuplicateRemover(new DonothingDuplicateRemover())
)
请问DonothingDuplicateRemover在哪个包下面，我这怎么没有呢
######知道了，就是实现DuplicateRemover接口，然后啥都不干，哈哈2020-06-04 17:54:30赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
相关课程
更多
推荐问答
