开发者社区 问答 正文

RedisScheduler中层级关系setPriority无效?-服务报错

"

<a href=""http://my.oschina.net/flashsword"" class=""referer"" target=""_blank"">@黄亿华 你好,想跟你请教个问题:

你好黄哥,在你的爬虫中PriorityScheduler可以处理层级关系,但是如果使用了RedisScheduler,是不能处理层级关系的,并且一个Spider中只能有一个Scheduler,那么在RedisScheduler中有什么号的办法来处理层级关系呢?目前发现设置Request(url).setPriority(1)在RedisScheduler中无效?

"

展开
收起
montos 2020-05-31 11:45:48 514 分享 版权
1 条回答
写回答
取消 提交回答
  • "是的, <span style=""font-family:Verdana, sans-serif, 宋体;font-size:13.63636302948px;line-height:22px;background-color:#FFFFFF;"">RedisScheduler目前不支持优先级。不过应该是可以通过SortedSet来解决,考虑到一般场景不会用到,反而会有额外的开销,所以就没有增加。"

    2020-05-31 11:45:58
    赞同 展开评论