开发者社区> 问答> 正文

scrapy怎么多次向一个url请求信息,然后获取返回数据? 400 报错

scrapy怎么多次向一个url请求信息,然后获取返回数据? 400 报错 大家好,我刚开始学习使用scrapy,希望能请教一个问题。

这是我的spiders文件夹中爬虫文件的代码

class PabhSpider(CrawlSpider): name = 'pabh' allowed_domains = ['xxx']

def start_requests(self):
    url = 'http://xxx'
    num1 = '01'
    formdata = {
        "depart":num,
        "years":'2014'
    }
    return [FormRequest(url=url,formdata=formdata,method='get',callback=self.parse)]


def parse(self, response):
    item = XXXItem()
    hxs = Selector(response)
    item['bh'] = hxs.xpath('/html/body/form/p/font/select[3]/option/@value').extract()
    yield item

    num = ['02','03','04','05','06','07','08','09','10','11','12','13','14','21','31','40','51','61']

    for x in  num:
        url = 'http://xxx'
        formdata={
            "depart":x,
            "years":'2014'
        }
        yield FormRequest(url=url,formdata=formdata,method='get',callback=self.parse)</pre> 




我现在是这样写的。

我想不停的向一个url发送不同的get请求,然后获得返回的数据,现在这样写,返回的很多数据都是重复的, 而且不一定每次都能请求成功返回,有时候会发送同一个get参数两次。

展开
收起
爱吃鱼的程序员 2020-06-03 15:10:25 565 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    remak

    f

    ######

    搞定了吗

     

    2020-06-03 17:20:10
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载