scrapy怎么多次向一个url请求信息,然后获取返回数据? 400 报错 大家好,我刚开始学习使用scrapy,希望能请教一个问题。
这是我的spiders文件夹中爬虫文件的代码
class PabhSpider(CrawlSpider): name = 'pabh' allowed_domains = ['xxx']
def start_requests(self):
url = 'http://xxx'
num1 = '01'
formdata = {
"depart":num,
"years":'2014'
}
return [FormRequest(url=url,formdata=formdata,method='get',callback=self.parse)]
def parse(self, response):
item = XXXItem()
hxs = Selector(response)
item['bh'] = hxs.xpath('/html/body/form/p/font/select[3]/option/@value').extract()
yield item
num = ['02','03','04','05','06','07','08','09','10','11','12','13','14','21','31','40','51','61']
for x in num:
url = 'http://xxx'
formdata={
"depart":x,
"years":'2014'
}
yield FormRequest(url=url,formdata=formdata,method='get',callback=self.parse)</pre>
remak
f
######搞定了吗
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。