我的问题是如何使用Scrapy Formrequest来进行顺序表单提交,然后获取数据 现在我用刮刮一个网站,你必须登录才能搜索到想要的结果,然后我想刮刮这些结果。 网站流程如下: 登录页面->搜索引擎页面->结果页面 下面是一些示例代码 我目前能通过登录页面的内部搜索引擎页面但我难以创造下一个请求表单,我需要提交我想搜索和获取价值的结果页面数据我想刮。 这是我的蜘蛛:
import scrapy
from ..items import QuotetutorialItem
from scrapy import FormRequest
class QuoteSpider(scrapy.Spider):
# name of our Spider
name = 'home'
start_urls = ['https://example.com/Login']
def parse(self, response):
return FormRequest.from_response(response, formdata={
'username': 'user id',
'password': 'foo_bar'
}, callback=self.start_search)
def start_search(self, response):
search = 'value'
return FormRequest.from_response(response, formdata={
'searchInput': search
}, callback=self.start_scrapping)
def start_scrapping(self, response):
title = response.css('title::text').extract()
yield {'name of title: ', title}
问题来源StackOverflow 地址:/questions/59382906/scrapy-how-to-formrequest-multiple-times
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。