开发者社区 问答 正文

如何多次申请

我的问题是如何使用Scrapy Formrequest来进行顺序表单提交,然后获取数据 现在我用刮刮一个网站,你必须登录才能搜索到想要的结果,然后我想刮刮这些结果。 网站流程如下: 登录页面->搜索引擎页面->结果页面 下面是一些示例代码 我目前能通过登录页面的内部搜索引擎页面但我难以创造下一个请求表单,我需要提交我想搜索和获取价值的结果页面数据我想刮。 这是我的蜘蛛:

import scrapy
from ..items import QuotetutorialItem
from scrapy import FormRequest

class QuoteSpider(scrapy.Spider):
    # name of our Spider
    name = 'home'

    start_urls = ['https://example.com/Login']
    def parse(self, response):

        return FormRequest.from_response(response, formdata={
            'username': 'user id',
            'password': 'foo_bar'
        }, callback=self.start_search)

    def start_search(self, response):
        search = 'value'

        return FormRequest.from_response(response, formdata={
            'searchInput': search
        }, callback=self.start_scrapping)

    def start_scrapping(self, response):
        title = response.css('title::text').extract()

        yield {'name of title: ', title}

问题来源StackOverflow 地址:/questions/59382906/scrapy-how-to-formrequest-multiple-times

展开
收起
kun坤 2019-12-27 16:57:52 489 分享 版权
1 条回答
写回答
取消 提交回答
问答分类:
问答地址: