开发者社区> 程序猿v> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Python爬虫:Scrapy链接解析器LinkExtractor返回Link对象

简介: Python爬虫:Scrapy链接解析器LinkExtractor返回Link对象
+关注继续查看

LinkExtractor

from scrapy.linkextractors import LinkExtractor

Link

from scrapy.link import Link

Link四个属性

url text fragment nofollow


如果需要解析出文本,需要在 LinkExtractor 的参数中添加参数:attrs


link_extractor = LinkExtractor(attrs=('href','text'))

links = link_extractor.extract_links(response)

使用示例

LinkExtractor
from scrapy.linkextractors import LinkExtractor

1
2
Link
from scrapy.link import Link
1
Link四个属性

url text fragment nofollow

1
2
如果需要解析出文本,需要在 LinkExtractor 的参数中添加参数:attrs

link_extractor = LinkExtractor(attrs=('href','text'))

links = link_extractor.extract_links(response)
1
2
3
使用示例

import scrapy

from scrapy.linkextractors import LinkExtractor


class DemoSpider(scrapy.Spider):
    name = 'spider'

    
    start_urls = [
        "https://book.douban.com/"
    ]

    def parse(self, response):
        # 参数是正则表达式
        link_extractor = LinkExtractor(allow="https://www.tianyancha.com/brand/b.*")

        links = link_extractor.extract_links(response)

        for link in links:
            print(link.text, link.url)


if __name__ == '__main__':
    cmdline.execute("scrapy crawl spider".split())


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Python爬虫:Scrapy链接解析器LinkExtractor返回Link对象
Python爬虫:Scrapy链接解析器LinkExtractor返回Link对象
92 0
Python编程:WSGI服务器的参考实现wsgiref模块
Python编程:WSGI服务器的参考实现wsgiref模块
66 0
Python编程:排序算法之快速排序
Python编程:排序算法之快速排序
82 0
Python编程:排序算法之冒泡排序
Python编程:排序算法之冒泡排序
101 0
Python编程:json序列化python对象
Python编程:json序列化python对象
75 0
Python编程:metaclass元类实现简单的ORM
Python编程:metaclass元类实现简单的ORM
93 0
Python编程:calendar日历模块入门
Python编程:calendar日历模块入门
58 0
Python编程:Django之安全验证
涉及内容 装饰器 cookie session form验证 缓存 中间件 信号 csrf 分页
130 0
Python编程:socket实现简单的网站服务器
Python编程:socket实现简单的网站服务器
86 0
Python编程:threading多线程
Python编程:threading多线程
86 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Python第五讲——关于爬虫如何做js逆向的思路
立即下载
Python系列直播第一讲——Python中的一切皆对象
立即下载
Python 脚本速查手册
立即下载