# -*-coding:utf-8-*- html = """ <html> <head> <base href='http://example.com/' /> <title>Example website</title> </head> <body> <div id='images'> <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a> <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a> <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a> <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a> <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a> </div> </body> </html> """ from scrapy.selector import Selector sel = Selector(text=html) print("================title===============") title_by_xpath = sel.xpath("//title//text()").extract_first() print(title_by_xpath) title_by_css = sel.css("title::text").extract_first() print(title_by_css) print("================href===============") hrefs = sel.xpath("//a/@href").extract() print(hrefs) hrefs_by_css = sel.css("a::attr(href)").extract() print(hrefs_by_css) print("================img===============") imgs = sel.xpath("//a[contains(@href, 'image')]/@href").extract() print(imgs) imgs_by_css = sel.css("a[href*=image]::attr(href)").extract() print(imgs_by_css) print("================src===============") src = sel.xpath("//a[contains(@href, 'image')]/img/@src").extract() print(src) src_by_css = sel.css("a[href*=image] img::attr(src)").extract() print(src_by_css) print("================ re ===============") text_by_re = sel.css("a[href*=image]::text").re(r"Name:\s*(.*)") print(text_by_re) print("================ xpath ===============") div = sel.xpath("//div") # 相对路径 print(div) a = div.xpath(".//a").extract() # 从当前提取所有元素 print(a) print("================ text ===============") text='<a href="#">Click here to go to the <strong>Next Page</strong></a>' sel1 = Selector(text=text) # a下面的文字 a = sel1.xpath("//a/text()").extract() print(a) # a 下面所有的文字，包括strong a = sel1.xpath("//a//text()").extract() print(a) # 解析出所有文字内容 a = sel1.xpath("string(//a)").extract() print(a) a = sel1.xpath("string(.)").extract() print(a) # 简化写法，推荐 xp = lambda x: sel.xpath(x).extract() all_a = xp("//a/text()") print(all_a)
Python爬虫：xpath常用方法示例
2022-08-31
173
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
Python爬虫：xpath常用方法示例
目录
相关文章
|
3月前
|
数据采集
存储
JSON
Python网络爬虫：Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理，以及存储爬取的数据。通过具体示例，帮助读者掌握Scrapy的核心功能和使用方法，提升数据采集效率。
193
6
6
|
26天前
|
数据挖掘
数据处理
开发者
Python3 自定义排序详解：方法与示例
Python的排序功能强大且灵活，主要通过`sorted()`函数和列表的`sort()`方法实现。两者均支持`key`参数自定义排序规则。本文详细介绍了基础排序、按字符串长度或元组元素排序、降序排序、多条件排序及使用`lambda`表达式和`functools.cmp_to_key`进行复杂排序。通过示例展示了如何对简单数据类型、字典、类对象及复杂数据结构（如列车信息）进行排序。掌握这些技巧可以显著提升数据处理能力，为编程提供更强大的支持。
32
10
10
|
2月前
|
数据可视化
Python
以下是一些常用的图表类型及其Python代码示例，使用Matplotlib和Seaborn库。
通过这些思维导图和分析说明表，您可以更直观地理解和选择适合的数据可视化图表类型，帮助更有效地展示和分析数据。
105
8
8
|
2月前
|
API
Python
|
3月前
|
网络安全
Python
Python网络编程小示例：生成CIDR表示的IP地址范围
本文介绍了如何使用Python生成CIDR表示的IP地址范围，通过解析CIDR字符串，将其转换为二进制形式，应用子网掩码，最终生成该CIDR块内所有可用的IP地址列表。示例代码利用了Python的`ipaddress`模块，展示了从指定CIDR表达式中提取所有IP地址的过程。
91
6
6
|
3月前
|
数据采集
Web App开发
JavaScript
|
3月前
|
数据挖掘
Python
Python示例，展示如何找到最近一次死叉之后尚未形成金叉的位置
金融分析中，“死叉”指短期移动平均线（如MA5）跌破长期移动平均线（如MA10），而“金叉”则相反。本文提供Python代码示例，用于找出最近一次死叉后未形成金叉的位置，涵盖移动平均线计算、交叉点判断及结果输出等步骤，适合金融数据分析。
43
1
1
|
2月前
|
人工智能
数据可视化
数据挖掘
探索Python编程：从基础到高级
在这篇文章中，我们将一起深入探索Python编程的世界。无论你是初学者还是有经验的程序员，都可以从中获得新的知识和技能。我们将从Python的基础语法开始，然后逐步过渡到更复杂的主题，如面向对象编程、异常处理和模块使用。最后，我们将通过一些实际的代码示例，来展示如何应用这些知识解决实际问题。让我们一起开启Python编程的旅程吧！
93
5
5
|
2月前
|
存储
数据采集
人工智能
Python编程入门：从零基础到实战应用
本文是一篇面向初学者的Python编程教程，旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点，然后通过一个简单的例子展示了如何编写Python代码。接下来，文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后，文章通过一个实战项目——制作一个简单的计算器程序，帮助读者巩固所学知识并提高编程技能。
175
2
2
|
2月前
|
Unix
Linux
程序员
[oeasy]python053_学编程为什么从hello_world_开始
视频介绍了“Hello World”程序的由来及其在编程中的重要性。从贝尔实验室诞生的Unix系统和C语言说起，讲述了“Hello World”作为经典示例的起源和流传过程。文章还探讨了C语言对其他编程语言的影响，以及它在系统编程中的地位。最后总结了“Hello World”、print、小括号和双引号等编程概念的来源。
126
80
81
热门文章
最新文章
1
Python 中调用 DeepSeek-R1 API的方法介绍，图文教程
2
金融波动率的多模型建模研究：GARCH族与HAR模型的Python实现与对比分析
3
【新手必看】PyCharm2025 免费下载安装配置教程+Python环境搭建、图文并茂全副武装学起来才嗖嗖的快,绝对最详细!
4
python安装、vscode安装、conda安装：一文搞定Python的开发环境（史上最全）
5
Chainlit：一个开源的异步Python框架，快速构建生产级对话式 AI 应用
6
[oeasy]python062_在python中完成输入和输出_input_print
7
【03】做一个精美的打飞机小游戏，规划游戏项目目录-分门别类所有的资源-库-类-逻辑-打包为可玩的exe-练习python打包为可执行exe-优雅草卓伊凡-持续更新-分享源代码和游戏包供游玩-1.0.2版本
8
如何在Python中高效地读写大型文件？
9
Python GIL（全局解释器锁）机制对多线程性能影响的深度分析
10
用Python和Pygame打造绚丽烟花效果+节日祝福语
1
深入剖析 Python 爬虫：淘宝商品详情数据抓取
26
2
Java爬虫获取微店快递费用item_fee API接口数据实现
34
3
Java爬虫获取微店店铺所有商品API接口设计与实现
35
4
Python爬虫实战：股票分时数据抓取与存储
74
5
SurfGen爬虫：解析HTML与提取关键数据
50
6
深度解析：使用ChromeDriver和webdriver_manager实现无头浏览器爬虫
48
7
深入理解Docker：为你的爬虫项目提供隔离环境
44
8
Python爬虫：京东商品评论内容
96
9
jsdom爬虫程序中eBay主页内容爬取的异步处理
44
10
Python爬虫与1688图片搜索API接口：深度解析与显著收益
89