AI 助理
备案控制台
开发者社区 彭世瑜的博客 文章 正文

python爬虫：scrapy框架xpath和css选择器语法

2022-09-01 231
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： python爬虫：scrapy框架xpath和css选择器语法

Xpath基本语法

一、常用的路径表达式：

image.png


image.png

举例元素标签为artical标签

image.png


image.png

二、谓语

谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点

image.png


image.png

三、通配符

Xpath通过通配符来选取未知的XML元素

image.png


image.png

四、取多个路径

使用“|”运算符可以选取多个路径

image.png

五、Xpath轴

轴可以定义相对于当前节点的节点集

image.png


image.png

六、功能函数

使用功能函数能够更好的进行模糊搜索

image.png


image.png

注意事项：


1) 按照审查元素的写法不一定正确，要按照网页源码的才行
因为不一样，网页源码才是你看到的
2) 浏览器有自带的复制xpath功能，firefox下载firebug插件
3) xpath有c的速度，所以按照[@class=""]准确性较高

CCS选择器语法


image.png

关于更多css语法，可以查看

http://www.w3school.com.cn/cssref/css_selectors.asp


提取内容

image.png

文章标签：
Python
前端开发
数据采集
数据格式
XML
关键词：
Python语法
Python爬虫
Python框架
爬虫python
Scrapy爬虫
码农技术君
目录
相关文章
土木林森
|
16天前
|
数据采集 存储 JSON
Python网络爬虫：Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理，以及存储爬取的数据。通过具体示例，帮助读者掌握Scrapy的核心功能和使用方法，提升数据采集效率。
土木林森
60 6
土木林森
|
16天前
|
设计模式 前端开发 数据库
Python Web开发：Django框架下的全栈开发实战
【10月更文挑战第27天】本文介绍了Django框架在Python Web开发中的应用，涵盖了Django与Flask等框架的比较、项目结构、模型、视图、模板和URL配置等内容，并展示了实际代码示例，帮助读者快速掌握Django全栈开发的核心技术。
土木林森
103 45
虫无涯
|
10天前
|
Java 测试技术 持续交付
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
本文重点讲解如何搭建App自动化测试框架的思路，而非完整源码。主要内容包括实现目的、框架设计、环境依赖和框架的主要组成部分。适用于初学者，旨在帮助其快速掌握App自动化测试的基本技能。文中详细介绍了从需求分析到技术栈选择，再到具体模块的封装与实现，包括登录、截图、日志、测试报告和邮件服务等。同时提供了运行效果的展示，便于理解和实践。
虫无涯
46 4
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
游客qf4jmczx4xu2y
|
6天前
|
机器学习/深度学习 数据挖掘 开发者
Python编程入门：理解基础语法与编写第一个程序
【10月更文挑战第37天】本文旨在为初学者提供Python编程的初步了解，通过简明的语言和直观的例子，引导读者掌握Python的基础语法，并完成一个简单的程序。我们将从变量、数据类型到控制结构，逐步展开讲解，确保即使是编程新手也能轻松跟上。文章末尾附有完整代码示例，供读者参考和实践。
游客qf4jmczx4xu2y
23 3
Ly001122
|
16天前
|
存储 Python Perl
python正则语法
本文介绍了正则表达式的基础知识及其在 Python 中的应用。首先解释了为什么要使用正则表达式，通过一个判断手机号的示例展示了正则表达式的简洁性。接着详细介绍了 `re` 模块的常用方法，如 `match()`、`search()`、`findall()`、`finditer()` 等，并讲解了正则表达式的基本语法，包括匹配单个字符、数字、锚字符和限定符等。最后，文章还探讨了正则表达式的高级特性，如分组、编译和贪婪与非贪婪模式。
Ly001122
15 2
API小知识
|
8天前
|
安全 API 网络架构
Python中哪个框架最适合做API？
本文介绍了Python生态系统中几个流行的API框架，包括Flask、FastAPI、Django Rest Framework（DRF）、Falcon和Tornado。每个框架都有其独特的优势和适用场景。Flask轻量灵活，适合小型项目；FastAPI高性能且自动生成文档，适合需要高吞吐量的API；DRF功能强大，适合复杂应用；Falcon高性能低延迟，适合快速API开发；Tornado异步非阻塞，适合高并发场景。文章通过示例代码和优缺点分析，帮助开发者根据项目需求选择合适的框架。
API小知识
27 0
土木林森
|
16天前
|
网络协议 调度 开发者
Python网络编程：Twisted框架的异步IO处理与实战
【10月更文挑战第27天】本文介绍了Python网络编程中的Twisted框架，重点讲解了其异步IO处理机制。通过反应器模式，Twisted能够在单线程中高效处理多个网络连接。文章提供了两个实战示例：一个简单的Echo服务器和一个HTTP服务器，展示了Twisted的强大功能和灵活性。
土木林森
28 0
不吃西红柿丶
Python面试题大全（二）：python高级语法（上）
Python面试题大全（二）：python高级语法
不吃西红柿丶
1652 0
小森ai小小贾
|
5月前
|
自然语言处理 JavaScript 前端开发
Python高级语法与正则表达式(二）
正则表达式描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。
小森ai小小贾
61 2
小森ai小小贾
|
5月前
|
安全 算法 Python
Python高级语法与正则表达式(一）
Python提供了 with 语句的写法，既简单又安全。 文件操作的时候使用with语句可以自动调用关闭文件操作，即使出现异常也会自动关闭文件操作。
小森ai小小贾
46 1

热门文章

最新文章

  • 1
    Scrapy分布式、去重增量爬虫的开发与设计
  • 2
    【转】Duplicate Elimination in Scrapy
  • 3
    初识 scrapy 框架 - 安装
  • 4
    Scrapy选择器的用法
  • 5
    Scrapy1.4最新官方文档总结 4 爬虫
  • 6
    windows7 python3.4 安装scrapy
  • 7
    Scrapy进阶-命令行的工作原理（以runspider为例）
  • 8
    windows 7 安装 scrapy
  • 9
    scrapy_redis分布式组件Connection源码解读及工作原理
  • 10
    Scrapy命令行基本用法
  • 1
    CSS 弹性布局，大厂意外流出
    37
  • 2
    CSS元素隐藏的多种方式：让你轻松实现页面布局
    238
  • 3
    CSS3 转换，深入理解Flutter动画原理，前端基础图形
    65
  • 4
    particlesJS使用简介，CSS字体样式值
    39
  • 5
    探索CSS预处理器：Sass、Less与Stylus
    88
  • 6
    深入理解CSS属性“flex：1”的奥秘
    547
  • 7
    css字体实现渐变
    42
  • 8
    css文本垂直展示------
    33
  • 9
    CSS Transition（过渡效果）详解
    349
  • 10
    CSS顶部与JS后写：网页渲染的奥秘
    47

    • 相关课程

    更多
  • Python语言基础 - 列表、元组、字典、集合
  • Python Web开发基础
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • Python新手入门
  • Python入门
  • Python选择及循环结构
  • Python新手入门（Anolis OS）
  • CSS基础教程
  • Python网络通信程序典型应用

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • libreoffice
    • 下一篇
    阿里云OSS设置跨域访问