AI 助理
备案控制台
开发者社区 彭世瑜的博客 文章 正文

python爬虫：scrapy框架xpath和css选择器语法

2022-09-01 242
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： python爬虫：scrapy框架xpath和css选择器语法

Xpath基本语法

一、常用的路径表达式：

image.png


image.png

举例元素标签为artical标签

image.png


image.png

二、谓语

谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点

image.png


image.png

三、通配符

Xpath通过通配符来选取未知的XML元素

image.png


image.png

四、取多个路径

使用“|”运算符可以选取多个路径

image.png

五、Xpath轴

轴可以定义相对于当前节点的节点集

image.png


image.png

六、功能函数

使用功能函数能够更好的进行模糊搜索

image.png


image.png

注意事项：


1) 按照审查元素的写法不一定正确，要按照网页源码的才行
因为不一样，网页源码才是你看到的
2) 浏览器有自带的复制xpath功能，firefox下载firebug插件
3) xpath有c的速度，所以按照[@class=""]准确性较高

CCS选择器语法


image.png

关于更多css语法，可以查看

http://www.w3school.com.cn/cssref/css_selectors.asp


提取内容

image.png

文章标签：
Python
前端开发
数据采集
数据格式
XML
关键词：
Python框架
Python爬虫
Python Xpath
爬虫xpath
Python爬虫xpath
码农技术君
目录
相关文章
游客7q6odlcu3jr5c
|
2天前
|
安全 前端开发 数据库
Python 语言结合 Flask 框架来实现一个基础的代购商品管理、用户下单等功能的简易系统
这是一个使用 Python 和 Flask 框架实现的简易代购系统示例，涵盖商品管理、用户注册登录、订单创建及查看等功能。通过 SQLAlchemy 进行数据库操作，支持添加商品、展示详情、库存管理等。用户可注册登录并下单，系统会检查库存并记录订单。此代码仅为参考，实际应用需进一步完善，如增强安全性、集成支付接口、优化界面等。
游客7q6odlcu3jr5c
10 1
蓝易云
|
19天前
|
JSON 数据可视化 测试技术
python+requests接口自动化框架的实现
通过以上步骤，我们构建了一个基本的Python+Requests接口自动化测试框架。这个框架具有良好的扩展性，可以根据实际需求进行功能扩展和优化。它不仅能提高测试效率，还能保证接口的稳定性和可靠性，为软件质量提供有力保障。
蓝易云
51 7
郑小健
|
17天前
|
分布式计算 大数据 数据处理
技术评测：MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展，数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame（简称“MaxFrame”）是一个专为Python开发者设计的分布式计算框架，它不仅支持Python编程接口，还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评，探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现，并分析其在实际工作中的应用潜力。
郑小健
53 2
游客moiomvrp3vyac2
|
1月前
|
敏捷开发 测试技术 持续交付
自动化测试之美：从零开始搭建你的Python测试框架
在软件开发的马拉松赛道上，自动化测试是那个能让你保持节奏、避免跌宕起伏的神奇小助手。本文将带你走进自动化测试的世界，用Python这把钥匙，解锁高效、可靠的测试框架之门。你将学会如何步步为营，构建属于自己的测试庇护所，让代码质量成为晨跑时清新的空气，而不是雾霾中的忧虑。让我们一起摆脱手动测试的繁琐枷锁，拥抱自动化带来的自由吧！
游客moiomvrp3vyac2
37 2
龙大吉
|
2月前
|
存储 移动开发 前端开发
高效的 HTML 与 CSS 编写技巧，涵盖语义化标签、文档结构优化、CSS 预处理、模块化设计、选择器优化、CSS 变量、媒体查询等内容
本文深入探讨了高效的 HTML 与 CSS 编写技巧，涵盖语义化标签、文档结构优化、CSS 预处理、模块化设计、选择器优化、CSS 变量、媒体查询等内容，旨在提升开发效率、网站性能和用户体验。
龙大吉
50 5
API小知识
|
2月前
|
缓存 API 数据库
Python哪个框架合适开发速卖通商品详情api？
在跨境电商平台速卖通的商品详情数据获取与整合中，Python 语言及其多种框架（如 Flask、Django、Tornado 和 FastAPI）提供了高效解决方案。Flask 简洁灵活，适合快速开发；Django 功能全面，适用于大型项目；Tornado 性能卓越，擅长处理高并发；FastAPI 结合类型提示和异步编程，开发体验优秀。选择合适的框架需综合考虑项目规模、性能要求和团队技术栈。
API小知识
31 2
API小知识
|
2月前
|
安全 API 数据库
Python哪个框架合适开发淘宝商品详情api？
在数字化商业时代，开发淘宝商品详情API成为企业拓展业务的重要手段。Python凭借其强大的框架支持，如Flask、Django、Tornado和FastAPI，为API开发提供了多样化的选择。本文探讨了这些框架的特点、优势及应用场景，帮助开发者根据项目需求选择最合适的工具，确保API的高效、稳定与可扩展性。
API小知识
31 0
API小知识
|
2月前
|
安全 API 网络架构
Python中哪个框架最适合做API？
本文介绍了Python生态系统中几个流行的API框架，包括Flask、FastAPI、Django Rest Framework（DRF）、Falcon和Tornado。每个框架都有其独特的优势和适用场景。Flask轻量灵活，适合小型项目；FastAPI高性能且自动生成文档，适合需要高吞吐量的API；DRF功能强大，适合复杂应用；Falcon高性能低延迟，适合快速API开发；Tornado异步非阻塞，适合高并发场景。文章通过示例代码和优缺点分析，帮助开发者根据项目需求选择合适的框架。
API小知识
201 0
土木林森
|
2月前
|
数据采集 存储 JSON
Python网络爬虫：Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理，以及存储爬取的数据。通过具体示例，帮助读者掌握Scrapy的核心功能和使用方法，提升数据采集效率。
土木林森
121 6
python编程狮
|
5月前
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统，python django框架，前端bootstrap，机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术，集成了机器学习算法和数据可视化的招聘数据分析与可视化系统，该系统通过爬虫技术获取职位信息，并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析，提供了一个直观的可视化大屏和后台管理系统，以优化招聘策略并提升决策质量。
python编程狮
255 4

热门文章

最新文章

  • 1
    Java爬虫：数据采集的强大工具
  • 2
    Java爬虫：深入解析商品详情的利器
  • 3
    Python 爬虫必备杀器，xpath 解析 HTML
  • 4
    Python爬虫：深入探索1688关键词接口获取之道
  • 5
    利用Python爬虫获取1688关键词接口全攻略
  • 6
    网页爬虫技术全解析：从基础到实战
  • 7
    如何利用Python爬虫淘宝商品详情高级版（item_get_pro）API接口及返回值解析说明
  • 8
    Python爬虫京东商品详情数据接口
  • 9
    Python爬虫能处理动态加载的内容吗？
  • 10
    Referer头部在网站反爬虫技术中的运用
  • 1
    Python 密码学实用指南（全）（2）
    46
  • 2
    【python】习题 第10周
    64
  • 3
    【python】习题第8周
    66
  • 4
    【python】习题第7周（上）
    96
  • 5
    【python】习题 6-10周（下）
    65
  • 6
    【python】习题 6-10周（中）
    69
  • 7
    Python 入门指南（七）（4）
    54
  • 8
    【python】习题 1-5周（中）
    99
  • 9
    【python】习题 1-5周（上）
    57
  • 10
    Python 入门指南（七）（2）
    63

    • 相关课程

    更多
  • Python Web开发基础
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • 前端开发基础3：CSS3常见显示属性
  • 前端开发基础6：Node.js和LESS预编译工具
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • composer
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月