Python分布式爬虫实战(三) - 爬虫基础知识(上)

简介: Python分布式爬虫实战(三) - 爬虫基础知识(上)

0 相关源码

1 技术选型 爬虫能做什么

1.1 scrapy VS requests + beautifulsoup

做爬虫的时候,经常都会听到 scrapy VS requests+beautifulsoup的组合 在本次分布式爬虫实现中只用scrapy而不用后者的原因是:

  • requestsbeautifulsoup 都是库, scrapy是一个框架 框架中可以应用 requests等,可以集合很多第三方库
  • 基于 twisted(异步IO框架) 性能是最大的优势
  • 方便扩展 提供了很多内置的功能,提高开发速度
  • 内置 cssxpath selector 对html或者xml进行分析,非常方便, beautifulsoup缺点就是慢

实践中还是会用到requests,但是不会用到beautifulsoup,因为它的功能可以直接使用scrapy的select完成.

1.2 网页分类

常见类型的服务

  • 静态网页 事先在服务器端生成好的页面,内容固定
  • 动态网页 从服务器端取数据返回
  • webservice(REST API) 也是属于动态网页的一种,只是通过ajax方式和后台交互的一种技术

1.3 爬虫能做什么

  • 搜索引擎-百度,google,垂直领域搜索引擎(有一个目标,知道自己到底爬什么数据)
  • 推荐引擎-今日头条(根据浏览习惯猜测感兴趣的内容进行推送)
  • 机器学习的数据样本
  • 数据分析-金融数据分析,舆情分析

2 正则表达式

2.1 为何需要

为什么有css或者xpath selector还要学正则表达式,有时候根据selector获得了整个标签内的内容,但是还要进行进一步的筛选,比如里面的数字信息等

2.2 作用

可以帮我们判断某个字符串是否符合某一个模式 提取整个字符串里面的重要的部分信息

2.3 常用字符的用法

^ : 以什么字符开头
$ : 以什么字符结尾
. : 任意字符
* :出现任意次数,0次或者更多次
():还提取按模式取出来的子串。例如,".*(b.*b).*"表示不管前后是什么的两个b之间的子串
? :下面详解
+ :字符至少出现一次
{1}:前面的字符出现一次
{3,}: 要求前面的字符必须出现3次以上
{2,5}:前面的字符至少出现2次,最少出现5次
| : 或的关系
[] : 中括号里面的内容只要满足任何一个即可,也可以是一个区间,中括号里面的^表示不等于,中括号里面的符号就是符号,不是特殊符号的含义
\s :表示空格符
\S : 刚好与小s的意思相反,只要不是空格都可以
\w : 表示[A-Za-z0-9_]其中的任意一个字符
\W : 与\w的意思刚好相反
[\u4E00-\u9FA5] : unicode编码,含义是汉字,意思是只要出现汉字就可以。
\d : 表示数字

2.4 coding 演示

新建项目

image.png

^ : 以什么字符开头 此处以J开头即可!

image.png

$ : 以什么字符结尾 此处以4结尾即可!

image.png

J开头,中间为任意字符,最后以4结尾

image.png

? : 非贪婪匹配模式

默认的情况下,匹配是贪婪模式,匹配最大长度 比如对于 "bobby123"这个待匹配的,结果就是bb,而不是bobb,所以这就是贪婪,反向匹配(或者理解成直到结束符合的最后一个结果) 非贪婪匹配就是从左边开始,只需要出现一个结果就可以了,".?(b.?b)."表示对两个b从左到右只要出现一次就可 ".?(b.b)."第二个b不要问好,那么第二个b就是贪婪模式,会持续匹配到最后一个b


现在源数据变更为

image.png

欲取得字符串 boooooooob 

image.png

然而现实,却是

image.png

非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串“oooo”,“o+?”将匹配单个“o”,而“o+”将匹配所有“o”。

此处贪婪匹配最开始时反向匹配,从右向左,所以得到bb结果串!就无法提取目标串!何解?


那就需要我们的 ?了!变成一种非贪婪模式

image.png

于是我们,更改匹配规则

image.png

结果令人失望!居然还多了个小b!!!

image.png

虽然左部分正常匹配左边的b了,但是规则的右部分依旧贪婪匹配!必须让规则右边的b不要那么贪婪!给他也加个 ?修饰~即可!

image.png

终于......提取成功啦!

image.png

限定出现次数

image.png

| : 表示或关系

image.png

下面更改源字符串

image.png

规则

image.png

结果

image.png

想要提取完整的怎么做呢?

image.png

结果

image.png

[]

image.png

规则

image.png

结果

image.png

匹配电话号码

image.png

规则

image.png

其中有 ^

image.png

\s

image.png

image.png


\S只能匹配一个非空字符!!!

image.png

image.png

\w

image.png

image.png

image.png

w不满足的空格,W满足!

image.png

汉字编码


image.png

源字符串

image.png

想提取到底是什么大学

image.png

这样也是不行的,又产生了贪婪匹配问题

image.png

所以要加上 ?取消贪婪

image.png

完美提取XX大学

d D

image.png

源字符串

image.png

  • 想提取1997
  • 这样是不够的,只能提取出7

image.png

这样就ok啦!

image.png

或者必须取消贪婪

image.png

综合实战

源字符串

image.png

可提取1,2,3,4

image.png

以下为完美解决规则

image.png




目录
相关文章
|
1月前
|
测试技术 数据库 Python
Python装饰器实战:打造高效性能计时工具
在数据分析中,处理大规模数据时,分析代码性能至关重要。本文介绍如何使用Python装饰器实现性能计时工具,在不改变现有代码的基础上,方便快速地测试函数执行时间。该方法具有侵入性小、复用性强、灵活度高等优点,有助于快速发现性能瓶颈并优化代码。通过设置循环次数参数,可以更准确地评估函数的平均执行时间,提升开发效率。
105 61
Python装饰器实战:打造高效性能计时工具
|
2天前
|
存储 数据采集 数据库
Python爬虫实战:股票分时数据抓取与存储
Python爬虫实战:股票分时数据抓取与存储
|
3天前
|
人工智能 Kubernetes 异构计算
大道至简-基于ACK的Deepseek满血版分布式推理部署实战
本教程演示如何在ACK中多机分布式部署DeepSeek R1满血版。
|
27天前
|
运维 Shell 数据库
Python执行Shell命令并获取结果:深入解析与实战
通过以上内容,开发者可以在实际项目中灵活应用Python执行Shell命令,实现各种自动化任务,提高开发和运维效率。
54 20
|
1月前
|
分布式计算 DataWorks 数据处理
产品测评 | 上手分布式Python计算服务MaxFrame产品最佳实践
MaxFrame是阿里云自研的分布式计算框架,专为大数据处理设计,提供高效便捷的Python开发体验。其主要功能包括Python编程接口、直接利用MaxCompute资源、与MaxCompute Notebook集成及镜像管理功能。本文基于MaxFrame最佳实践,详细介绍了在DataWorks中使用MaxFrame创建数据源、PyODPS节点和MaxFrame会话的过程,并展示了如何通过MaxFrame实现分布式Pandas处理和大语言模型数据处理。测评反馈指出,虽然MaxFrame具备强大的数据处理能力,但在文档细节和新手友好性方面仍有改进空间。
|
26天前
|
存储 缓存 Java
Java中的分布式缓存与Memcached集成实战
通过在Java项目中集成Memcached,可以显著提升系统的性能和响应速度。合理的缓存策略、分布式架构设计和异常处理机制是实现高效缓存的关键。希望本文提供的实战示例和优化建议能够帮助开发者更好地应用Memcached,实现高性能的分布式缓存解决方案。
39 9
|
29天前
|
数据采集 JSON 数据格式
Python爬虫:京东商品评论内容
京东商品评论接口为商家和消费者提供了重要工具。商家可分析评论优化产品,消费者则依赖评论做出购买决策。该接口通过HTTP请求获取评论内容、时间、点赞数等数据,支持分页和筛选好评、中评、差评。Python示例代码展示了如何调用接口并处理返回的JSON数据。应用场景包括产品优化、消费者决策辅助、市场竞争分析及舆情监测。
|
1月前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
76 7
|
1月前
|
SQL 分布式计算 数据处理
云产品评测|分布式Python计算服务MaxFrame | 在本地环境中使用MaxFrame + 基于MaxFrame实现大语言模型数据处理
本文基于官方文档,介绍了由浅入深的两个部分实操测试,包括在本地环境中使用MaxFrame & 基于MaxFrame实现大语言模型数据处理,对步骤有详细说明。体验下来对MaxCompute的感受是很不错的,值得尝试并使用!
49 1
|
1月前
|
SQL 分布式计算 DataWorks
MaxCompute MaxFrame评测 | 分布式Python计算服务MaxFrame(完整操作版)
在当今数字化迅猛发展的时代,数据信息的保存与分析对企业决策至关重要。MaxCompute MaxFrame是阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口并自动进行分布式计算。通过MaxCompute的海量计算资源,企业可以进行大规模数据处理、可视化数据分析及科学计算等任务。本文将详细介绍如何开通MaxCompute和DataWorks服务,并使用MaxFrame进行数据操作。包括创建项目、绑定数据源、编写PyODPS 3节点代码以及执行SQL查询等内容。最后,针对使用过程中遇到的问题提出反馈建议,帮助用户更好地理解和使用MaxFrame。