AI 助理
备案控制台
开发者社区 大数据 文章 正文

[雪峰磁针石博客]python爬虫cookbook1爬虫入门

2018-09-10 2063
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

第一章 爬虫入门

  • Requests和Beautiful Soup 爬取python.org
  • urllib3和Beautiful Soup 爬取python.org
  • Scrapy 爬取python.org
  • Selenium和PhantomJs爬取Python.org

请确认可以打开：https://www.python.org/events/pythonevents
安装好requests、bs4，然后我们开始实例1：Requests和Beautiful Soup 爬取python.org,


# pip3 install requests bs4

Requests和Beautiful Soup 爬取python.org

01_events_with_requests.py


import requests
from bs4 import BeautifulSoup

def get_upcoming_events(url):
    req = requests.get(url)

    soup = BeautifulSoup(req.text, 'lxml')

    events = soup.find('ul', {'class': 'list-recent-events'}).findAll('li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find('h3').find("a").text
        event_details['location'] = event.find('span', {'class', 'event-location'}).text
        event_details['time'] = event.find('time').text
        print(event_details)

get_upcoming_events('https://www.python.org/events/python-events/')

执行结果：


$ python3 01_events_with_requests.py 
{'name': 'PyCon US 2018', 'location': 'Cleveland, Ohio, USA', 'time': '09 May – 18 May  2018'}
{'name': 'DjangoCon Europe 2018', 'location': 'Heidelberg, Germany', 'time': '23 May – 28 May  2018'}
{'name': 'PyCon APAC 2018', 'location': 'NUS School of Computing / COM1, 13 Computing Drive, Singapore 117417, Singapore', 'time': '31 May – 03 June  2018'}
{'name': 'PyCon CZ 2018', 'location': 'Prague, Czech Republic', 'time': '01 June – 04 June  2018'}
{'name': 'PyConTW 2018', 'location': 'Taipei, Taiwan', 'time': '01 June – 03 June  2018'}
{'name': 'PyLondinium', 'location': 'London, UK', 'time': '08 June – 11 June  2018'}

注意：因为事件的内容未必相同，所以每次的结果也不会一样

课后习题： 用requests爬取https://china-testing.github.io/首页的博客标题，共10条。

参考答案：

01_blog_title.py


import requests
from bs4 import BeautifulSoup

def get_upcoming_events(url):
    req = requests.get(url)

    soup = BeautifulSoup(req.text, 'lxml')

    events = soup.findAll('article')

    for event in events:
        event_details = {}
        event_details['name'] = event.find('h1').find("a").text
        print(event_details)

get_upcoming_events('https://china-testing.github.io/')

执行结果：


$ python3 01_blog_title.py 
{'name': '10分钟学会API测试'}
{'name': 'python数据分析快速入门教程4-数据汇聚'}
{'name': 'python数据分析快速入门教程6-重整'}
{'name': 'python数据分析快速入门教程5-处理缺失数据'}
{'name': 'python库介绍-pytesseract: OCR光学字符识别'}
{'name': '软件自动化测试初学者忠告'}
{'name': '使用opencv转换3d图片'}
{'name': 'python opencv3实例(对象识别和增强现实)2-边缘检测和应用图像过滤器'}
{'name': 'numpy学习指南3rd3:常用函数'}
{'name': 'numpy学习指南3rd2:NumPy基础'}

urllib3和Beautiful Soup 爬取python.org

代码：02_events_with_urlib3.py


import urllib3
from bs4 import BeautifulSoup

def get_upcoming_events(url):
    req = urllib3.PoolManager()
    res = req.request('GET', url)

    soup = BeautifulSoup(res.data, 'html.parser')

    events = soup.find('ul', {'class': 'list-recent-events'}).findAll('li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find('h3').find("a").text
        event_details['location'] = event.find('span', {'class', 'event-location'}).text
        event_details['time'] = event.find('time').text
        print(event_details)

get_upcoming_events('https://www.python.org/events/python-events/')

requests对urllib3进行了封装，一般是直接使用requests。

Scrapy 爬取python.org

Scrapy是用于提取数据的非常流行的开源Python抓取框架。 Scrapy提供所有这些功能以及许多其他内置模块和扩展。当涉及到使用Python进行挖掘时，它也是我们的首选工具。
Scrapy提供了许多值得一提的强大功能：

  • 内置的扩展来生成HTTP请求并处理压缩，身份验证，缓存，操作用户代理和HTTP标头
  • 内置的支持选择和提取选择器语言如数据CSS和XPath，以及支持使用正则表达式选择内容和链接。
  • 编码支持来处理语言和非标准编码声明
  • 灵活的API来重用和编写自定义中间件和管道，提供干净而简单的方法来实现自动化等任务。比如下载资产（例如图像或媒体）并将数据存储在存储器中，如文件系统，S3，数据库等

有几种使用Scrapy的方法。一个是程序模式我们在代码中创建抓取工具和蜘蛛。也可以配置Scrapy模板或生成器项目，然后从命令行使用运行。本书将遵循程序模式，因为它的代码在单个文件中。

代码：03_events_with_scrapy.py


import scrapy
from scrapy.crawler import CrawlerProcess

class PythonEventsSpider(scrapy.Spider):
    name = 'pythoneventsspider'

    start_urls = ['https://www.python.org/events/python-events/',]
    found_events = []

    def parse(self, response):
        for event in response.xpath('//ul[contains(@class, "list-recent-events")]/li'):
            event_details = dict()
            event_details['name'] = event.xpath('h3[@class="event-title"]/a/text()').extract_first()
            event_details['location'] = event.xpath('p/span[@class="event-location"]/text()').extract_first()
            event_details['time'] = event.xpath('p/time/text()').extract_first()
            self.found_events.append(event_details)

if __name__ == "__main__":
    process = CrawlerProcess({ 'LOG_LEVEL': 'ERROT630:~/code/china-testing/python3_libraries/pytest_testing/ch2/tasks_proj/tests/func$ pytest test_api_exceptions.py  -v -m "smoke and not get"
=========================================== test session starts ===========================================
platform linux -- Python 3.5.2, pytest-3.5.1, py-1.5.3, pluggy-0.6.0 -- /usr/bin/python3
cachedir: ../.pytest_cache
rootdir: /home/andrew/code/china-testing/python3_libraries/pytest_testing/ch2/tasks_proj/tests, inifile: pytest.ini
collected 7 items / 6 deselected                                                                          

test_api_exceptions.py::test_list_raises PASSED                                                     [100%]
R'})
    process.crawl(PythonEventsSpider)
    spider = next(iter(process.crawlers)).spider
    process.start()

    for event in spider.found_events: print(event)

课后习题： 用scrapy爬取https://china-testing.github.io/首页的博客标题，共10条。

参考答案：

03_blog_with_scrapy.py


from scrapy.crawler import CrawlerProcess

class PythonEventsSpider(scrapy.Spider):
    name = 'pythoneventsspider'

    start_urls = ['https://china-testing.github.io/',]
    found_events = []

    def parse(self, response):
        for event in response.xpath('//article//h1'):
            event_details = dict()
            event_details['name'] = event.xpath('a/text()').extract_first()
            self.found_events.append(event_details)

if __name__ == "__main__":
    process = CrawlerProcess({ 'LOG_LEVEL': 'ERROR'})
    process.crawl(PythonEventsSpider)
    spider = next(iter(process.crawlers)).spider
    process.start()

    for event in spider.found_events: print(event)

Selenium和PhantomJs爬取Python.org

04_events_with_selenium.py


from selenium import webdriver

def get_upcoming_events(url):
    driver = webdriver.Chrome()
    driver.get(url)

    events = driver.find_elements_by_xpath('//ul[contains(@class, "list-recent-events")]/li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find_element_by_xpath('h3[@class="event-title"]/a').text
        event_details['location'] = event.find_element_by_xpath('p/span[@class="event-location"]').text
        event_details['time'] = event.find_element_by_xpath('p/time').text
        print(event_details)

    driver.close()

get_upcoming_events('https://www.python.org/events/python-events/')

改用driver = webdriver.PhantomJS('phantomjs')可以使用无界面的方式，代码如下：

05_events_with_phantomjs.py


from selenium import webdriver

def get_upcoming_events(url):
    driver = webdriver.Chrome()
    driver.get(url)

    events = driver.find_elements_by_xpath('//ul[contains(@class, "list-recent-events")]/li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find_element_by_xpath('h3[@class="event-title"]/a').text
        event_details['location'] = event.find_element_by_xpath('p/span[@class="event-location"]').text
        event_details['time'] = event.find_element_by_xpath('p/time').text
        print(event_details)

    driver.close()

get_upcoming_events('https://www.python.org/events/python-events/')

不过selenium的headless模式已经可以更好的代替phantomjs了。

04_events_with_selenium_headless.py


from selenium import webdriver

def get_upcoming_events(url):
    
    options = webdriver.ChromeOptions()
    options.add_argument('headless')
    driver = webdriver.Chrome(chrome_options=options)
    driver.get(url)

    events = driver.find_elements_by_xpath('//ul[contains(@class, "list-recent-events")]/li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find_element_by_xpath('h3[@class="event-title"]/a').text
        event_details['location'] = event.find_element_by_xpath('p/span[@class="event-location"]').text
        event_details['time'] = event.find_element_by_xpath('p/time').text
        print(event_details)

    driver.close()

get_upcoming_events('https://www.python.org/events/python-events/')

参考资料

文章标签：
Python
数据采集
数据挖掘
关键词：
Python爬虫
Python入门
爬虫python
Python爬虫入门
爬虫入门
python人工智能命理
目录
相关文章
奔跑的数据
|
9天前
|
数据采集 存储 Java
如何让Python爬虫在遇到异常时继续运行
构建健壮Python爬虫涉及异常处理、代理IP和多线程。通过try/except捕获异常，保证程序在遇到问题时能继续运行。使用代理IP（如亿牛云）防止被目标网站封锁，多线程提升抓取效率。示例代码展示了如何配置代理，设置User-Agent，以及使用SQLite存储数据。通过`fetch_url`函数和`ThreadPoolExecutor`实现抓取与重试机制。
奔跑的数据
23 4
如何让Python爬虫在遇到异常时继续运行
AIGC小王子
|
18天前
|
安全 Java 调度
「Python入门」Python多线程
1. **线程与进程区别**：线程共享内存，进程独立；线程启动快，多线程效率高于多进程。 2. **多线程使用**：直接使用Thread类，通过`target`指定函数，`args`传递参数；或继承Thread，重写`run`方法。 3. **守护线程**：设置`setDaemon(True)`，主线程结束时，守护线程一同结束。 4. **join线程同步**：主线程等待子线程完成，如`t.join()`。 5. **线程锁**（Mutex）：防止数据竞争，确保同一时间只有一个线程访问共享资源。 6. **RLock（递归锁）**：允许多次锁定，用于需要多次加锁的递归操作。
AIGC小王子
21 1
「Python入门」Python多线程
龙大吉
|
2天前
|
SQL 安全 数据库
从入门到精通：Python Web安全守护指南，SQL注入、XSS、CSRF全防御！
【7月更文挑战第25天】在Python Web开发中确保应用安全至关重要。以下是针对SQL注入、XSS与CSRF攻击的防护策略及示例代码
龙大吉
19 6
AIGC小王子
|
18天前
|
数据采集 XML JSON
「Python入门」Python代码规范（风格）
**Python编码规范摘要** - 编码：使用UTF-8编码，文件开头可声明`# -- coding: utf-8 --`。 - 分号：避免在行尾使用，不用于分隔命令。 - 行长：不超过80字符，长表达式可使用括号换行。 - 缩进：使用4个空格，禁止混用tab。 - 注释：行注释始于`#`和空格，块注释和文档注释遵循特定格式。 - 空行：函数和类定义间用2空行，方法间1空行，内部适当空行。 - 空格：运算符两侧各空一格，逗号后空格，括号内不空格。 - 命名：模块小写，变量下划线分隔，类驼峰式，布尔变量前缀`is_`。 - 引号：保持一致性，可使用单引号或双引号。
AIGC小王子
20 1
「Python入门」Python代码规范（风格）
你都不懂
|
4天前
|
数据采集 Web App开发 存储
Python-数据爬取（爬虫）
【7月更文挑战第24天】
你都不懂
31 7
你都不懂
|
4天前
|
数据采集 机器学习/深度学习 算法
Python-数据爬取（爬虫）
【7月更文挑战第23天】
你都不懂
25 5
愿天堂没有BUG（公众号同名）
|
8天前
|
存储 分布式计算 索引
Python函数式编程入门窥探
Python本身不是一门函数式编程语言，但是它参考了一些函数式编程语言很好的地方，除了可以写出更可读的代码外。还能用它来实现一些特定功能，本身也提供了强大的注解系统和函数和对象之间的灵活调用。
愿天堂没有BUG（公众号同名）
24 7
梦回故国楼台梦
|
10天前
|
算法 数据挖掘 计算机视觉
Python并查集实战宝典：从入门到精通，让你的数据结构技能无懈可击！
【7月更文挑战第17天】并查集，如同瑞士军刀，是解决元素分组问题的利器，应用于好友关系、像素聚类、碰撞检测和连通性分析等场景。本文从基础到实战，介绍并查集的初始化、查找与路径压缩、按秩合并，以及在Kruskal算法中的应用。通过并查集，实现高效动态集合操作，对比哈希表和平衡树，其在合并与查找上的性能尤为突出。学习并查集，提升算法解决复杂问题的能力。
梦回故国楼台梦
21 5
愿天堂没有BUG（公众号同名）
|
10天前
|
机器学习/深度学习 数据采集 前端开发
网络爬虫开发：JavaScript与Python特性的小差异
我们以前写JavaScript的代码时，在遇到了发送请求时，都是需要去await的。 但是为什么Python代码不需要这样做呢？ 这就是因为JavaScript是异步的，Python是同步的。 JavaScript就需要使用关键词await将异步代码块变为同步代码。
愿天堂没有BUG（公众号同名）
24 2
你都不懂
|
12天前
|
数据采集 存储 Web App开发
Python-数据爬取（爬虫）
【7月更文挑战第15天】
你都不懂
45 3

热门文章

最新文章

  • 1
    Java爬虫搜索原理实现
  • 2
    如何构造一个C#语言的爬虫程序
  • 3
    2、web爬虫，scrapy模块以及相关依赖模块安装
  • 4
    Java网络爬虫 - 一个简单的爬虫例子
  • 5
    【Python3爬虫】当爬虫碰到表单提交，有点意思
  • 6
    用Ruby简书爬虫统计用户文章信息
  • 7
    Python爬虫之scrapy从入门到忘记
  • 8
    python使用百度进行爬虫简单学习例子
  • 9
    python爬虫-抓取内涵吧内涵段子
  • 10
    python爬虫学习小程序
  • 1
    【python】如何通过python来发送短信
    90
  • 2
    【视频】Python基于SVM和RankGauss的低消费指数构建模型
    180
  • 3
    Python在数据分析领域的应用研究
    49
  • 4
    Python web框架fastapi中间件的使用，CORS跨域详解
    132
  • 5
    Python web框架fastapi数据库操作ORM（二）增删改查逻辑实现方法
    136
  • 6
    Python web框架fastapi数据库操作ORM（一）
    244
  • 7
    python web框架fastapi模板渲染--Jinja2使用技巧总结
    142
  • 8
    Python高性能web框架--Fastapi快速入门
    77
  • 9
    机器学习--K近邻算法，以及python中通过Scikit-learn库实现K近邻算法API使用技巧
    38
  • 10
    Python中的for循环用法详解，一文搞定它
    62

    • 相关课程

    更多
  • Python Web 框架 Flask 快速入门
  • Python Web开发基础
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • Python新手入门
  • Python入门
  • 重温童年的“五子棋”，赢取专属阿里云Serverless证书
  • Python选择及循环结构
  • Python新手入门（Anolis OS）
    • 下一篇
    通义千问API入门教程