备案控制台
探索云世界
开发者社区 大数据 文章 正文

[雪峰磁针石博客]python爬虫cookbook1爬虫入门

2018-09-10 2059
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

第一章 爬虫入门

  • Requests和Beautiful Soup 爬取python.org
  • urllib3和Beautiful Soup 爬取python.org
  • Scrapy 爬取python.org
  • Selenium和PhantomJs爬取Python.org

请确认可以打开：https://www.python.org/events/pythonevents
安装好requests、bs4，然后我们开始实例1：Requests和Beautiful Soup 爬取python.org,


# pip3 install requests bs4

Requests和Beautiful Soup 爬取python.org

01_events_with_requests.py


import requests
from bs4 import BeautifulSoup

def get_upcoming_events(url):
    req = requests.get(url)

    soup = BeautifulSoup(req.text, 'lxml')

    events = soup.find('ul', {'class': 'list-recent-events'}).findAll('li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find('h3').find("a").text
        event_details['location'] = event.find('span', {'class', 'event-location'}).text
        event_details['time'] = event.find('time').text
        print(event_details)

get_upcoming_events('https://www.python.org/events/python-events/')

执行结果：


$ python3 01_events_with_requests.py 
{'name': 'PyCon US 2018', 'location': 'Cleveland, Ohio, USA', 'time': '09 May – 18 May  2018'}
{'name': 'DjangoCon Europe 2018', 'location': 'Heidelberg, Germany', 'time': '23 May – 28 May  2018'}
{'name': 'PyCon APAC 2018', 'location': 'NUS School of Computing / COM1, 13 Computing Drive, Singapore 117417, Singapore', 'time': '31 May – 03 June  2018'}
{'name': 'PyCon CZ 2018', 'location': 'Prague, Czech Republic', 'time': '01 June – 04 June  2018'}
{'name': 'PyConTW 2018', 'location': 'Taipei, Taiwan', 'time': '01 June – 03 June  2018'}
{'name': 'PyLondinium', 'location': 'London, UK', 'time': '08 June – 11 June  2018'}

注意：因为事件的内容未必相同，所以每次的结果也不会一样

课后习题： 用requests爬取https://china-testing.github.io/首页的博客标题，共10条。

参考答案：

01_blog_title.py


import requests
from bs4 import BeautifulSoup

def get_upcoming_events(url):
    req = requests.get(url)

    soup = BeautifulSoup(req.text, 'lxml')

    events = soup.findAll('article')

    for event in events:
        event_details = {}
        event_details['name'] = event.find('h1').find("a").text
        print(event_details)

get_upcoming_events('https://china-testing.github.io/')

执行结果：


$ python3 01_blog_title.py 
{'name': '10分钟学会API测试'}
{'name': 'python数据分析快速入门教程4-数据汇聚'}
{'name': 'python数据分析快速入门教程6-重整'}
{'name': 'python数据分析快速入门教程5-处理缺失数据'}
{'name': 'python库介绍-pytesseract: OCR光学字符识别'}
{'name': '软件自动化测试初学者忠告'}
{'name': '使用opencv转换3d图片'}
{'name': 'python opencv3实例(对象识别和增强现实)2-边缘检测和应用图像过滤器'}
{'name': 'numpy学习指南3rd3:常用函数'}
{'name': 'numpy学习指南3rd2:NumPy基础'}

urllib3和Beautiful Soup 爬取python.org

代码：02_events_with_urlib3.py


import urllib3
from bs4 import BeautifulSoup

def get_upcoming_events(url):
    req = urllib3.PoolManager()
    res = req.request('GET', url)

    soup = BeautifulSoup(res.data, 'html.parser')

    events = soup.find('ul', {'class': 'list-recent-events'}).findAll('li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find('h3').find("a").text
        event_details['location'] = event.find('span', {'class', 'event-location'}).text
        event_details['time'] = event.find('time').text
        print(event_details)

get_upcoming_events('https://www.python.org/events/python-events/')

requests对urllib3进行了封装，一般是直接使用requests。

Scrapy 爬取python.org

Scrapy是用于提取数据的非常流行的开源Python抓取框架。 Scrapy提供所有这些功能以及许多其他内置模块和扩展。当涉及到使用Python进行挖掘时，它也是我们的首选工具。
Scrapy提供了许多值得一提的强大功能：

  • 内置的扩展来生成HTTP请求并处理压缩，身份验证，缓存，操作用户代理和HTTP标头
  • 内置的支持选择和提取选择器语言如数据CSS和XPath，以及支持使用正则表达式选择内容和链接。
  • 编码支持来处理语言和非标准编码声明
  • 灵活的API来重用和编写自定义中间件和管道，提供干净而简单的方法来实现自动化等任务。比如下载资产（例如图像或媒体）并将数据存储在存储器中，如文件系统，S3，数据库等

有几种使用Scrapy的方法。一个是程序模式我们在代码中创建抓取工具和蜘蛛。也可以配置Scrapy模板或生成器项目，然后从命令行使用运行。本书将遵循程序模式，因为它的代码在单个文件中。

代码：03_events_with_scrapy.py


import scrapy
from scrapy.crawler import CrawlerProcess

class PythonEventsSpider(scrapy.Spider):
    name = 'pythoneventsspider'

    start_urls = ['https://www.python.org/events/python-events/',]
    found_events = []

    def parse(self, response):
        for event in response.xpath('//ul[contains(@class, "list-recent-events")]/li'):
            event_details = dict()
            event_details['name'] = event.xpath('h3[@class="event-title"]/a/text()').extract_first()
            event_details['location'] = event.xpath('p/span[@class="event-location"]/text()').extract_first()
            event_details['time'] = event.xpath('p/time/text()').extract_first()
            self.found_events.append(event_details)

if __name__ == "__main__":
    process = CrawlerProcess({ 'LOG_LEVEL': 'ERROT630:~/code/china-testing/python3_libraries/pytest_testing/ch2/tasks_proj/tests/func$ pytest test_api_exceptions.py  -v -m "smoke and not get"
=========================================== test session starts ===========================================
platform linux -- Python 3.5.2, pytest-3.5.1, py-1.5.3, pluggy-0.6.0 -- /usr/bin/python3
cachedir: ../.pytest_cache
rootdir: /home/andrew/code/china-testing/python3_libraries/pytest_testing/ch2/tasks_proj/tests, inifile: pytest.ini
collected 7 items / 6 deselected                                                                          

test_api_exceptions.py::test_list_raises PASSED                                                     [100%]
R'})
    process.crawl(PythonEventsSpider)
    spider = next(iter(process.crawlers)).spider
    process.start()

    for event in spider.found_events: print(event)

课后习题： 用scrapy爬取https://china-testing.github.io/首页的博客标题，共10条。

参考答案：

03_blog_with_scrapy.py


from scrapy.crawler import CrawlerProcess

class PythonEventsSpider(scrapy.Spider):
    name = 'pythoneventsspider'

    start_urls = ['https://china-testing.github.io/',]
    found_events = []

    def parse(self, response):
        for event in response.xpath('//article//h1'):
            event_details = dict()
            event_details['name'] = event.xpath('a/text()').extract_first()
            self.found_events.append(event_details)

if __name__ == "__main__":
    process = CrawlerProcess({ 'LOG_LEVEL': 'ERROR'})
    process.crawl(PythonEventsSpider)
    spider = next(iter(process.crawlers)).spider
    process.start()

    for event in spider.found_events: print(event)

Selenium和PhantomJs爬取Python.org

04_events_with_selenium.py


from selenium import webdriver

def get_upcoming_events(url):
    driver = webdriver.Chrome()
    driver.get(url)

    events = driver.find_elements_by_xpath('//ul[contains(@class, "list-recent-events")]/li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find_element_by_xpath('h3[@class="event-title"]/a').text
        event_details['location'] = event.find_element_by_xpath('p/span[@class="event-location"]').text
        event_details['time'] = event.find_element_by_xpath('p/time').text
        print(event_details)

    driver.close()

get_upcoming_events('https://www.python.org/events/python-events/')

改用driver = webdriver.PhantomJS('phantomjs')可以使用无界面的方式，代码如下：

05_events_with_phantomjs.py


from selenium import webdriver

def get_upcoming_events(url):
    driver = webdriver.Chrome()
    driver.get(url)

    events = driver.find_elements_by_xpath('//ul[contains(@class, "list-recent-events")]/li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find_element_by_xpath('h3[@class="event-title"]/a').text
        event_details['location'] = event.find_element_by_xpath('p/span[@class="event-location"]').text
        event_details['time'] = event.find_element_by_xpath('p/time').text
        print(event_details)

    driver.close()

get_upcoming_events('https://www.python.org/events/python-events/')

不过selenium的headless模式已经可以更好的代替phantomjs了。

04_events_with_selenium_headless.py


from selenium import webdriver

def get_upcoming_events(url):
    
    options = webdriver.ChromeOptions()
    options.add_argument('headless')
    driver = webdriver.Chrome(chrome_options=options)
    driver.get(url)

    events = driver.find_elements_by_xpath('//ul[contains(@class, "list-recent-events")]/li')

    for event in events:
        event_details = dict()
        event_details['name'] = event.find_element_by_xpath('h3[@class="event-title"]/a').text
        event_details['location'] = event.find_element_by_xpath('p/span[@class="event-location"]').text
        event_details['time'] = event.find_element_by_xpath('p/time').text
        print(event_details)

    driver.close()

get_upcoming_events('https://www.python.org/events/python-events/')

参考资料

文章标签：
Python
数据采集
数据挖掘
关键词：
Python入门
爬虫python
Python爬虫
爬虫入门
Python爬虫入门
python人工智能命理
目录
相关文章
桃李春风一杯酒
|
13天前
|
数据采集 存储 API
网络爬虫与数据采集：使用Python自动化获取网页数据
【4月更文挑战第12天】本文介绍了Python网络爬虫的基础知识，包括网络爬虫概念（请求网页、解析、存储数据和处理异常）和Python常用的爬虫库requests（发送HTTP请求）与BeautifulSoup（解析HTML）。通过基本流程示例展示了如何导入库、发送请求、解析网页、提取数据、存储数据及处理异常。还提到了Python爬虫的实际应用，如获取新闻数据和商品信息。
桃李春风一杯酒
33 2
java开发-郭老师
|
17天前
|
数据采集 Python
【python】爬虫-西安医学院-校长信箱
本文以西安医学院-校长信箱为基础来展示爬虫案例。来介绍python爬虫。
java开发-郭老师
19 0
【python】爬虫-西安医学院-校长信箱
Lêvï
|
1天前
|
Python
Python从入门到精通：深入学习面向对象编程——2.1.2继承、封装和多态的概念
Python从入门到精通：深入学习面向对象编程——2.1.2继承、封装和多态的概念
Lêvï
17 0
Lêvï
|
1天前
|
存储 索引 Python
Python从入门到精通——1.3.1练习编写简单程序
Python从入门到精通——1.3.1练习编写简单程序
Lêvï
11 0
Lêvï
|
1天前
|
开发框架 前端开发 数据库
Python从入门到精通：3.3.2 深入学习Python库和框架：Web开发框架的探索与实践
Python从入门到精通：3.3.2 深入学习Python库和框架：Web开发框架的探索与实践
Lêvï
9 1
Lêvï
|
1天前
|
数据采集 数据可视化 数据处理
Python从入门到精通的文章3.3.1 深入学习Python库和框架：数据处理与可视化的利器
Python从入门到精通的文章3.3.1 深入学习Python库和框架：数据处理与可视化的利器
Lêvï
5 0
Lêvï
|
1天前
|
Java 数据库连接 数据处理
Python从入门到精通：3.1.2多线程与多进程编程
Python从入门到精通：3.1.2多线程与多进程编程
Lêvï
6 1
Lêvï
|
1天前
|
存储 网络协议 关系型数据库
Python从入门到精通：2.3.2数据库操作与网络编程——学习socket编程，实现简单的TCP/UDP通信
Python从入门到精通：2.3.2数据库操作与网络编程——学习socket编程，实现简单的TCP/UDP通信
Lêvï
9 0
长梦
|
3天前
|
数据采集 存储 JSON
Python爬虫面试：requests、BeautifulSoup与Scrapy详解
【4月更文挑战第19天】本文聚焦于Python爬虫面试中的核心库——requests、BeautifulSoup和Scrapy。讲解了它们的常见问题、易错点及应对策略。对于requests，强调了异常处理、代理设置和请求重试；BeautifulSoup部分提到选择器使用、动态内容处理和解析效率优化；而Scrapy则关注项目架构、数据存储和分布式爬虫。通过实例代码，帮助读者深化理解并提升面试表现。
长梦
13 0
1941623231718325
|
6天前
|
数据采集 JavaScript 前端开发
使用Python打造爬虫程序之破茧而出：Python爬虫遭遇反爬虫机制及应对策略
【4月更文挑战第19天】本文探讨了Python爬虫应对反爬虫机制的策略。常见的反爬虫机制包括User-Agent检测、IP限制、动态加载内容、验证码验证和Cookie跟踪。应对策略包括设置合理User-Agent、使用代理IP、处理动态加载内容、验证码识别及维护Cookie。此外，还提到高级策略如降低请求频率、模拟人类行为、分布式爬虫和学习网站规则。开发者需不断学习新策略，同时遵守规则和法律法规，确保爬虫的稳定性和合法性。
1941623231718325
15 1

热门文章

最新文章

  • 1
    网络爬虫与数据采集：使用Python自动化获取网页数据
  • 2
    Rust高级爬虫：如何利用Rust抓取精美图片
  • 3
    掌握 C# 爬虫技术：使用 HttpClient 获取今日头条内容
  • 4
    python并发编程:Python实现生产者消费者爬虫
  • 5
    畅游网络：构建C++网络爬虫的指南
  • 6
    【python】爬虫-西安医学院-校长信箱
  • 7
    简单描述一下爬虫的工作原理。
  • 8
    Python爬虫如何快速入门
  • 9
    阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态
  • 10
    使用Python实现DBSCAN聚类算法
  • 1
    Python用机器学习算法进行因果推断与增量、增益模型Uplift Modeling智能营销模型
    28
  • 2
    Python用RNN神经网络：LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测
    42
  • 3
    PYTHON用时变马尔可夫区制转换（MARKOV REGIME SWITCHING）自回归模型分析经济时间序列
    13
  • 4
    数据分享|Python决策树、随机森林、朴素贝叶斯、KNN（K-最近邻居）分类分析银行拉新活动挖掘潜在贷款客户
    20
  • 5
    Python监控主机是否存活,并发报警邮件
    5
  • 6
    【Python实用技能】建议收藏：自动化实现网页内容转PDF并保存的方法探索（含代码，亲测可用）
    20
  • 7
    Python 妙用运算符重载——玩出“点”花样来（上）
    25
  • 8
    python 教你如何创建一个自定义库 colorlib.py
    17
  • 9
    Python 一步一步教你用pyglet制作汉诺塔游戏
    14
  • 10
    Python变量类型
    8

    • 相关课程

    更多
  • Python语言基础 - 语法入门
  • Python语言基础 - 列表、元组、字典、集合
  • Python Web 框架 Flask 快速入门
  • Python Web开发基础
  • Python爬虫实战
  • Python网络爬虫实战

    • 相关电子书

    更多
  • Improving Python and Spark Per
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:

    • 相关实验场景

    更多
  • Python新手入门
  • Python入门
  • 重温童年的“五子棋”，赢取专属阿里云Serverless证书
  • Python选择及循环结构
  • Python新手入门（Anolis OS）
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）