一、为什么选择Requests和BeautifulSoup？
在Python的众多网络爬虫框架中，Requests和BeautifulSoup因其简洁易用和强大的功能而脱颖而出。Requests是一个简单易用的HTTP库，支持多种HTTP请求方式，能够轻松地发送请求并获取网页内容。而BeautifulSoup则专注于HTML和XML文档的解析，能够快速提取网页中的关键信息。两者的结合，使得开发者可以高效地完成从网页抓取到数据提取的全过程。
二、环境准备
在开始编写爬虫之前，需要确保已安装以下Python库：
- Requests：用于发送HTTP请求。
- BeautifulSoup：用于解析HTML文档。
- lxml（可选）：作为BeautifulSoup的解析器，提供更快的解析速度。
三、使用Requests发送请求
Requests是一个简单易用的HTTP库，支持多种HTTP请求方式，能够轻松地发送请求并获取网页内容。以下是一个基本的示例，展示如何使用Requests获取网页内容：
import requests
目标网页URL
url = "http://example.com"
发送GET请求
response = requests.get(url)
检查请求是否成功
if response.status_code == 200:
print("请求成功！")
html_content = response.text # 获取网页的HTML内容
else:
print(f"请求失败，状态码：{response.status_code}")
在实际应用中，我们可能需要处理一些复杂的请求，例如设置请求头、使用代理服务器或处理重定向。Requests提供了丰富的功能来支持这些需求。
四、配置代理服务器
为了提高爬虫的稳定性和安全性，我们通常会使用代理服务器。代理服务器可以帮助隐藏真实的IP地址，避免被目标网站封禁。以下是如何在Requests中配置代理服务器的代码示例：
import requests
from requests.auth import HTTPProxyAuth
代理服务器信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"
配置代理
proxies = {
"http": f"http://{proxyHost}:{proxyPort}",
"https": f"https://{proxyHost}:{proxyPort}"
}
配置代理认证
proxy_auth = HTTPProxyAuth(proxyUser, proxyPass)
发送请求
url = "http://example.com"
response = requests.get(url, proxies=proxies, auth=proxy_auth)
检查请求是否成功
if response.status_code == 200:
print("请求成功！")
html_content = response.text # 获取网页的HTML内容
else:
print(f"请求失败，状态码：{response.status_code}")
在上述代码中，我们通过proxies参数配置了代理服务器的地址和端口，并通过HTTPProxyAuth类配置了代理的用户名和密码。这样，Requests会通过代理服务器发送请求，从而隐藏真实的IP地址。
五、使用BeautifulSoup解析HTML
获取到网页的HTML内容后，下一步是提取其中的有用信息。BeautifulSoup是一个强大的HTML解析库，能够轻松地解析HTML文档并提取所需的数据。以下是一个示例，展示如何使用BeautifulSoup解析HTML并提取特定标签的内容：
from bs4 import BeautifulSoup
假设html_content是通过Requests获取的HTML内容
soup = BeautifulSoup(html_content, "html.parser")
提取所有标签的href属性
for link in soup.find_all("a"):
print(link.get("href"))
BeautifulSoup支持多种解析器，如html.parser和lxml。lxml解析器通常比html.parser更快，但需要额外安装lxml库。如果需要更高的解析效率，可以在创建BeautifulSoup对象时指定lxml解析器：
soup = BeautifulSoup(html_content, "lxml")
六、下载网页中的资源
在许多情况下，我们不仅需要提取网页中的文本信息，还需要下载网页中的资源，如图片、音频或视频。以下是一个示例，展示如何使用Requests和BeautifulSoup下载网页中的图片：
import os
提取网页中的所有标签
for img in soup.find_all("img"):
img_url = img.get("src")
if img_url:
# 发送请求下载图片
img_response = requests.get(img_url, proxies=proxies, auth=proxy_auth)
if img_response.status_code == 200:
# 提取图片文件名
img_name = os.path.basename(img_url)
with open(img_name, "wb") as img_file:
img_file.write(img_response.content)
print(f"图片下载完成：{img_name}")
else:
print(f"下载失败：{img_url}")
在上述代码中，我们首先通过BeautifulSoup提取了网页中所有标签的src属性，然后使用Requests发送请求下载图片。下载完成后，将图片内容写入本地文件。
七、优化与扩展
- 异步请求
在实际应用中，同步请求可能会导致爬虫效率低下，尤其是当需要下载大量资源时。为了提高效率，可以使用asyncio和aiohttp库实现异步请求。以下是一个简单的异步请求示例：
import asyncio
import aiohttp
from bs4 import BeautifulSoup
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def download_audio_async(url):
proxy = "http://www.16yun.cn:5445"
proxy_auth = aiohttp.BasicAuth("16QMSOML", "280651")
async with aiohttp.ClientSession() as session:
html_content = await fetch(session, url)
soup = BeautifulSoup(html_content, "html.parser")
tasks = []
for audio in soup.find_all("audio"):
audio_url = audio.get("src")
if audio_url:
tasks.append(asyncio.create_task(download_file(session, audio_url)))
await asyncio.gather(*tasks)
async def download_file(session, url):
async with session.get(url) as response:
if response.status == 200:
audio_name = url.split("/")[-1]
with open(audio_name, "wb") as audio_file:
while True:
chunk = await response.content.read(1024)
if not chunk:
break
audio_file.write(chunk)
print(f"音频文件下载完成：{audio_name}")
else:
print(f"下载失败：{url}")
示例用法
url = "http://example.com/audio_page"
asyncio.run(download_audio_async(url))
在上述代码中，我们使用aiohttp库发送异步请求，并通过asyncio.gather同时下载多个音频文件，从而显著提高了爬虫的效率。
- 数据存储
下载的资源可以保存到本地文件系统，也可以存储到数据库或其他存储服务中。例如，可以使用SQLite数据库存储下载的音频文件信息：
import sqlite3
创建数据库连接
conn = sqlite3.connect("audio_files.db")
cursor = conn.cursor()
创建表
cursor.execute("""
CREATE TABLE IF NOT EXISTS audio_files (
id INTEGER PRIMARY KEY AUTOINCREMENT,
filename TEXT,
url TEXT,
download_time TEXT
)
""")
插入数据
def insert_audio_info(filename, url):
cursor.execute("""
INSERT INTO audio_files (filename, url, download_time)
VALUES (?, ?, DATETIME('now'))
""", (filename, url))
conn.commit()
在下载函数中调用
def download_audio(url):
# 省略爬虫代码...
audio_name = os.path.basename(audio_url)
insert_audio_info(audio_name, audio_url)
关闭数据库连接
conn.close()
- 错误处理
网络请求可能会遇到各种异常，如超时、连接错误等。为了提高爬虫的稳定性，建议使用try-except语句进行异常处理：
try:
response = requests.get(url, proxies=proxies, auth=proxy_auth, timeout=10)
response.raise_for_status() # 检查请求是否成功
except requests.exceptions.RequestException as e:
print(f"请求失败：{e}")
总结
总结
Requests和BeautifulSoup是Python中两个非常强大的库，它们的结合可以高效地完成网页解析和资源下载的任务。通过本文的介绍，读者应该能够掌握如何使用这两个库，并结合代理服务器实现高效、稳定的爬虫程序。在实际应用中，可以根据需求进一步扩展和优化爬虫的功能
