Python 爬虫是一种强大的工具，用于从互联网上自动抓取数据。这里，我将为你介绍一些基本的 Python 爬虫知识，并通过一个简单的示例代码来演示如何从一个网页中提取数据。我们将使用 Python 中非常流行的库 requests 来发送 HTTP 请求，以及 BeautifulSoup 来解析 HTML 页面。
爬虫基础知识
- HTTP 请求：爬虫通过发送 HTTP 请求（如 GET 或 POST）来从服务器获取数据。
- HTML 解析：获取到 HTML 页面后，需要对其进行解析以提取所需的数据。常用的库有 BeautifulSoup 和 lxml。
- 反爬虫机制：许多网站为了保护其数据，会设置各种反爬虫机制，如用户代理检查、IP 频率限制、验证码等。
- 数据存储：提取的数据可以保存到本地文件、数据库或进行进一步处理。
示例代码
以下是一个简单的 Python 爬虫示例，用于从某个网站（这里以假设的 http://example.com 为例）抓取标题和链接。
首先，确保你已经安装了 requests 和 beautifulsoup4 库。如果没有安装，可以通过 pip 安装：
pip install requests beautifulsoup4
然后，编写爬虫代码：
import requests
from bs4 import BeautifulSoup
def fetch_web_data(url):
# 发送 HTTP GET 请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
# 检查请求是否成功
if response.status_code == 200:
# 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 假设我们想要抓取所有 <a> 标签的文本和 href
for link in soup.find_all('a'):
print(f"Text: {link.get_text(strip=True)}")
print(f"URL: {link['href']}")
print("----------")
else:
print(f"Failed to retrieve data from {url}. Status code: {response.status_code}")
# 示例 URL
url = 'http://example.com'
fetch_web_data(url)
代码解释
- 导入库：首先导入
requests和BeautifulSoup。 - 定义函数：
fetch_web_data函数接受一个 URL 作为参数。 - 发送请求：使用
requests.get()发送 GET 请求，并设置一个合适的User-Agent来模拟浏览器访问。 - 检查响应：通过
response.status_code检查请求是否成功。 - HTML 解析：使用
BeautifulSoup解析响应的文本内容。 - 提取数据：通过
find_all('a')查找所有<a>标签，并打印其文本和href属性。
注意
- 合法性：在编写爬虫时，请确保你的行为符合目标网站的
robots.txt文件规定，并尊重网站的版权和数据政策。 - 性能：考虑添加适当的延迟（如使用
time.sleep()）以减少对目标网站的请求频率。 - 异常处理：在实际应用中，应添加适当的异常处理机制来捕获和处理网络错误等问题。
以上就是一个基本的 Python 爬虫示例和相关知识介绍。希望这能帮助你开始你的爬虫之旅！
