Python爬虫解析动态网页：从渲染到数据提取

2025-06-03 210

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

实时计算 Flink 版，5000CU*H 3个月

智能开放搜索 OpenSearch行业算法版，1GB 20LCU 1个月

实时数仓Hologres，5000CU*H 100GB 3个月

简介： Python爬虫解析动态网页：从渲染到数据提取

一、动态网页与静态网页的区别
在开始之前，我们需要理解动态网页与静态网页的区别。静态网页的内容在服务器端是固定的，每次请求都会返回相同的结果，通常以HTML文件的形式存储。而动态网页则不同，其内容是通过JavaScript在客户端动态生成的，服务器返回的HTML代码可能只包含一些基础的框架，而真正的数据则需要通过JavaScript代码执行后才能显示出来。
例如，许多现代的新闻网站、社交媒体平台和电商平台都大量使用动态加载技术。当我们打开一个动态网页时，浏览器会首先加载一个基本的HTML框架，然后通过JavaScript代码向服务器请求数据，并将其渲染到页面上。这就使得传统的基于HTML解析的爬虫技术无法直接获取到完整的数据。
二、Python爬虫解析动态网页的工具
为了应对动态网页的挑战，我们需要借助一些特殊的工具和技术。Python提供了多种强大的库，可以帮助我们实现动态网页的解析和数据提取。
（一）Selenium
Selenium是一个自动化测试工具，但它也可以用于爬虫项目。它能够模拟浏览器的行为，加载完整的动态网页，执行JavaScript代码，并获取最终渲染后的页面内容。Selenium支持多种浏览器，如Chrome、Firefox等，通过安装相应的浏览器驱动程序，可以实现对网页的完全控制。
（二）Pyppeteer
Pyppeteer是基于Chromium浏览器的无头浏览器工具，它是Puppeteer的Python实现。与Selenium类似，Pyppeteer可以模拟浏览器的行为，加载动态网页并执行JavaScript代码。它具有轻量级、高性能的特点，适合处理复杂的动态网页。
（三）Requests + BeautifulSoup
虽然Requests和BeautifulSoup主要用于静态网页的解析，但在某些情况下，也可以通过分析动态网页的网络请求，直接获取数据。这种方法需要我们仔细分析网页的网络请求，找到数据的来源，然后通过Requests发送请求并使用BeautifulSoup解析返回的数据。
三、使用Selenium解析动态网页
（一）安装Selenium和浏览器驱动
在开始之前，我们需要安装Selenium库和相应的浏览器驱动程序。以Chrome为例，可以通过以下命令安
然后，需要下载Chrome浏览器的驱动程序（ChromeDriver），并将其路径添加到系统的环境变量中。ChromeDriver的版本需要与浏览器的版本相匹配。
（二）代码实现
以下是一个使用Selenium解析动态网页的示例代码：
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time

初始化浏览器驱动

driver = webdriver.Chrome()

打开目标网页

driver.get("https://example.com")

等待页面加载完成

time.sleep(3) # 等待3秒，确保页面渲染完成

查找页面元素并提取数据

try:

# 假设我们要提取页面中的某个元素的文本内容
element = driver.find_element(By.ID, "target_element_id")
data = element.text
print("提取到的数据：", data)

except Exception as e:
print("提取数据时发生错误：", e)

关闭浏览器

driver.quit()
（三）代码解析

初始化浏览器驱动：通过webdriver.Chrome()创建一个Chrome浏览器实例。
打开目标网页：使用driver.get()方法打开目标网页。
等待页面加载完成：由于动态网页需要时间来加载和渲染，因此需要等待一定的时间。这里使用了time.sleep()方法，但在实际应用中，可以使用Selenium提供的等待机制，如WebDriverWait，以更智能地等待页面元素加载完成。
查找页面元素并提取数据：通过driver.find_element()方法查找页面中的目标元素，并提取其文本内容或其他属性。
关闭浏览器：完成数据提取后，使用driver.quit()方法关闭浏览器。
四、使用Pyppeteer解析动态网页
（一）安装Pyppeteer
首先，需要安装Pyppeteer库。可以通过以下命令进行安装：
（二）代码实现
以下是一个使用Pyppeteer解析动态网页的示例代码：
import asyncio
from pyppeteer import launch

async def main():

# 启动浏览器
browser = await launch(headless=False)  # 设置为非无头模式，方便观察
page = await browser.newPage()  # 打开一个新页面

# 打开目标网页
await page.goto("https://example.com")

# 等待页面加载完成
await page.waitForNavigation()

# 查找页面元素并提取数据
try:
    # 假设我们要提取页面中的某个元素的文本内容
    element = await page.querySelector("#target_element_id")
    data = await page.evaluate('(element) => element.textContent', element)
    print("提取到的数据：", data)
except Exception as e:
    print("提取数据时发生错误：", e)

# 关闭浏览器
await browser.close()

运行异步主函数

asyncio.run(main())
（三）代码解析

启动浏览器：通过launch()方法启动浏览器，headless=False表示以非无头模式运行，方便观察浏览器的行为。
打开目标网页：使用page.goto()方法打开目标网页。
等待页面加载完成：page.waitForNavigation()方法用于等待页面加载完成。
查找页面元素并提取数据：通过page.querySelector()方法查找页面中的目标元素，并使用page.evaluate()方法提取其文本内容。
关闭浏览器：完成数据提取后，使用browser.close()方法关闭浏览器。
五、分析网络请求提取数据
在某些情况下，动态网页的数据是通过JavaScript代码向服务器发送请求并获取的。我们可以通过分析网页的网络请求，找到数据的来源，然后直接使用Requests库发送请求并提取数据。
（一）分析网络请求
打开浏览器的开发者工具（F12）。
切换到“网络”（Network）标签页。
刷新网页，观察网络请求。
找到加载数据的请求，查看其URL、请求方法（GET或POST）、请求头和请求参数。
（二）代码实现
以下是一个使用Requests提取动态网页数据的示例代码：
import requests
from requests.auth import HTTPProxyAuth

代理信息

proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

目标网页的网络请求URL

url = "https://example.com/api/data"

请求头信息

headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
"Referer": "https://example.com"
}

请求参数（如果有）

params = {
"param1": "value1",
"param2": "value2"
}

设置代理

proxies = {
"http": f"http://{proxyHost}:{proxyPort}",
"https": f"http://{proxyHost}:{proxyPort}"
}

设置代理认证

proxy_auth = HTTPProxyAuth(proxyUser, proxyPass)

发送请求

response = requests.get(url, headers=headers, params=params, proxies=proxies, auth=proxy_auth)

检查请求是否成功

if response.status_code == 200:

# 提取数据
data = response.json()
print("提取到的数据：", data)

else:
print("请求失败，状态码：", response.status_code)
（三）代码解析

目标网页的网络请求URL：通过分析网络请求，找到加载数据的URL。
请求头信息：设置请求头信息，包括User-Agent、Referer等，以模拟浏览器的行为。
请求参数：如果请求需要携带参数，可以通过params参数传递。
发送请求：使用requests.get()方法发送GET请求，获取数据。
检查请求是否成功：通过检查响应的状态码，判断请求是否成功。如果成功，则提取数据；否则，打印错误信息。
六、动态网页爬虫的注意事项
遵守法律法规：在进行网页爬取时，必须遵守相关法律法规，尊重网站的版权和隐私政策。不要爬取未经授权的数据，避免对网站造成不必要的负担。
设置合理的爬取频率：动态网页的加载和渲染需要消耗服务器资源，因此在爬取数据时，应设置合理的爬取频率，避免对网站造成过大压力。
处理反爬虫机制：许多网站会设置反爬虫机制，如限制IP访问频率、检测User-Agent等。可以通过设置代理IP、随机生成User-Agent等方式来应对反爬虫机制。
数据存储与处理：提取到的数据需要进行合理的存储