如何使用Selenium Python爬取动态表格中的多语言和编码格式

简介: Selenium是一个用于自动化Web浏览器的工具,它可以模拟用户的操作,如点击、输入、滚动等。Selenium也可以用于爬取网页中的数据,特别是对于那些动态生成的内容,如表格、图表、下拉菜单等。本文将介绍如何使用Selenium Python爬取一个动态表格中的多语言和编码格式的数据,并将其保存为CSV文件。

亿牛云代理.jpeg

正文

Selenium是一个用于自动化Web浏览器的工具,它可以模拟用户的操作,如点击、输入、滚动等。Selenium也可以用于爬取网页中的数据,特别是对于那些动态生成的内容,如表格、图表、下拉菜单等。本文将介绍如何使用Selenium Python爬取一个动态表格中的多语言和编码格式的数据,并将其保存为CSV文件。

特点

  • Selenium可以处理JavaScript渲染的网页,而不需要额外的库或工具。
  • Selenium可以支持多种浏览器,如Chrome、Firefox、Edge等,只需要安装相应的驱动程序。
  • Selenium可以模拟用户的交互行为,如点击、滑动、拖拽等,以获取更多的数据或触发事件。
  • Selenium可以使用XPath、CSS选择器等定位元素,以提取所需的数据。
  • Selenium可以处理多语言和编码格式的数据,如中文、日文、UTF-8等,只需要设置相应的参数。

案例

假设我们要爬取一个网站上的一个动态表格,该表格显示了不同国家和地区的人口数据

  • 表格是动态生成的,每隔一段时间就会更新数据。
  • 表格有分页功能,每页显示10行数据,共有5页。
  • 表格有多语言选项,可以切换显示英文或中文。
  • 表格有编码格式选项,可以切换显示UTF-8或GBK。

我们的目标是爬取该表格中所有的数据,并将其保存为CSV文件,同时保留多语言和编码格式的信息。
为了实现这个目标,我们需要以下步骤:

  1. 导入所需的库和模块,如selenium、csv、time等。
  2. 创建一个webdriver对象,指定使用firefox浏览器,并设置代理服务器和验证信息。
  3. 打开目标网址,并等待页面加载完成。
  4. 定位表格元素,并获取表头和表体的数据。
  5. 循环点击分页按钮,并获取每一页的数据。
  6. 切换语言选项,并重复步骤4和5。
  7. 切换编码格式选项,并重复步骤4和5。
  8. 将所有数据保存为CSV文件,并关闭浏览器。

代码

下面是根据上述步骤实现的代码:

# 导入所需的库和模块
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import csv
import time

# 创建一个webdriver对象,指定使用firefox浏览器,并设置代理服务器和验证信息
# 亿牛云 爬虫代理加强版 
proxyHost = "www.16yun.cn"
proxyPort = "3111"
proxyUser = "16YUN"
proxyPass = "16IP"

profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxyHost)
profile.set_preference("network.proxy.http_port", int(proxyPort))
profile.set_preference("network.proxy.ssl", proxyHost)
profile.set_preference("network.proxy.ssl_port", int(proxyPort))
profile.set_preference("network.proxy.no_proxies_on", "localhost, 127.0.0.1")
profile.update_preferences()
driver = webdriver.Firefox(firefox_profile=profile)

# 打开目标网址,并等待页面加载完成
url = "https://example.com/population-table"
driver.get(url)
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.ID, "table")))

# 定义一个函数,用于获取表格中的数据
def get_table_data():
    # 定位表格元素,并获取表头和表体的数据
    table = driver.find_element_by_id("table")
    header = table.find_element_by_tag_name("thead")
    header_data = [item.text for item in header.find_elements_by_tag_name("th")]
    body = table.find_element_by_tag_name("tbody")
    body_data = []
    rows = body.find_elements_by_tag_name("tr")
    for row in rows:
        cols = row.find_elements_by_tag_name("td")
        cols_data = [item.text for item in cols]
        body_data.append(cols_data)
    # 返回表头和表体的数据
    return header_data, body_data

# 定义一个列表,用于存储所有的数据
all_data = []

# 循环点击分页按钮,并获取每一页的数据
pages = driver.find_elements_by_class_name("page-item")
for page in pages:
    page.click()
    time.sleep(1)
    header_data, body_data = get_table_data()
    all_data.extend(body_data)

# 切换语言选项,并重复步骤4和5
language = driver.find_element_by_id("language")
language.click()
time.sleep(1)
pages = driver.find_elements_by_class_name("page-item")
for page in pages:
    page.click()
    time.sleep(1)
    header_data, body_data = get_table_data()
    all_data.extend(body_data)

# 切换编码格式选项,并重复步骤4和5
encoding = driver.find_element_by_id("encoding")
encoding.click()
time.sleep(1)
pages = driver.find_elements_by_class_name("page-item")
for page in pages:
    page.click()
    time.sleep(1)
    header_data, body_data = get_table_data()
    all_data.extend(body_data)

# 将所有数据保存为CSV文件,并关闭浏览器
with open("population.csv", "w", newline="", encoding="utf-8") as f:
    writer = csv.writer(f)
    writer.writerow(header_data)
    writer.writerows(all_data)
driver.quit()

代码说明

  • 第1行到第8行,导入所需的库和模块,如selenium、csv、time等。
  • 第10行到第24行,创建一个webdriver对象,指定使用firefox浏览器,并设置代理服务器和验证信息,这是为了防止被目标网站屏蔽或限制访问。
  • 第26行到第29行,打开目标网址,并等待页面加载完成,这是为了确保表格元素已经出现在页面上。
  • 第31行到第44行,定义一个函数,用于获取表格中的数据,该函数接受无参数,返回两个列表,分别是表头和表体的数据。函数内部使用XPath定位表格元素,并使用列表推导式提取每个单元格的文本内容。
  • 第46行,定义一个列表,用于存储所有的数据,该列表将包含多语言和编码格式的数据。
  • 第48行到第53行,循环点击分页按钮,并获取每一页的数据,这是为了爬取表格中所有的数据。使用find_elements_by_class_name方法定位分页按钮,并使用click方法模拟点击。每次点击后,使用time.sleep方法等待1秒,以确保页面更新完成。然后调用get_table_data函数获取当前页面的数据,并使用extend方法将其添加到all_data列表中。
  • 第55行到第61行,切换语言选项,并重复步骤4和5,这是为了爬取表格中不同语言的数据。使用find_element_by_id方法定位语言选项,并使用click方法模拟点击。每次点击后,使用time.sleep方法等待1秒,以确保页面更新完成。然后重复步骤4和5的操作。
  • 第63行到第69行,切换编码格式选项,并重复步骤4和5,这是为了爬取表格中不同编码格式的数据。使用find_element_by_id方法定位编码格式选项,并使用click方法模拟点击。

    结语

    本文介绍了如何使用Selenium Python爬取一个动态表格中的多语言和编码格式的数据,并将其保存为CSV文件。通过使用Selenium,我们可以处理JavaScript渲染的网页,支持多种浏览器,模拟用户的交互行为,定位元素,提取数据,处理多语言和编码格式等。Selenium是一个强大而灵活的工具,可以用于各种Web爬虫的场景。希望本文对你有所帮助和启发。
相关文章
|
28天前
|
Web App开发 前端开发 JavaScript
探索Python科学计算的边界:利用Selenium进行Web应用性能测试与优化
【10月更文挑战第6天】随着互联网技术的发展,Web应用程序已经成为人们日常生活和工作中不可或缺的一部分。这些应用不仅需要提供丰富的功能,还必须具备良好的性能表现以保证用户体验。性能测试是确保Web应用能够快速响应用户请求并处理大量并发访问的关键步骤之一。本文将探讨如何使用Python结合Selenium来进行Web应用的性能测试,并通过实际代码示例展示如何识别瓶颈及优化应用。
94 5
|
8天前
|
数据采集 Web App开发 前端开发
Python爬虫进阶:Selenium在动态网页抓取中的实战
【10月更文挑战第26天】动态网页抓取是网络爬虫的难点,因为数据通常通过JavaScript异步加载。Selenium通过模拟浏览器行为,可以加载和执行JavaScript,从而获取动态网页的完整内容。本文通过实战案例,介绍如何使用Selenium在Python中抓取动态网页。首先安装Selenium库和浏览器驱动,然后通过示例代码展示如何抓取英国国家美术馆的图片信息。
26 6
|
27天前
|
数据采集 Web App开发 数据可视化
Python爬虫教程:Selenium可视化爬虫的快速入门
Python爬虫教程:Selenium可视化爬虫的快速入门
|
1月前
|
测试技术 数据安全/隐私保护 开发者
自动化测试的奥秘:如何用Selenium和Python提升软件质量
【9月更文挑战第35天】在软件开发的海洋中,自动化测试是那艘能引领我们穿越波涛的帆船。本文将揭开自动化测试的神秘面纱,以Selenium和Python为工具,展示如何构建一个简单而强大的自动化测试框架。我们将从基础出发,逐步深入到高级应用,让读者能够理解并实现自动化测试脚本,从而提升软件的质量与可靠性。
|
2月前
|
Python
python第三方库-字符串编码工具 chardet 的使用(python3经典编程案例)
这篇文章介绍了如何使用Python的第三方库chardet来检测字符串的编码类型,包括ASCII、GBK、UTF-8和日文编码的检测示例。
103 6
|
2月前
|
Python
Python 中如何指定 open 编码为ANSI
Python 中如何指定 open 编码为ANSI
|
2月前
|
Web App开发 测试技术 持续交付
自动化测试的利器:Selenium与Python的完美结合
【9月更文挑战第21天】在软件开发的世界里,测试是确保产品质量的关键步骤。随着敏捷开发和持续集成的流行,自动化测试工具变得尤为重要。本文将介绍如何使用Selenium和Python进行高效的自动化测试,不仅提供代码示例,还深入探讨如何设计测试用例、选择正确的测试框架、以及如何整合到CI/CD流程中。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的见解和实用的技巧。
45 3
|
3月前
|
Web App开发 测试技术 API
自动化测试之美:使用Selenium和Python进行Web应用测试
【8月更文挑战第31天】在软件开发的快节奏世界中,自动化测试如同一束明灯,照亮了质量保证之路。本文将引导你通过Selenium和Python的强大组合,探索如何构建高效的Web应用测试框架。我们不仅会讨论理论,还会深入代码,从一个简单的示例开始,逐步扩展至更复杂的场景。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的见解和实用的技巧。让我们一同揭开自动化测试的神秘面纱,体验它的魅力所在。
|
2月前
|
敏捷开发 测试技术 持续交付
自动化测试之美:如何用Selenium和Python打造高效测试脚本
【9月更文挑战第13天】在软件开发的海洋中,自动化测试是那抹不可或缺的亮色。它不仅提升了测试效率,还保障了产品质量。本文将带你领略使用Selenium和Python构建自动化测试脚本的魅力所在,从环境的搭建到脚本的编写,再到问题的排查,每一步都是对软件质量把控的深刻理解和实践。让我们开始这段探索之旅,解锁自动化测试的秘密吧!
59 0
|
3月前
|
Web App开发 测试技术 持续交付
探索自动化测试:以Selenium和Python为例
【8月更文挑战第31天】自动化测试在现代软件开发中扮演着不可或缺的角色。本文将通过一个简化的示例,展示如何使用Selenium和Python进行Web应用的自动化测试。我们将从安装必要的工具开始,逐步构建一个简单的测试脚本,并执行它来验证其功能。通过这个过程,我们旨在揭示自动化测试的价值,并激励读者深入探索这一领域。