探索 DrissionPage: 强大的Python网页自动化工具
在当今数字化时代，数据的快速获取与处理能力成为了企业和个人成功的关键。在众多自动化工具中，DrissionPage 以其独特的功能和强大的性能脱颖而出，成为了Python开发者的得力助手。本文将深入探讨DrissionPage的核心特性，以及如何利用它来优化网页自动化任务。
简介
DrissionPage是一个基于Python的网页自动化工具，它巧妙地结合了浏览器自动化的便利性和requests库的高效率。这一工具不仅功能强大，还内置了无数人性化设计和便捷功能，使其成为开发者和数据分析师的理想选择。
核心特性
DrissionPage提供了三种主要的页面对象：ChromiumPage、WebPage和SessionPage，每种对象都针对特定的使用场景进行了优化。
ChromiumPage：这个页面对象专注于直接操作浏览器，适合需要与页面进行交互的场景，如点击、输入文本和执行JavaScript脚本等。尽管功能强大，但ChromiumPage的性能受限于浏览器，可能在运行速度和内存占用上不如其他两种页面对象。
WebPage：这是一个综合性的页面对象，它整合了浏览器控制和数据包的收发功能。WebPage支持两种模式：d模式用于浏览器操作，而s模式则专注于数据包的处理。d模式功能强大，但运行速度较慢；s模式则速度更快，适合在数据包较简单的情况下使用。
SessionPage：这是一个轻量级的页面对象，专门用于发送和接收数据包，适合不需要页面交互的爬取任务。SessionPage的高效性能使其成为处理大规模数据爬取的理想选择。
使用示例
DrissionPage的使用非常直观，以下是一些基本的操作示例：
操控浏览器：使用ChromiumPage对象，可以轻松实现浏览器的自动化操作，如登录、填写表单等。
from DrissionPage import ChromiumPage page = ChromiumPage() page.get('https://gitee.com/login') ele = page.ele('#user_login') ele.input('您的账号') page.ele('#user_password').input('您的密码') page.ele('@value=登 录').click()爬取数据：使用SessionPage对象，可以高效地进行数据爬取，无需与页面进行复杂的交互。
from DrissionPage import SessionPage page = SessionPage() for i in range(1, 4): page.get(f'https://gitee.com/explore/all?page={i}') links = page.eles('.title project-namespace-path') for link in links: print(link.text, link.link)页面分析：使用WebPage对象，可以在浏览器和数据包模式之间灵活切换，以适应不同的分析需求。
from DrissionPage import WebPage page = WebPage() page.get('https://gitee.com/explore/all') page.change_mode() items = page.ele('.ui relaxed divided items explore-repo__list').eles('.item') for item in items: print(item('t:h3').text) print(item('.project-desc mb-1').text)
学习笔记
# DrissionPage 是一个基于 python 的网页自动化工具。 DrissionPage官方的文档：https://www.drissionpage.cn/
# 可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。
# page = SessionPage() / WebPage() / ChromiumPage()
# ChromiumPage：单纯用于操作浏览器的页面对象 登录
# WebPage：整合浏览器控制和收发数据包于一体的页面对象 页面分析 d 模式和 s 模式
# d 模式用于控制浏览器，不仅可以读取浏览器获取到的信息，还能对页面进行操作，如点击、填写、开关标签页、改变元素属性、执行 js 脚本等等。
# d 模式功能强大，但运行速度受浏览器制约非常缓慢，而且需要占用大量内存。
# s 模式的运行速度比 d 模式快几个数量级，但只能基于数据包进行读取或发送，不能对页面进行操作，不能运行 js。
# 爬取数据时，如网站数据包较为简单，应首选 s 模式。
# SessionPage：单纯用于收发数据包的页面对象 爬取 不会跳出
# page.change_mode() 切换到收发数据包模式 切换的时候程序会在新模式重新访问当前 url 有验证码和页面数据由 js 产生先d后s
# page.get(f'url') 跳转url
# page.ele('a***') # 定位元素
# #表示按id属性查找元素 @表示按属性名查找 .表示按class属性查找元素 t:字的大小，例如t:h3 tag:a 获取其子元素中所有 a 元素
# ele.input('您的密码') # 输入文本
# ele.click() # 点击元素
# page.eles('t:button@tx():') 搜索表示选择一个类型为按钮的元素，且其文本内容为搜索
# page.s_eles 更快的获取元素
# s_eles()与eles()的区别在于前者会把整个页面或动态元素转变成一个静态元素，再在其中获取下级元素或信息。因为静态元素是纯文本的，没有各种属性、交互等消耗资源的部分，所以运行速度非常快。
# ele.next() # 获取后一个元素
# ele.prev(index=2) # 获取前面第二个元素
# page.quit() 关闭
# from TimePinner import Pinner # 导入计时工具
# pinner = Pinner() # 创建计时器对象
# pinner.pin() # 标记开始记录
# pinner.pin('用时') # 记录并打印时间
from DrissionPage import ChromiumPage
# ##操控浏览器
#
# 导入库
# from DrissionPage import ChromiumPage
#
# # 创建页面对象，并启动或接管浏览器
# page = ChromiumPage()
# # 跳转到登录页面
# page.get('https://gitee.com/login')
#
# # 定位到账号文本框，获取文本框元素
# ele = page.ele('#user_login') # #表示按id属性查找元素
# # 输入对文本框输入账号
# ele.input('您的账号')
# # 定位到密码文本框并输入密码
# page.ele('#user_password').input('您的密码')
# # 点击登录按钮
# page.ele('@value=登 录').click() # @表示按属性名查找
#
#
# ## 爬取
# # 收发数据包
#
# from DrissionPage import SessionPage
#
# # 创建页面对象
# page = SessionPage()
#
# # 爬取3页
# for i in range(1, 4):
# # 访问某一页的网页
# page.get(f'https://gitee.com/explore/all?page={i}')
# # 获取所有开源库<a>元素列表
# links = page.eles('.title project-namespace-path')
# # 遍历所有<a>元素
# for link in links:
# # 打印链接信息
# print(link.text, link.link)
#
# # 页面分析
#
# from DrissionPage import WebPage
#
# # 创建页面对象
# page = WebPage()
# # 访问网址
# page.get('https://gitee.com/explore/all')
# # 切换到收发数据包模式
# page.change_mode()
# # 获取所有行元素
# items = page.ele('.ui relaxed divided items explore-repo__list').eles('.item')
# # 遍历获取到的元素
# for item in items:
# # 打印元素文本
# print(item('t:h3').text)
# print(item('.project-desc mb-1').text)
# print()
结论
DrissionPage是一个功能全面、性能卓越的网页自动化工具，它通过提供灵活的页面对象和强大的功能，使得开发者能够轻松应对各种网页自动化任务。无论是复杂的浏览器交互还是大规模的数据爬取，DrissionPage都能提供高效的解决方案。随着技术的不断进步，DrissionPage有望成为更多开发者的首选工具。
