一个python网络爬虫关于selenium页面滑动的简单案例
需求如下：
用selenium访问链家网站长沙新房1-5页的数据，并保存下来。滑动，然后点击翻页翻页数据，并保存下来
目标网站：https://cs.fang.lianjia.com/loupan/
过程要求使用面向对象的写法。
代码示例：
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
# 定义类
class LianJia(object):
def __init__(self):
self.driver = webdriver.Chrome()
# 打开页面
self.driver.get('https://cs.fang.lianjia.com/loupan/')
def clear_driver(self):
# 关闭驱动
self.driver.close()
self.driver.quit()
# 代码核心部分
def scroll(self):
while True:
# 滑动之前的页面高度
document = self.driver.execute_script('return document.body.scrollHeight;')
time.sleep(2)
# 滑动页面
self.driver.execute_script(f'window.scrollTo(0,{
document})')
time.sleep(2)
# 滑动之后的页面高度
document2 = self.driver.execute_script('return document.body.scrollHeight;')
# 比较滑动前与滑动后的高度
if document == document2:
break
# 定义翻页函数
def up_page(self):
time.sleep(1)
# 点击下一页
self.driver.find_element(By.XPATH,'//*[text()="下一页"]').click()
# 定义保存页面源码函数
def save_page(self, n=1):
time.sleep(2)
# 保存数据
with open(f'第{
n}页.html', 'w', encoding='utf-8') as f:
f.write(self.driver.page_source)
# 定义总的执行函数
def run(self):
try:
self.save_page() # 第一页
for n in range(2, 6): # 第二三四五页
self.scroll()
self.up_page()
self.save_page(n)
except Exception as e:
print(e)
finally:
self.clear_driver()
if __name__ == '__main__':
lianjia = LianJia()
lianjia.run()
获取页面源码则对浏览器驱动对象self.driver调用page_source属性。
执行JavaScript代码使用execute_script() 方法。
其中还涉及一点关于翻页的简单的JavaScript代码语句：
document.body.scrollHeight表示获取页面高度，
先获取页面高度，然后使用将页面向下翻动该数量的高度，然后再获取一次页面高度。如果页面高度此时没有发生变化，即判断刚刚的高度等于现在的高度，则说明已经翻到底了，跳出while循环，可以进一步去定位到“下一页”按钮处的element，并使用click() 方法点击。
window.scrollTo(x,y) 表示页面的滑动，滑动到指定位置，这里x轴无需滑动，则将x轴写为0，y轴写入要滑到的位置。
window.scrollBy(x,y) 表示滑动一定单位距离。
这样，翻动并点击的一个简单案例就实现啦。祝您学习顺利!
