AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

selenium 知网爬虫之根据【关键词】获取文献信息

2023-10-28 210
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： selenium 知网爬虫之根据【关键词】获取文献信息

哈喽大家好，我是咸鱼

之前咸鱼写过几篇关于知网爬虫的文章，后台反响都很不错。虽然但是，咸鱼还是忍不住想诉苦一下

有些小伙伴文章甚至代码看都没看完，就问我 ”为什么只能爬这么多条文献信息？“（看过代码的会发现我代码里面定义了 papers_need 变量来设置爬取篇数），”为什么爬其他文献不行？我想爬 XXX 文献“（因为代码里面写的是通过【知网高级搜索中的文献来源】来搜索文章），或者是有些小伙伴直接把代码报错贴给我，问我咋回事

我觉得在网上看到别人的代码，不要一昧地拿来主义，复制粘贴就行了，你要结合你自己的本地环境对代码做适当地修改。比如定位 Xpath 元素路径，不通电脑或者说不同浏览器同一元素的 Xpath 路径有可能不是一样的，这个路径在我本地运行没问题，到了你那里就报错

当看别人的代码时，最好先搞清楚：

  1. 别人是怎么想的
  2. 别人为什么要这么写
  3. 这么写的逻辑是什么？

以我这几篇知网爬虫文章举例：

  1. 为什么要用 selenium 来爬取？
  2. 如何分析网页？如何定位元素？（Xpath、CSS 选择器等等）
  3. 如何通过 selenium 来模拟人为操作浏览器（鼠标移动、点击、滑动窗口等等）

言归正传，咸鱼昨天收到一位粉丝私信说能不能根据【关键词】来搜索文献
image
今天这篇文章着重讲如何分析网页结构然后使用 selenium 根据知网的关键词来搜索文献。至于对搜索到的文献的爬取，本文不过多介绍，因为以前的文章已经写过了

需求分析

我们先来看下如果要通过关键词搜索文献，该怎么操作？

知网：中国知网 (cnki.net)

首先我们登录网站，点击【高级搜索】（也可以直接点击搜索框中的【主题】下拉选择）
image
然后我们点击【主题】——>选择【关键词】
image
image
输入要搜索的关键词（例如：数字普惠金融）然后点击【检索】
image

网页分析&元素定位

结合前面的需求分析，我们就可以对网页进行分析并定位出对应的元素

首先是【高级搜索】，高级搜索有一个链接：高级检索-中国知网 (cnki.net)，这样就能省掉一个步骤了

然后我们需要点击 【主题】，才会出现下拉框。在分析网页的时候我发现当出现下拉框时，标签 <div class="sort-list" style="display: none;">" 中的 style 属性由 "display: none;" 变成 "display: block;"
image
下拉框出现之后，我们需要定位到 【关键词】 这个标签

# 关键词 Xpath 路径或 CSS 选择器
//*[@id="gradetxt"]/dd[1]/div[2]/div[1]/div[2]/ul/li[3]

li[data-val="KY"]

image
接着找到【搜索框】的 Xpath 路径。这里是一个 input 元素，用于接收来自用户的数据

# 输入框
//*[@id="gradetxt"]/dd[1]/div[2]/input

image

往输入框传入数据之后，我们需要点击下面的【检索】按钮

# 检索
/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/input

image
点击搜索之后我们把【文献条数】爬取下来

# 文献条数
/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[1]/div[1]/span[1]/em

image

代码实现

selenium 是一个自动化测试工具，可以用来进行 web 自动化测试。其本质是通过驱动浏览器，完全模拟浏览器的操作（比如跳转、输入、点击、下拉等）来实现网页渲染之后的结果，可支持多种浏览器

爬虫中用到 selenium 主要是为了解决 requests 无法直接执行 JavaScript 代码等问题

导入相关库

import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.common.action_chains import ActionChains

创建浏览器对象

这里我用的是 Edge 浏览器

def webserver():
    # get直接返回，不再等待界面加载完成
    desired_capabilities = DesiredCapabilities.EDGE
    desired_capabilities["pageLoadStrategy"] = "none"

    # 设置微软驱动器的环境
    options = webdriver.EdgeOptions()

    # 设置浏览器不加载图片，提高加载速度
    options.add_experimental_option("prefs", {
   
   "profile.managed_default_content_settings.images": 2})

    # 创建一个微软驱动器
    driver = webdriver.Edge(options=options)
    return driver

爬取网页

其实逻辑并不难，就是先定位到各个元素然后用 selenium 来模拟我们人为点击浏览器的操作就行了

首先打开页面，等待个一两秒让网页完全加载

    driver.get("https://kns.cnki.net/kns8/AdvSearch")
    time.sleep(2)

然后然下拉框显示出来，前面我们提到：标签 <div class="sort-list" style="display: none;">" 中的 style 属性由 "display: none;" 变成 "display: block;" 时，就会出现下拉框

这里我们通过执行 js 脚本来修改里面的 style 属性

    # 修改属性，使下拉框显示
    opt = driver.find_element(By.CSS_SELECTOR, 'div.sort-list')  # 定位下拉框
    # 执行 js 脚本进行属性的修改; arguments[0]代表第一个属性
    driver.execute_script("arguments[0].setAttribute('style', 'display: block;')", opt)

下拉框显示出来之后我们需要点击【关键词】，这样才会切换到关键词搜索

这里需要注意的是，当我在测试的时候发现下拉框加载是有问题的，这时候代码会报错说Element <li data-val="KY">...</li> is not clickable at point (189, 249)

就会使得程序点击不了【关键词】
image
而且我还发现如果加载不完全的话，需要鼠标移动到下拉框那里，让下拉框完全加载。所以这里我使用了 selenium 中的 ActionChains 来模拟鼠标的操作

用 selenium 做自动化，有时候会遇到需要模拟鼠标操作才能进行的情况，比如单击、双击、点击鼠标右键、拖拽等等

selenium 给我们提供了一个类来处理这类事件——ActionChains

还有一点需要注意的是：如果鼠标只是移到【关键词】，下拉框其实还是不能正确加载出来，最好是移动到下拉框的最底部或者关键词后面的元素，这里我移动到【通讯作者】

# 【通讯作者】定位
/html/body/div[2]/div/div[2]/div/div[2]/div[1]/div[1]/div[2]/ul/li[8]

li[data-val="RP"]

image

下拉框加载完成之后，定位到【关键词】再点击

    # 鼠标移动到下拉框
    ActionChains(driver).move_to_element(driver.find_element(By.CSS_SELECTOR, 'li[data-val="RP"]')).perform()

    # 找到[关键词]选项并点击
    WebDriverWait(driver, 100).until(
        EC.visibility_of_element_located((By.CSS_SELECTOR, 'li[data-val="KY"]'))).click()

定位出搜索框，传入我们要搜索的关键词

    # 传入关键字
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, '''//*[@id="gradetxt"]/dd[1]/div[2]/input'''))
    ).send_keys(keyword)

    # 点击搜索
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/input"))
    ).click()

搜索结果出来之后定位【文献条数】，获取对应的条数（text 标签）

    # 获取总文献数和页数
    res_unm = WebDriverWait(driver, 100).until(EC.presence_of_element_located(
        (By.XPATH, "/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[1]/div[1]/span[1]/em"))
    ).text

完整代码如下：

import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.common.action_chains import ActionChains


def webserver():
    # get直接返回，不再等待界面加载完成
    desired_capabilities = DesiredCapabilities.EDGE
    desired_capabilities["pageLoadStrategy"] = "none"

    # 设置微软驱动器的环境
    options = webdriver.EdgeOptions()
    # 设置浏览器不加载图片，提高速度
    options.add_experimental_option("prefs", {
   
   "profile.managed_default_content_settings.images": 2})

    # 创建一个微软驱动器
    driver = webdriver.Edge(options=options)

    return driver


def open_page(driver, keyword):
    # 打开页面，等待两秒
    driver.get("https://kns.cnki.net/kns8/AdvSearch")
    time.sleep(2)

    # 修改属性，使下拉框显示
    opt = driver.find_element(By.CSS_SELECTOR, 'div.sort-list')  # 定位元素
    driver.execute_script("arguments[0].setAttribute('style', 'display: block;')", opt)  # 执行 js 脚本进行属性的修改；arguments[0]代表第一个属性

    # 鼠标移动到下拉框中的[通讯作者]
    ActionChains(driver).move_to_element(driver.find_element(By.CSS_SELECTOR, 'li[data-val="RP"]')).perform()

    # 找到[关键词]选项并点击
    WebDriverWait(driver, 100).until(
        EC.visibility_of_element_located((By.CSS_SELECTOR, 'li[data-val="KY"]'))).click()

    # 传入关键字
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, '''//*[@id="gradetxt"]/dd[1]/div[2]/input'''))
    ).send_keys(keyword)

    # 点击搜索
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/input"))
    ).click()

    # 点击切换中文文献
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[3]/div[1]/div/div/div/a[1]"))
    ).click()

    # 获取总文献数和页数
    res_unm = WebDriverWait(driver, 100).until(EC.presence_of_element_located(
        (By.XPATH, "/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[1]/div[1]/span[1]/em"))
    ).text

    # 去除千分位里的逗号
    res_unm = int(res_unm.replace(",", ''))
    page_unm = int(res_unm / 20) + 1
    print(f"共找到 {res_unm} 条结果, {page_unm} 页。")


if __name__ == '__main__':
    keyword = "数字普惠金融"
    driver = webserver()
    open_page(driver, keyword)

结果如下：
image

文章标签：
数据采集
JavaScript
前端开发
测试技术
关键词：
爬虫信息
爬虫selenium
Selenium爬虫
Selenium信息
爬虫关键词
咸鱼运维杂谈
目录
相关文章
爱专研的技术土狗
|
6天前
|
数据采集 前端开发 JavaScript
除了网页标题，还能用爬虫抓取哪些信息？
爬虫技术可以抓取网页上的各种信息，包括文本、图片、视频、链接、结构化数据、用户信息、价格和库存、导航菜单、CSS和JavaScript、元数据、社交媒体信息、地图和位置信息、广告信息、日历和事件信息、评论和评分、API数据等。通过Python和BeautifulSoup等工具，可以轻松实现数据抓取。但在使用爬虫时，需遵守相关法律法规，尊重网站的版权和隐私政策，合理控制请求频率，确保数据的合法性和有效性。
爱专研的技术土狗
17 1
东方睿赢
|
4月前
|
数据采集 存储 API
在信息时代，Python爬虫用于自动化网络数据采集，提高效率。
【7月更文挑战第5天】在信息时代，Python爬虫用于自动化网络数据采集，提高效率。基本概念包括发送HTTP请求、解析HTML、存储数据及异常处理。常用库有requests（发送请求）和BeautifulSoup（解析HTML）。基本流程：导入库，发送GET请求，解析网页提取数据，存储结果，并处理异常。应用案例涉及抓取新闻、商品信息等。
东方睿赢
94 2
土木林森
|
19天前
|
数据采集 Web App开发 前端开发
Python爬虫进阶：Selenium在动态网页抓取中的实战
【10月更文挑战第26天】动态网页抓取是网络爬虫的难点，因为数据通常通过JavaScript异步加载。Selenium通过模拟浏览器行为，可以加载和执行JavaScript，从而获取动态网页的完整内容。本文通过实战案例，介绍如何使用Selenium在Python中抓取动态网页。首先安装Selenium库和浏览器驱动，然后通过示例代码展示如何抓取英国国家美术馆的图片信息。
土木林森
39 6
爱专研的技术土狗
|
19天前
|
数据采集 Web App开发 iOS开发
如何利用 Python 的爬虫技术获取淘宝天猫商品的价格信息？
本文介绍了使用 Python 爬虫技术获取淘宝天猫商品价格信息的两种方法。方法一使用 Selenium 模拟浏览器操作，通过定位页面元素获取价格；方法二使用 Requests 和正则表达式直接请求页面内容并提取价格。每种方法都有详细步骤和代码示例，但需注意反爬措施和法律法规。
爱专研的技术土狗
82 1
奔跑的数据
|
1月前
|
数据采集 Web App开发 JavaScript
Selenium爬虫技术：如何模拟鼠标悬停抓取动态内容
本文介绍了如何使用Selenium爬虫技术抓取抖音评论，通过模拟鼠标悬停操作和结合代理IP、Cookie及User-Agent设置，有效应对动态内容加载和反爬机制。代码示例展示了具体实现步骤，帮助读者掌握这一实用技能。
奔跑的数据
45 0
Selenium爬虫技术：如何模拟鼠标悬停抓取动态内容
小白学大数据
|
4月前
|
数据采集 Web App开发 XML
爬虫进阶：Selenium与Ajax的无缝集成
爬虫进阶：Selenium与Ajax的无缝集成
小白学大数据
156 0
小白学大数据
|
1月前
|
数据采集 Web App开发 数据可视化
Python爬虫教程：Selenium可视化爬虫的快速入门
Python爬虫教程：Selenium可视化爬虫的快速入门
小白学大数据
79 3
bruce刘晓伟-18435
|
1月前
|
Web App开发 Java 测试技术
使用selenium+chromedriver+xpath爬取动态加载信息（一）
使用selenium+chromedriver+xpath爬取动态加载信息（一）
bruce刘晓伟-18435
60 1
bruce刘晓伟-18435
|
1月前
|
数据采集
以“股票代码实时抓取股票信息”为例的爬虫案例
爬虫—根据股票代码实时抓取股票信息
bruce刘晓伟-18435
89 0
bruce刘晓伟-18435
|
1月前
使用selenium+chromedriver+xpath爬取动态加载信息（二）
使用selenium+chromedriver+xpath爬取动态加载信息（二）
bruce刘晓伟-18435
43 0

热门文章

最新文章

  • 1
    Selenium testing Iframe
  • 2
    Selenium2(webdriver)_定位不到元素常见原因及解决办法
  • 3
    Python selenium chrome 环境配置
  • 4
    Selenium 对表格的验证
  • 5
    IE11不支持Selenium 2.0的解决方法
  • 6
    Selenium2.0功能测试之Web元素的操作
  • 7
    selenium之 chromedriver与chrome版本映射表（更新至v2.43）
  • 8
    Web自动化测试 Selenium 2/3
  • 9
    关于近期selenium+java的一些总结
  • 10
    Selenium2(WebDriver)总结(五)---元素操作进阶(常用类)
  • 1
    揭秘豆瓣网站爬虫：利用lua-resty-request库获取图片链接
    94
  • 2
    网络爬虫实战演练
    52
  • 3
    Python 爬虫：Spring Boot 反爬虫的成功案例
    661
  • 4
    使用Python实现简单的Web爬虫
    92
  • 5
    Node.js爬虫在租房信息监测与分析中的应用
    92
  • 6
    如何利用Python构建高效的Web爬虫
    70
  • 7
    Python爬虫技术与数据可视化：Numpy、pandas、Matplotlib的黄金组合
    294
  • 8
    静态代理IP对反爬虫策略的应对，以及静态ip对爬虫的助力
    72
  • 9
    Python爬虫：数据获取与解析的艺术
    85
  • 10
    【专栏】随着技术发展，Scrapy将在网络爬虫领域持续发挥关键作用
    102

    • 相关课程

    更多
  • Python爬虫实战
  • Python网络爬虫实战

    • 相关电子书

    更多
  • Python第五讲——关于爬虫如何做js逆向的思路
  • SEO学习步骤
  • 当搜索遇见AI

    • 相关实验场景

    更多
  • 以电商场景为例搭建AI语义搜索应用
  • 基于Kibana Discover筛选数据，自由搜索航班信息
  • 一键创建和部署高分电影推荐语音技能
    • 下一篇
    阿里云OSS设置跨域访问