重构SeleniumeDownloader底层浏览器驱动-阿里云开发者社区

一、解决bug：Selenium with PhantomJS，重构SeleniumeDownloader底层浏览器驱动

0、小背景：

想爬取外网steam的数据，但是steam官网在海外，加上steam处于反爬考虑，对于异步数据-json数据进行处理，导致如果直接去拿人家的ajax接口作为请求url进行爬取就爬取得到一堆乱码的没用数据。---解决：使用Selenium 模拟用户使用浏览器(通过js渲染)，然后再解析处理selenium下载器下载下来的数据。

但是一开始，项目中selenium底层是使用phantomjs 作为驱动器(浏览器)，出现了如下的一系列：

1、bug 截图

找不到变量xxx

报错信息：

[ERROR - 2023-03-07T12:00:29.232Z] Session [258893b0-bcdf-11ed-9fc2-3f99c08d4ed8] - page.onError - msg: ReferenceError: Can't find variable: InitMiniprofileHovers
  phantomjs://platform/console++.js:263 in error
[ERROR - 2023-03-07T12:00:29.233Z] Session [258893b0-bcdf-11ed-9fc2-3f99c08d4ed8] - page.onError - stack:
  global code (https://store.steampowered.com/charts/topselling/SG:671)
  phantomjs://platform/console++.js:263 in error
[ERROR - 2023-03-07T12:00:30.743Z] Session [258893b0-bcdf-11ed-9fc2-3f99c08d4ed8] - page.onError - msg: ReferenceError: Can't find variable: WebStorage
  phantomjs://platform/console++.js:263 in error
[ERROR - 2023-03-07T12:00:30.744Z] Session [258893b0-bcdf-11ed-9fc2-3f99c08d4ed8] - page.onError - stack:
  (anonymous function) (https://store.st.dl.eccdnx.com/public/shared/javascript/shared_responsive_adapter.js?v=TNYlyRmh1mUl&l=schinese&_cdn=china_eccdnx:43)
  l (https://store.st.dl.eccdnx.com/public/shared/javascript/jquery-1.8.3.min.js?v=.TZ2NKhB-nliU&_cdn=china_eccdnx:2)
  fireWith (https://store.st.dl.eccdnx.com/public/shared/javascript/jquery-1.8.3.min.js?v=.TZ2NKhB-nliU&_cdn=china_eccdnx:2)
  ready (https://store.st.dl.eccdnx.com/public/shared/javascript/jquery-1.8.3.min.js?v=.TZ2NKhB-nliU&_cdn=china_eccdnx:2)
  A (https://store.st.dl.eccdnx.com/public/shared/javascript/jquery-1.8.3.min.js?v=.TZ2NKhB-nliU&_cdn=china_eccdnx:2)
  phantomjs://platform/console++.js:263 in error
[ERROR - 2023-03-07T12:00:30.746Z] Session [258893b0-bcdf-11ed-9fc2-3f99c08d4ed8] - page.onError - msg: ReferenceError: Can't find variable: GetNavCookie

2、待爬取的页面是存在该变量的：InitMiniprofileHovers、GetNavCookie

3、调试-核心步骤

断点入口

Page page = downloader.download(request, this);//爬虫任务的下载器，开始下载页面

SeleniumDownloader

//获取到web驱动器
webDriver = webDriverPool.get();
//驱动器下载页面
webDriver.get(request.getUrl());//这里出错

▪ webDriver变量的情况：

RemoteWebDriver

this.execute("get", ImmutableMap.of("url", url));//执行下载命令
response = this.executor.execute(command);//响应体，即执行命令后的结果
//command 只是一个封装了sessionId, driverCommand-get, 请求参数url的对象

PhantomJSCommandExecutor

Response var2 = super.execute(command);

...

4、分析错误原因：

报错原因：是phantomis设计的不够合理: 在页面寻找不到dom元素的时候，合理设计应该返回nul，而不应该throw异常。

网友的错误原因--加密方式，理由：PhantomJS使用的加密方式是SSLv3，有些网站用的是TLS。

解决加密问题的方法：--ignore-ssl-errors=true 和 --ssl-protocol=any

▷ 自己的项目中的 web驱动器/浏览器（排除加密方式的原因)：

5、小心得：

phantomjs在对ES6的支持上天生有坑，前端使用ES6的网站都不建议用phantomis去跑。

6、解决：使用 chrome 代替 PhantomJS

7、新的问题：chrome 解析外网的时候，不稳定

解决---vpn
现在思路就变成了Selenium 在调用浏览器 chrome 的时候，开vpn，默认集成到 Selenium中的浏览器，都是普通纯净的浏览器。

发现微软的浏览器Edge 打开steam 官网，不开vpn，也很流畅，不过要是steam的链接带上地理位置，例如香港，又打不开了，解决：vpn

二、改写Selenium的浏览器-目的为了添加代理

1、基本思路：先理清业务的逻辑

发现，在项目调用完爬虫框架的调度器后，下载器开始发挥作用。

case CHROME:
                    if (isWindows) {
                        System.setProperty("selenuim_config", "C:\\data\\config\\config-chrome.ini");
                        SeleniumDownloader seleniumDownloader = new SeleniumDownloader("C:\\data\\config\\chromedriver.exe");
                        // 浏览器打开10s后才开始爬取数据
                        seleniumDownloader.setSleepTime(10 * 1000);
                        autoSpider.setDownloader(seleniumDownloader);
                    }

业务中，我们是通过了创建了SeleniumDownloader的下载器来下载页面，但是确定就是底层的浏览器是纯净普通版的浏览器。

看到业务在创建SeleniumDownloader的下载器的时候，给它注入了一个配置文件config-chrome.ini，

2、个人解决思路1：考虑把代理的options 也通过这个配置文件注入

但是发现这个配置文件是一个启动文件，里面并没options的属性可以配置。

启动文件的配置，没法实现

3、个人解决思路2:看看SeleniumDownloader的下载器底层的浏览器驱动池WebDriverPool

是否有暴露给外界什么属性可以配置options，阅读源码后，发现它只暴露一个属性就是配置启动文件config-chrome.ini。

public void configure() throws IOException {
    // Read config file
    sConfig = new Properties();
    String configFile = DEFAULT_CONFIG_FILE;
    if (System.getProperty("selenuim_config")!=null){
      configFile = System.getProperty("selenuim_config");
    }
    sConfig.load(new FileReader(configFile));
    // Prepare capabilities
    sCaps = new DesiredCapabilities();
    sCaps.setJavascriptEnabled(true);
    sCaps.setCapability("takesScreenshot", false);
    String driver = sConfig.getProperty("driver", DRIVER_PHANTOMJS);
    // Fetch PhantomJS-specific configuration parameters
    ......
}

4、个人解决思路3：重写底层的浏览器驱动池WebDriverPool，然后再重写一个调用该WebDriverPool的下载器

下载器和驱动器管理池都是在官网提供的源码的基础进行修改;

SeleniumDownloader2:在SeleniumDownloader基础上新增了代理枚举属性proxyEnum，并使用了自己重写的浏览器驱动池WebDriverPool2

WebDriverPool2：改写了 WebDriverPool的构造器，以及改写了初始化 WebDriver实例的configure方法(目的，就是为了增加上像代理等的options选项)

当然，还增加了一个轮询方法incrForLoop，目的就是为了获得代理列表的索引

■ WebDriverPool2:

用省略号表示代理和官网的是一摸一样的！
细节： ChromeOptions需要设置ssl协议(官网给出的demo没加，导致我开vpn一直没成功，又没提示.....）
分析和解决：因为https=http+ssl/tls，我们通过浏览器访问的时候，浏览器会把所有url地址都处理成安全通信协议，所以代码中需要配置ssl协议

public class WebDriverPool2 {
  ......
    /** 代理枚举参数 */
    private final ProxyEnum proxyEnum;
    /** 代理列表 */
    private List<String> proxies;
    /** ip代理列表的索引 */
    private final AtomicInteger pointer = new AtomicInteger(-1);
  ......
    /**
     * 初始化一个 WebDriver 实例
     * @throws IOException 异常
     */
    public void configure() throws IOException {
       ......
        if (isUrl(driver)) {
            sCaps.setBrowserName("phantomjs");
            mDriver = new RemoteWebDriver(new URL(driver), sCaps);
        } else if (driver.equals(DRIVER_FIREFOX)) {
            mDriver = new FirefoxDriver(sCaps);
        } else if (driver.equals(DRIVER_CHROME)) {
            if(proxyEnum == ProxyEnum.VPN_ENABLE || proxyEnum == ProxyEnum.PROXY_ENABLE){
                //给谷歌浏览器，添加上ip代理或vpn等options
                ChromeOptions options = new ChromeOptions();
                //禁止加载图片
                options.addArguments("blink-settings=imagesEnabled=false");
                Proxy proxy = new Proxy();
                String httpProxy = proxies.get(incrForLoop());
                // 需要设置ssl协议
                proxy.setHttpProxy(httpProxy).setSslProxy(httpProxy);
                options.setCapability("proxy",proxy);
                sCaps.setCapability(ChromeOptions.CAPABILITY, options);
                logger.info("chrome webDriver proxy is : " + proxy);
            }
            mDriver = new ChromeDriver(sCaps);
        } else if (driver.equals(DRIVER_PHANTOMJS)) {
            mDriver = new PhantomJSDriver(sCaps);
        }
    }
    /**
     * 轮询：从代理列表选出一个代理的索引
     * @return 索引
     */
    private int incrForLoop() {
        int p = pointer.incrementAndGet();
        int size = proxies.size();
        if (p < size) {
            return p;
        }
        while (!pointer.compareAndSet(p, p % size)) {
            p = pointer.get();
        }
        return p % size;
    }
    public WebDriverPool2(int capacity, ProxyEnum proxyEnum, MasterWebservice masterWebservice) {
        this.capacity = capacity;
        //设置代理的情况
        this.proxyEnum = proxyEnum;
        //vpn的情况
        if(proxyEnum == ProxyEnum.VPN_ENABLE){
            this.proxies = masterWebservice.getVpn();
        //ip代理的情况
        }else if(proxyEnum == ProxyEnum.PROXY_ENABLE){
            //获取动态生成的ip列表,带有端口的，参数形式举例 42.177.155.5:75114
            this.proxies = masterWebservice.getProxyIps();
        }
    }
}

■ SeleniumDownloader2:

/**
 * 在SeleniumDownloader基础上新增了代理枚举属性proxyEnum
 * 并且要把官网SeleniumDownloader代码中使用WebDriverPool（实际是使用上咱改写的WebDriverPool2）的方法引入，还有使用到WebDriverPool的方法
 * 中，需要的属性，要注意父类中被设置私有，需要重写一下(从父类copy到子类就行啦)
 */
public class SeleniumDownloader2 extends SeleniumDownloader {
    private volatile WebDriverPool2 webDriverPool;
    /** 代理枚举参数 */
    private ProxyEnum proxyEnum;
    /** 通过masterWebservice获得远程的动态ip列表 */
    private MasterWebservice masterWebservice;
    public SeleniumDownloader2(String chromeDriverPath, ProxyEnum proxyEnum, MasterWebservice masterWebservice) {
        System.getProperties().setProperty("webdriver.chrome.driver",
                chromeDriverPath);
        this.proxyEnum = proxyEnum;
        this.masterWebservice = masterWebservice;
    }
    ......
}

■ seleniume 包下的下载器和浏览器如下:

■ 官网提供的WebDriverPool：

package us.codecraft.webmagic.downloader.selenium;
import org.apache.log4j.Logger;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.openqa.selenium.phantomjs.PhantomJSDriver;
import org.openqa.selenium.phantomjs.PhantomJSDriverService;
import org.openqa.selenium.remote.DesiredCapabilities;
import org.openqa.selenium.remote.RemoteWebDriver;
import java.io.FileReader;
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;
import java.util.Properties;
import java.util.concurrent.BlockingDeque;
import java.util.concurrent.LinkedBlockingDeque;
import java.util.concurrent.atomic.AtomicInteger;
/**
 * @author code4crafter@gmail.com <br>
 *         Date: 13-7-26 <br>
 *         Time: 下午1:41 <br>
 */
class WebDriverPool {
  private Logger logger = Logger.getLogger(getClass());
  private final static int DEFAULT_CAPACITY = 5;
  private final int capacity;
  private final static int STAT_RUNNING = 1;
  private final static int STAT_CLODED = 2;
  private AtomicInteger stat = new AtomicInteger(STAT_RUNNING);
  /*
   * new fields for configuring phantomJS
   */
  private WebDriver mDriver = null;
  private boolean mAutoQuitDriver = true;
  private static final String DEFAULT_CONFIG_FILE = "/data/webmagic/webmagic-selenium/config.ini";
  private static final String DRIVER_FIREFOX = "firefox";
  private static final String DRIVER_CHROME = "chrome";
  private static final String DRIVER_PHANTOMJS = "phantomjs";
  protected static Properties sConfig;
  protected static DesiredCapabilities sCaps;
  /**
   * Configure the GhostDriver, and initialize a WebDriver instance. This part
   * of code comes from GhostDriver.
   * https://github.com/detro/ghostdriver/tree/master/test/java/src/test/java/ghostdriver
   * 
   * @author bob.li.0718@gmail.com
   * @throws IOException
   */
  public void configure() throws IOException {
    // Read config file
    sConfig = new Properties();
    String configFile = DEFAULT_CONFIG_FILE;
    if (System.getProperty("selenuim_config")!=null){
      configFile = System.getProperty("selenuim_config");
    }
    sConfig.load(new FileReader(configFile));
    // Prepare capabilities
    sCaps = new DesiredCapabilities();
    sCaps.setJavascriptEnabled(true);
    sCaps.setCapability("takesScreenshot", false);
    String driver = sConfig.getProperty("driver", DRIVER_PHANTOMJS);
    // Fetch PhantomJS-specific configuration parameters
    if (driver.equals(DRIVER_PHANTOMJS)) {
      // "phantomjs_exec_path"
      if (sConfig.getProperty("phantomjs_exec_path") != null) {
        sCaps.setCapability(
            PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY,
            sConfig.getProperty("phantomjs_exec_path"));
      } else {
        throw new IOException(
            String.format(
                "Property '%s' not set!",
                PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY));
      }
      // "phantomjs_driver_path"
      if (sConfig.getProperty("phantomjs_driver_path") != null) {
        System.out.println("Test will use an external GhostDriver");
        sCaps.setCapability(
            PhantomJSDriverService.PHANTOMJS_GHOSTDRIVER_PATH_PROPERTY,
            sConfig.getProperty("phantomjs_driver_path"));
      } else {
        System.out
            .println("Test will use PhantomJS internal GhostDriver");
      }
    }
    // Disable "web-security", enable all possible "ssl-protocols" and
    // "ignore-ssl-errors" for PhantomJSDriver
    // sCaps.setCapability(PhantomJSDriverService.PHANTOMJS_CLI_ARGS, new
    // String[] {
    // "--web-security=false",
    // "--ssl-protocol=any",
    // "--ignore-ssl-errors=true"
    // });
    ArrayList<String> cliArgsCap = new ArrayList<String>();
    cliArgsCap.add("--web-security=false");
    cliArgsCap.add("--ssl-protocol=any");
    cliArgsCap.add("--ignore-ssl-errors=true");
    sCaps.setCapability(PhantomJSDriverService.PHANTOMJS_CLI_ARGS,
        cliArgsCap);
    // Control LogLevel for GhostDriver, via CLI arguments
    sCaps.setCapability(
        PhantomJSDriverService.PHANTOMJS_GHOSTDRIVER_CLI_ARGS,
        new String[] { "--logLevel="
            + (sConfig.getProperty("phantomjs_driver_loglevel") != null ? sConfig
                .getProperty("phantomjs_driver_loglevel")
                : "INFO") });
    // String driver = sConfig.getProperty("driver", DRIVER_PHANTOMJS);
    // Start appropriate Driver
    if (isUrl(driver)) {
      sCaps.setBrowserName("phantomjs");
      mDriver = new RemoteWebDriver(new URL(driver), sCaps);
    } else if (driver.equals(DRIVER_FIREFOX)) {
      mDriver = new FirefoxDriver(sCaps);
    } else if (driver.equals(DRIVER_CHROME)) {
      mDriver = new ChromeDriver(sCaps);
    } else if (driver.equals(DRIVER_PHANTOMJS)) {
      mDriver = new PhantomJSDriver(sCaps);
    }
  }
  /**
   * check whether input is a valid URL
   * 
   * @author bob.li.0718@gmail.com
   * @param urlString urlString
   * @return true means yes, otherwise no.
   */
  private boolean isUrl(String urlString) {
    try {
      new URL(urlString);
      return true;
    } catch (MalformedURLException mue) {
      return false;
    }
  }
  /**
   * store webDrivers created
   */
  private List<WebDriver> webDriverList = Collections
      .synchronizedList(new ArrayList<WebDriver>());
  /**
   * store webDrivers available
   */
  private BlockingDeque<WebDriver> innerQueue = new LinkedBlockingDeque<WebDriver>();
  public WebDriverPool(int capacity) {
    this.capacity = capacity;
  }
  public WebDriverPool() {
    this(DEFAULT_CAPACITY);
  }
  /**
   * 
   * @return
   * @throws InterruptedException
   */
  public WebDriver get() throws InterruptedException {
    checkRunning();
    WebDriver poll = innerQueue.poll();
    if (poll != null) {
      return poll;
    }
    if (webDriverList.size() < capacity) {
      synchronized (webDriverList) {
        if (webDriverList.size() < capacity) {
          // add new WebDriver instance into pool
          try {
            configure();
            innerQueue.add(mDriver);
            webDriverList.add(mDriver);
          } catch (IOException e) {
            e.printStackTrace();
          }
          // ChromeDriver e = new ChromeDriver();
          // WebDriver e = getWebDriver();
          // innerQueue.add(e);
          // webDriverList.add(e);
        }
      }
    }
    return innerQueue.take();
  }
  public void returnToPool(WebDriver webDriver) {
    checkRunning();
    innerQueue.add(webDriver);
  }
  protected void checkRunning() {
    if (!stat.compareAndSet(STAT_RUNNING, STAT_RUNNING)) {
      throw new IllegalStateException("Already closed!");
    }
  }
  public void closeAll() {
    boolean b = stat.compareAndSet(STAT_RUNNING, STAT_CLODED);
    if (!b) {
      throw new IllegalStateException("Already closed!");
    }
    for (WebDriver webDriver : webDriverList) {
      logger.info("Quit webDriver" + webDriver);
      webDriver.quit();
      webDriver = null;
    }
  }
}

■ 官网提供的SeleniumDownloader：

package us.codecraft.webmagic.downloader.selenium;
import org.apache.log4j.Logger;
import org.openqa.selenium.By;
import org.openqa.selenium.Cookie;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Request;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.downloader.Downloader;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.selector.PlainText;
import java.io.Closeable;
import java.io.IOException;
import java.util.Map;
/**
 * 使用Selenium调用浏览器进行渲染。目前仅支持chrome。<br>
 * 需要下载Selenium driver支持。<br>
 *
 * @author code4crafter@gmail.com <br>
 *         Date: 13-7-26 <br>
 *         Time: 下午1:37 <br>
 */
public class SeleniumDownloader implements Downloader, Closeable {
  private volatile WebDriverPool webDriverPool;
  private Logger logger = Logger.getLogger(getClass());
  private int sleepTime = 0;
  private int poolSize = 1;
  private static final String DRIVER_PHANTOMJS = "phantomjs";
  /**
   * 新建
   *
   * @param chromeDriverPath chromeDriverPath
   */
  public SeleniumDownloader(String chromeDriverPath) {
    System.getProperties().setProperty("webdriver.chrome.driver",
        chromeDriverPath);
  }
  /**
   * Constructor without any filed. Construct PhantomJS browser
   * 
   * @author bob.li.0718@gmail.com
   */
  public SeleniumDownloader() {
    // System.setProperty("phantomjs.binary.path",
    // "/Users/Bingo/Downloads/phantomjs-1.9.7-macosx/bin/phantomjs");
  }
  /**
   * set sleep time to wait until load success
   *
   * @param sleepTime sleepTime
   * @return this
   */
  public SeleniumDownloader setSleepTime(int sleepTime) {
    this.sleepTime = sleepTime;
    return this;
  }
  @Override
  public Page download(Request request, Task task) {
    checkInit();
    WebDriver webDriver;
    try {
      webDriver = webDriverPool.get();
    } catch (InterruptedException e) {
      logger.warn("interrupted", e);
      return null;
    }
    logger.info("downloading page " + request.getUrl());
    webDriver.get(request.getUrl());
    try {
      Thread.sleep(sleepTime);
    } catch (InterruptedException e) {
      e.printStackTrace();
    }
    WebDriver.Options manage = webDriver.manage();
    Site site = task.getSite();
    if (site.getCookies() != null) {
      for (Map.Entry<String, String> cookieEntry : site.getCookies()
          .entrySet()) {
        Cookie cookie = new Cookie(cookieEntry.getKey(),
            cookieEntry.getValue());
        manage.addCookie(cookie);
      }
    }
    /*
     * TODO You can add mouse event or other processes
     * 
     * @author: bob.li.0718@gmail.com
     */
    WebElement webElement = webDriver.findElement(By.xpath("/html"));
    String content = webElement.getAttribute("outerHTML");
    Page page = new Page();
    page.setRawText(content);
    page.setHtml(new Html(content, request.getUrl()));
    page.setUrl(new PlainText(request.getUrl()));
    page.setRequest(request);
    webDriverPool.returnToPool(webDriver);
    return page;
  }
  private void checkInit() {
    if (webDriverPool == null) {
      synchronized (this) {
        webDriverPool = new WebDriverPool(poolSize);
      }
    }
  }
  @Override
  public void setThread(int thread) {
    this.poolSize = thread;
  }
  @Override
  public void close() throws IOException {
    webDriverPool.closeAll();
  }
}

三、关于Selenium 的介绍

0、官网参考资料：

ChromeDriver：https://sites.google.com/a/chromium.org/chromedriver/capabilities

Selenium：https://www.selenium.dev/documentation/

1、Selenium 是什么

Selenium 是Web的自动化测试工具，可以模拟用户与浏览器交互，进行访问网站。

Selenium是一个浏览器自动化的大型项目。

它提供用于模拟用户与浏览器交互的扩展、用于扩展浏览器分配的分发服务器，以及用于实现W3C WebDriver 规范的基础结构，使您可以为所有主要 Web 浏览器编写可互换的代码。Selenium 的核心是WebDriver，它是一个编写指令集的接口，可以在许多浏览器中互换运行。

2、Selenium 作用：

自动化测试：自动化测试工具，可以模拟用户与浏览器交互，进行访问网站。

爬虫：因为Selenium可以控制浏览器发送请求，并获取网页数据，因此可以应用于爬虫领域。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

3、Selenium 实际情况

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器。

Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。

■ 主流的浏览器驱动WebDriver：PhantomJS、chromedriver

▪ PhantomJS：

PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。

如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理 JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事情。

▪ chromedriver：

注意：chromedriver的版本要与你使用的chrome版本对应！

chromedriver版本    支持的Chrome版本
v2.46       v71-73
v2.45       v70-72
v2.44       v69-71
v2.43       v69-71
v2.42       v68-70
v2.41       v67-69
v2.40       v66-68
v2.39       v66-68
v2.38       v65-67
v2.37       v64-66
v2.36       v63-65
v2.35       v62-64
v2.34       v61-63
v2.33       v60-62
v2.32       v59-61
v2.31       v58-60
v2.30       v58-60
v2.29       v56-58
v2.28       v55-57
v2.27       v54-56
v2.26       v53-55
v2.25       v53-55
v2.24       v52-54
v2.23       v51-53
v2.22       v49-52
v2.21       v46-50
v2.20       v43-48
v2.19       v43-47
v2.18       v43-46
v2.17       v42-43
v2.13       v42-45
v2.15       v40-43
v2.14       v39-42
v2.13       v38-41
v2.12       v36-40
v2.11       v36-40
v2.10       v33-36
v2.9        v31-34
v2.8        v30-33
v2.7        v30-33
v2.6        v29-32
v2.5        v29-32
v2.4        v29-32

chromedriver的版本下载链接1：http://chromedriver.storage.googleapis.com/index.html
chromedriver的版本下载链接2：https://registry.npmmirror.com/binary.html?path=chromedriver/

4、Selenium+chromedriver 的使用：

(1) 准备工作：

Selenium：导入依赖包

chromedriver：看着你电脑的谷歌浏览器版本，下载对应的chromedriver 驱动包

(2) 使用：

public class FirstScriptTest {
    @Test
    public void eightComponents() {
        //通过DesiredCapabilities、options 可以给driver 配置一个选项，例如代理，禁止加载图片、去掉界面模式等
        //参考：ChromeDriver：https://sites.google.com/a/chromium.org/chromedriver/capabilities
        String downloadsPath = "d:\\data\\downloads";
    HashMap<String, Object> chromePrefs = new HashMap<String, Object>();
    chromePrefs.put("download.default_directory", downloadsPath);
    ChromeOptions options = new ChromeOptions();
    Proxy proxy = new Proxy();
    // 需要增加设置ssl协议
    proxy.setHttpProxy(VpnServerUtils.getVpnServer()).setSslProxy(VpnServerUtils.getVpnServer());
//    proxy.setHttpProxy(VpnServerUtils.getVpnServer());
    options.setCapability("proxy",proxy);
    System.out.println("~~~~~~~~~~~~~~~~~proxy: " + proxy.getHttpProxy());
    options.setExperimentalOption("prefs", chromePrefs);
    DesiredCapabilities caps = new DesiredCapabilities();
    caps.setCapability(ChromeOptions.CAPABILITY, options);
        WebDriver driver = new ChromeDriver(caps);
        //浏览器驱动器请求加载页面
        driver.get("https://www.selenium.dev/selenium/web/web-form.html");
        //查找元素
        String title = driver.getTitle();
        assertEquals("Web form", title);
        driver.manage().timeouts().implicitlyWait(Duration.ofMillis(500));
        WebElement textBox = driver.findElement(By.name("my-text"));
        WebElement submitButton = driver.findElement(By.cssSelector("button"));
        textBox.sendKeys("Selenium");
        submitButton.click();//点击事件
        WebElement message = driver.findElement(By.id("message"));
        String value = message.getText();
        assertEquals("Received!", value);
      //结束会话
        driver.quit();
    }
}

如果本文对你有帮助的话记得给一乐点个赞哦，感谢！

重构SeleniumeDownloader底层浏览器驱动

一、解决bug：Selenium with PhantomJS，重构SeleniumeDownloader底层浏览器驱动

0、小背景：

1、bug 截图

2、待爬取的页面是存在该变量的：InitMiniprofileHovers、GetNavCookie

3、调试-核心步骤

4、分析错误原因：

5、小心得：

6、解决：使用 chrome 代替 PhantomJS

7、新的问题：chrome 解析外网的时候，不稳定

二、改写Selenium的浏览器-目的为了添加代理

1、基本思路：先理清业务的逻辑

2、个人解决思路1：考虑把代理的options 也通过这个配置文件注入

3、个人解决思路2:看看SeleniumDownloader的下载器底层的浏览器驱动池WebDriverPool

4、个人解决思路3：重写底层的浏览器驱动池WebDriverPool，然后再重写一个调用该WebDriverPool的下载器

■ WebDriverPool2:

■ SeleniumDownloader2:

■ 官网提供的WebDriverPool：

■ 官网提供的SeleniumDownloader：

三、关于Selenium 的介绍

0、官网参考资料：

1、Selenium 是什么

2、Selenium 作用：

3、Selenium 实际情况

■ 主流的浏览器驱动WebDriver：PhantomJS、chromedriver

▪ PhantomJS：

▪ chromedriver：

4、Selenium+chromedriver 的使用：

(1) 准备工作：

Selenium：导入依赖包

chromedriver：看着你电脑的谷歌浏览器版本，下载对应的chromedriver 驱动包

(2) 使用：

热门文章

最新文章

相关课程

相关电子书

相关实验场景

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

重构SeleniumeDownloader底层浏览器驱动

一、解决bug：Selenium with PhantomJS，重构SeleniumeDownloader底层浏览器驱动

0、小背景：

1、bug 截图

2、待爬取的页面是存在该变量的：InitMiniprofileHovers、GetNavCookie

3、调试-核心步骤

4、分析错误原因：

5、小心得：

6、解决：使用 chrome 代替 PhantomJS

7、新的问题：chrome 解析外网的时候，不稳定

二、改写Selenium的浏览器-目的为了添加代理

1、基本思路：先理清业务的逻辑

2、个人解决思路1：考虑把代理的options 也通过这个配置文件注入

3、个人解决思路2:看看SeleniumDownloader的下载器底层的浏览器驱动池WebDriverPool

4、个人解决思路3：重写底层的浏览器驱动池WebDriverPool，然后再重写一个调用该WebDriverPool的下载器

■ WebDriverPool2:

■ SeleniumDownloader2:

■ 官网提供的WebDriverPool：

■ 官网提供的SeleniumDownloader：

三、关于Selenium 的介绍

0、官网参考资料：

1、Selenium 是什么

2、Selenium 作用：

3、Selenium 实际情况

■ 主流的浏览器驱动WebDriver：PhantomJS、chromedriver

▪ PhantomJS：

▪ chromedriver：

4、Selenium+chromedriver 的使用：

(1) 准备工作：

Selenium：导入依赖包

chromedriver：看着你电脑的谷歌浏览器版本，下载对应的chromedriver 驱动包

(2) 使用：

热门文章

最新文章

相关课程

相关电子书

相关实验场景