Java爬虫之多线程下载IMDB中Top250电影的图片

介绍

  在博客：Java爬虫之下载IMDB中Top250电影的图片中我们实现了利用Java爬虫来下载图片，但是效率不算太高。本次分享将在此基础上，利用多线程，提高程序运行的效率。

思路

  本次分享建立在博客Java爬虫之下载IMDB中Top250电影的图片上，总体的爬虫思路没有变化，只是在此基础上引入多线程。多线程的思路如下：

• Java的每个任务类必须实现Runnable接口，因此，我们将新建ImageDownload类来实现Runnable接口。ImageDownload类的构造函数的参数有: url:网站的网址， dir: 图片储存目录。并在run()方法中实现将网页中的图片下载到本地。
• 在主函数中，调用ImageDownload类，利用多线程实现爬虫下载，提高运行效率。

程序

  ImageDownload类的代码完整如下：

package wikiScrape;

import java.io.File;
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;

import org.apache.commons.io.FileUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

/* ImageDownload类实现Runnable接口
 * ImageDownload类的构造参数： url:网址的网址, dir: 图片存储目录
 * ImageDownload类实现了将网页中的图片下载到本地
 */

public class ImageDownload implements Runnable{
    private String url;
    private String dir;

    public ImageDownload(String url, String dir) {
        this.url = url;
        this.dir = dir;
    }

    // run()函数: 将网页中的电影图片下载到本地
    @Override
    public void run(){

        // 利用URL解析网址
        URL urlObj = null;
        try{
            urlObj = new URL(url);

        }
        catch(MalformedURLException e){
            System.out.println("The url was malformed!");
        }

        // URL连接
        URLConnection urlCon = null;
        try{
            // 打开URL连接
            urlCon = urlObj.openConnection(); 
            // 将HTML内容解析成UTF-8格式
            Document doc = Jsoup.parse(urlCon.getInputStream(), "utf-8", url);
            // 提取电影图片所在的HTML代码块
            Elements elems = doc.getElementsByClass("ss-3 clear");
            Elements pic_block = elems.first().getElementsByTag("a");

            for(int i=0; i<pic_block.size(); i++) {
                // 提取电影图片的url, name
                String picture_url = pic_block.get(i).getElementsByTag("img").attr("src");
                String picture_name = pic_block.get(i).getElementsByClass("bb").text()+".jpg";
                // 用download()函数将电影图片下载到本地
                download(picture_url, dir, picture_name);
                System.out.println("第"+(i+1)+"张图片下载完毕！");
            }

        }
        catch(IOException e){
            System.out.println("There was an error connecting to the URL");
        }

    }

    // download()函数利用图片的url将图片下载到本地
    public static void download(String url, String dir, String filename) {  
        try { 

            /* httpurl: 图片的url
             * dirfile: 图片的储存目录
             */
            URL httpurl = new URL(url);  
            File dirfile = new File(dir); 

            // 如果图片储存的目录不存在，则新建该目录
            if (!dirfile.exists()) {    
                dirfile.mkdirs();  
            }  

            // 利用FileUtils.copyURLToFile()实现图片下载
            FileUtils.copyURLToFile(httpurl, new File(dir+filename));  
        } 
        catch(Exception e) {  
            e.printStackTrace();  
        } 
    }

}

  主函数ImageScraper.java的代码如下：

package wikiScrape;

/* 本爬虫利用多线程爬取http://www.imdb.cn/IMDB250/中Top250的图片
 * 先利用Jsoup解析得到该网页中的图片的url
 * 然后利用FileUtils.copyURLToFile()函数将图片下载到本地
 */

import wikiScrape.ImageDownload;

import java.util.ArrayList;
import java.util.concurrent.*;
import java.util.Date;

public class ImageScraper {

    public static void main(String[] args) {
        Date d1 = new Date();

        System.out.println("爬虫开始......");

        // 爬取的网址列表，一共十个网页
        ArrayList<String> urls = new ArrayList<String>();
        urls.add("http://www.imdb.cn/IMDB250/");
        for(int i=2; i<=10; i++) {
            urls.add("http://www.imdb.cn/imdb250/"+ Integer.toString(i));
        }

        String dir = "E://log/";  // 图片储存目录

        // 利用多线程下载每个页面中的图片
        ExecutorService executor = Executors.newCachedThreadPool();

        // Create and launch 100 threads
        for(int i=0; i<10; i++) {
            executor.execute(new ImageDownload(urls.get(i), dir));
        }

        executor.shutdown();

        // wait until all tasks are finished
        while(!executor.isTerminated()) {
        }

        System.out.println("程序运行完毕！");
        Date d2 = new Date();

        // 计算程序的运行时间，并输出
        long seconds = (d2.getTime()-d1.getTime())/1000;
        System.out.println("一共用时： "+seconds+"秒.");

    }

}

运行

  运行上述主函数，结果如下：