Java网络爬虫的实现

简介:

记得在刚找工作时,隔壁的一位同学在面试时豪言壮语曾实现过网络爬虫,当时的景仰之情犹如滔滔江水连绵不绝。后来,在做图片搜索时,需要大量的测试图片, 因此萌生了从Amazon中爬取图书封面图片的想法,从网上也吸取了一些前人的经验,实现了一个简单但足够用的爬虫系统。

网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成,其基本架构如下图所示:

 

 

传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。对于垂直搜索来说,聚焦爬虫,即有针对性地爬取特定主题网页的爬虫,更为适合。

本文爬虫程序的核心代码如下:

Java代码

 

 

  1. public void crawl() throws Throwable {     
  2.     while (continueCrawling()) {     
  3.         CrawlerUrl url = getNextUrl(); //获取待爬取队列中的下一个URL     
  4.         if (url != null) {     
  5.             printCrawlInfo();      
  6.             String content = getContent(url); //获取URL的文本信息     
  7.                  
  8.             //聚焦爬虫只爬取与主题内容相关的网页,这里采用正则匹配简单处理     
  9.             if (isContentRelevant(content, this.regexpSearchPattern)) {     
  10.                 saveContent(url, content); //保存网页至本地     
  11.     
  12.                 //获取网页内容中的链接,并放入待爬取队列中     
  13.                 Collection urlStrings = extractUrls(content, url);     
  14.                 addUrlsToUrlQueue(url, urlStrings);     
  15.             } else {     
  16.                 System.out.println(url + " is not relevant ignoring ...");     
  17.             }     
  18.     
  19.             //延时防止被对方屏蔽     
  20.             Thread.sleep(this.delayBetweenUrls);     
  21.         }     
  22.     }     
  23.     closeOutputStream();     
  24. }    

 

整个函数由getNextUrl、getContent、isContentRelevant、extractUrls、addUrlsToUrlQueue等几个核心方法组成,下面将一一介绍。先看getNextUrl:

Java代码

 

复制代码

 

 

  1. private CrawlerUrl getNextUrl() throws Throwable {     
  2.     CrawlerUrl nextUrl = null;     
  3.     while ((nextUrl == null) && (!urlQueue.isEmpty())) {     
  4.         CrawlerUrl crawlerUrl = this.urlQueue.remove();     
  5.                     
  6.         //doWeHavePermissionToVisit:是否有权限访问该URL,友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取     
  7.         //isUrlAlreadyVisited:URL是否访问过,大型的搜索引擎往往采用BloomFilter进行排重,这里简单使用HashMap     
  8.         //isDepthAcceptable:是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱(自动生成一些无效链接使爬虫陷入死循环),采用深度限制加以避免     
  9.         if (doWeHavePermissionToVisit(crawlerUrl)     
  10.             && (!isUrlAlreadyVisited(crawlerUrl))      
  11.             && isDepthAcceptable(crawlerUrl)) {     
  12.             nextUrl = crawlerUrl;     
  13.             // System.out.println("Next url to be visited is " + nextUrl);     
  14.         }     
  15.     }     
  16.     return nextUrl;     
  17. }   

 

更多的关于robot.txt的具体写法,可参考以下这篇文章:

http://www.bloghuman.com/post/67/

getContent内部使用apache的httpclient 4.1获取网页内容,具体代码如下:

Java代码

 

 

  1. private String getContent(CrawlerUrl url) throws Throwable {     
  2.     //HttpClient4.1的调用与之前的方式不同     
  3.     HttpClient client = new DefaultHttpClient();     
  4.     HttpGet httpGet = new HttpGet(url.getUrlString());     
  5.     StringBuffer strBuf = new StringBuffer();     
  6.     HttpResponse response = client.execute(httpGet);     
  7.     if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) {     
  8.         HttpEntity entity = response.getEntity();     
  9.         if (entity != null) {     
  10.             BufferedReader reader = new BufferedReader(     
  11.                 new InputStreamReader(entity.getContent(), "UTF-8"));     
  12.             String line = null;     
  13.             if (entity.getContentLength() > 0) {     
  14.                 strBuf = new StringBuffer((int) entity.getContentLength());     
  15.                 while ((line = reader.readLine()) != null) {     
  16.                     strBuf.append(line);     
  17.                 }     
  18.             }     
  19.         }     
  20.         if (entity != null) {     
  21.             entity.consumeContent();     
  22.         }     
  23.     }     
  24.     //将url标记为已访问     
  25.     markUrlAsVisited(url);     
  26.     return strBuf.toString();     
  27. }    

 

对于垂直型应用来说,数据的准确性往往更为重要。聚焦型爬虫的主要特点是,只收集和主题相关的数据,这就是isContentRelevant方法的作用。这里或许要使用分类预测技术,为简单起见,采用正则匹配来代替。其主要代码如下:

Java代码

 

 

  1. public static boolean isContentRelevant(String content,     
  2. Pattern regexpPattern) {     
  3.     boolean retValue = false;     
  4.     if (content != null) {     
  5.         //是否符合正则表达式的条件     
  6.         Matcher m = regexpPattern.matcher(content.toLowerCase());     
  7.         retValue = m.find();     
  8.     }     
  9.     return retValue;     
  10. }    

 

extractUrls的主要作用,是从网页中获取更多的URL,包括内部链接和外部链接,代码如下:

Java代码

 

 

  1. public List extractUrls(String text, CrawlerUrl crawlerUrl) {     
  2.     Map urlMap = new HashMap();     
  3.     extractHttpUrls(urlMap, text);     
  4.     extractRelativeUrls(urlMap, text, crawlerUrl);     
  5.     return new ArrayList(urlMap.keySet());     
  6. }     
  7.     
  8. //处理外部链接     
  9. private void extractHttpUrls(Map urlMap, String text) {     
  10.     Matcher m = httpRegexp.matcher(text);     
  11.     while (m.find()) {     
  12.         String url = m.group();     
  13.         String[] terms = url.split("a href=\"");     
  14.         for (String term : terms) {     
  15.             // System.out.println("Term = " + term);     
  16.             if (term.startsWith("http")) {     
  17.                 int index = term.indexOf("\"");     
  18.                 if (index > 0) {     
  19.                     term = term.substring(0, index);     
  20.                 }     
  21.                 urlMap.put(term, term);     
  22.                 System.out.println("Hyperlink: " + term);     
  23.             }     
  24.         }     
  25.     }     
  26. }     
  27.     
  28. //处理内部链接     
  29. private void extractRelativeUrls(Map urlMap, String text,     
  30.         CrawlerUrl crawlerUrl) {     
  31.     Matcher m = relativeRegexp.matcher(text);     
  32.     URL textURL = crawlerUrl.getURL();     
  33.     String host = textURL.getHost();     
  34.     while (m.find()) {     
  35.         String url = m.group();     
  36.         String[] terms = url.split("a href=\"");     
  37.         for (String term : terms) {     
  38.             if (term.startsWith("/")) {     
  39.                 int index = term.indexOf("\"");     
  40.                 if (index > 0) {     
  41.                     term = term.substring(0, index);     
  42.                 }     
  43.                 String s = "http://" + host + term;     
  44.                 urlMap.put(s, s);     
  45.                 System.out.println("Relative url: " + s);     
  46.             }     
  47.         }     
  48.     }     
  49.     
  50. }    

 

如此,便构建了一个简单的网络爬虫程序,可以使用以下程序来测试它:

Java代码

 

 

  1. public static void main(String[] args) {     
  2.     try {     
  3.         String url = "http://www.amazon.com";     
  4.         Queue urlQueue = new LinkedList();     
  5.         String regexp = "java";     
  6.         urlQueue.add(new CrawlerUrl(url, 0));     
  7.         NaiveCrawler crawler = new NaiveCrawler(urlQueue, 1005, 1000L,     
  8.                 regexp);     
  9.         // boolean allowCrawl = crawler.areWeAllowedToVisit(url);     
  10.         // System.out.println("Allowed to crawl: " + url + " " +     
  11.         // allowCrawl);     
  12.         crawler.crawl();     
  13.     } catch (Throwable t) {     
  14.         System.out.println(t.toString());     
  15.         t.printStackTrace();     
  16.     }     
  17. }    

 

当然,你可以为它赋予更为高级的功能,比如多线程、更智能的聚焦、结合Lucene建立索引等等。更为复杂的情况,可以考虑使用一些开源的蜘蛛程序,比如Nutch或是Heritrix等等,就不在本文的讨论范围了。

来源:http://blog.csdn.net/catherineruirui/article/details/7467365




本文转自夏雪冬日博客园博客,原文链接:XXXXXX,如需转载请自行联系原作者

目录
相关文章
|
2月前
|
存储 监控 安全
单位网络监控软件:Java 技术驱动的高效网络监管体系构建
在数字化办公时代,构建基于Java技术的单位网络监控软件至关重要。该软件能精准监管单位网络活动,保障信息安全,提升工作效率。通过网络流量监测、访问控制及连接状态监控等模块,实现高效网络监管,确保网络稳定、安全、高效运行。
82 11
|
3月前
|
Java 程序员
JAVA程序员的进阶之路:掌握URL与URLConnection,轻松玩转网络资源!
在Java编程中,网络资源的获取与处理至关重要。本文介绍了如何使用URL与URLConnection高效、准确地获取网络资源。首先,通过`java.net.URL`类定位网络资源;其次,利用`URLConnection`类实现资源的读取与写入。文章还提供了最佳实践,包括异常处理、连接池、超时设置和请求头与响应头的合理配置,帮助Java程序员提升技能,应对复杂网络编程场景。
95 9
|
3月前
|
人工智能 Java 物联网
JAVA网络编程的未来:URL与URLConnection的无限可能,你准备好了吗?
随着技术的发展和互联网的普及,JAVA网络编程迎来新的机遇。本文通过案例分析,探讨URL与URLConnection在智能API调用和实时数据流处理中的关键作用,展望其未来趋势和潜力。
71 7
|
4天前
|
数据采集 JSON Java
Java爬虫获取微店快递费用item_fee API接口数据实现
本文介绍如何使用Java开发爬虫程序,通过微店API接口获取商品快递费用(item_fee)数据。主要内容包括:微店API接口的使用方法、Java爬虫技术背景、需求分析和技术选型。具体实现步骤为:发送HTTP请求获取数据、解析JSON格式的响应并提取快递费用信息,最后将结果存储到本地文件中。文中还提供了完整的代码示例,并提醒开发者注意授权令牌、接口频率限制及数据合法性等问题。
|
4天前
|
数据采集 存储 Java
Java爬虫获取微店店铺所有商品API接口设计与实现
本文介绍如何使用Java设计并实现一个爬虫程序,以获取微店店铺的所有商品信息。通过HttpClient发送HTTP请求,Jsoup解析HTML页面,提取商品名称、价格、图片链接等数据,并将其存储到本地文件或数据库中。文中详细描述了爬虫的设计思路、代码实现及注意事项,包括反爬虫机制、数据合法性和性能优化。此方法可帮助商家了解竞争对手,为消费者提供更全面的商品比较。
|
4月前
|
数据采集 缓存 Java
Python vs Java:爬虫任务中的效率比较
Python vs Java:爬虫任务中的效率比较
|
9天前
|
安全 网络协议 Java
Java网络编程封装
Java网络编程封装原理旨在隐藏底层通信细节,提供简洁、安全的高层接口。通过简化开发、提高安全性和增强可维护性,封装使开发者能更高效地进行网络应用开发。常见的封装层次包括套接字层(如Socket和ServerSocket类),以及更高层次的HTTP请求封装(如RestTemplate)。示例代码展示了如何使用RestTemplate简化HTTP请求的发送与处理,确保代码清晰易维护。
|
3月前
|
数据采集 存储 Web App开发
Java爬虫:深入解析商品详情的利器
在数字化时代,信息处理能力成为企业竞争的关键。本文探讨如何利用Java编写高效、准确的商品详情爬虫,涵盖爬虫技术概述、Java爬虫优势、开发步骤、法律法规遵守及数据处理分析等内容,助力电商领域市场趋势把握与决策支持。
|
3月前
|
网络协议 Java 物联网
Java网络编程知识点
Java网络编程知识点
76 13
|
3月前
|
数据采集 存储 监控
Java爬虫:数据采集的强大工具
在数据驱动的时代,Java爬虫技术凭借其强大的功能和灵活性,成为企业获取市场信息、用户行为及竞争情报的关键工具。本文详细介绍了Java爬虫的工作原理、应用场景、构建方法及其重要性,强调了在合法合规的前提下,如何有效利用Java爬虫技术为企业决策提供支持。