java采集网页数据方法【多线程数据采集之一】

简介:

第一步抓取数据。

java采集网页数据。获取html文本节点

有几种办法。

第一种: 采用HttpURLConnection

 
  1. package com.yjf.util;   
  2.    
  3. import java.io.BufferedReader;   
  4. import java.io.IOException;   
  5. import java.io.InputStream;   
  6. import java.io.InputStreamReader;   
  7. import java.net.HttpURLConnection;   
  8. import java.net.URL;   
  9.    
  10. public class HttpWebUtil {   
  11.        
  12.     /**  
  13.      *网页抓取方法  
  14.      * @param urlString      要抓取的url地址  
  15.      * @param charset        网页编码方式  
  16.      * @param timeout        超时时间  
  17.      * @return               抓取的网页内容  
  18.      * @throws IOException   抓取异常  
  19.      */   
  20.     public static String GetWebContent(String urlString, final String charset, int timeout) throws IOException {   
  21.         if (urlString == null || urlString.length() == 0) {   
  22.             return "";   
  23.         }   
  24.         urlString = (urlString.startsWith("http://") || urlString.startsWith("https://")) ? urlString : ("http://" + urlString).intern();   
  25.         URL url = new URL(urlString);   
  26.         HttpURLConnection conn = (HttpURLConnection) url.openConnection();   
  27.         conn.setDoOutput(true);      
  28.         conn.setRequestProperty("Pragma""no-cache");      
  29.         conn.setRequestProperty("Cache-Control""no-cache");      
  30.            
  31.         int temp = Integer.parseInt(Math.round(Math.random()*(UserAgent.length-1))+"");   
  32.         conn.setRequestProperty(   
  33.                 "User-Agent",   
  34.                     UserAgent[temp]);  // 模拟手机系统   
  35.         conn.setRequestProperty("Accept""text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");//只接受text/html类型,当然也可以接受图片,pdf,*/*任意,就是tomcat/conf/web里面定义那些   
  36.         conn.setConnectTimeout(timeout);   
  37.         try {   
  38.             if (conn.getResponseCode() != HttpURLConnection.HTTP_OK) {   
  39.                 return "";   
  40.             }   
  41.         } catch (Exception e) {   
  42.             try {   
  43.                 System.out.println(e.getMessage());   
  44.             } catch (Exception e2) {   
  45.                 e2.printStackTrace();   
  46.             }   
  47.             return "";   
  48.         }   
  49.         InputStream input = conn.getInputStream();   
  50.         BufferedReader reader = new BufferedReader(new InputStreamReader(input,   
  51.                 charset));   
  52.         String line = null;   
  53.         StringBuffer sb = new StringBuffer("");   
  54.         while ((line = reader.readLine()) != null) {   
  55.             sb.append(line).append("\r\n");   
  56.         }   
  57.         if (reader != null) {   
  58.             reader.close();   
  59.         }   
  60.         if (conn != null) {   
  61.             conn.disconnect();   
  62.         }   
  63.         return sb.toString();   
  64.     }   
  65.        
  66.     public static String[] UserAgent = {   
  67.         "Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.2",   
  68.         "Mozilla/5.0 (iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.11",   
  69.         "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18121",   
  70.         "Nokia5700AP23.01/SymbianOS/9.1 Series60/3.0",   
  71.         "UCWEB7.0.2.37/28/998",   
  72.         "NOKIA5700/UCWEB7.0.2.37/28/977",   
  73.         "Openwave/UCWEB7.0.2.37/28/978",   
  74.         "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/989"   
  75.     };   
  76.        
  77. }   

第二种:采用jar插件Jsoup.jar 

 

org.jsoup.Jsoup

 
  1. //站点入口列表   
  2.     public static List<String> getSiteUrlList1(List<String> list,String listurl){   
  3.         if(list==null || list.size()<=0){   
  4.             list = new ArrayList<String>();   
  5.         }   
  6.         try {   
  7.             Document docdata = Jsoup.connect(listurl).timeout(10000).get();   
  8.             String hb = ".m_book li a";   
  9.             String page = ".page_list .page_up";   
  10.             Elements ele = docdata.select(hb);   
  11.             for (Element el : ele) {   
  12.                 list.add(el.attr("href"));   
  13.             }   
  14.             if(docdata.select(page)!=null && docdata.select(page).first()!=null){   
  15.                 String url = "http://www.xxxxx.com/site_map/"+docdata.select(page).first().attr("href");   
  16.                 getSiteUrlList1(list, url);   
  17.             }   
  18.         } catch (Exception e) {   
  19.             e.printStackTrace();   
  20.         }   
  21.         return list;   
  22.     }   

第三种:http模拟器

可以请求表单数据和 重定向

http://blog.csdn.net/yjflinchong/article/details/8004706 

 

 

以上先描述第一步抓取数据。后期加入多线程网络数据采集完整介绍。



      本文转自yjflinchong 51CTO博客,原文链接:http://blog.51cto.com/yjflinchong/1165160,如需转载请自行联系原作者






相关文章
|
2天前
|
缓存 Prometheus 监控
Java面试题:如何监控和优化JVM的内存使用?详细讲解内存调优的几种方法
Java面试题:如何监控和优化JVM的内存使用?详细讲解内存调优的几种方法
20 3
|
2天前
|
设计模式 安全 Java
Java面试题:设计模式如单例模式、工厂模式、观察者模式等在多线程环境下线程安全问题,Java内存模型定义了线程如何与内存交互,包括原子性、可见性、有序性,并发框架提供了更高层次的并发任务处理能力
Java面试题:设计模式如单例模式、工厂模式、观察者模式等在多线程环境下线程安全问题,Java内存模型定义了线程如何与内存交互,包括原子性、可见性、有序性,并发框架提供了更高层次的并发任务处理能力
12 1
|
2天前
|
缓存 监控 算法
Java面试题:讨论JVM性能调优的常见方法和技巧。
Java面试题:讨论JVM性能调优的常见方法和技巧。
10 1
|
2天前
|
设计模式 存储 安全
Java面试题:设计一个线程安全的单例类并解释其内存占用情况?使用Java多线程工具类实现一个高效的线程池,并解释其背后的原理。结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
Java面试题:设计一个线程安全的单例类并解释其内存占用情况?使用Java多线程工具类实现一个高效的线程池,并解释其背后的原理。结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
9 1
|
2天前
|
存储 设计模式 监控
Java面试题:简述JVM的内存结构,包括堆、栈、方法区等。栈内存优化的方法有 哪些?
Java面试题:简述JVM的内存结构,包括堆、栈、方法区等。栈内存优化的方法有 哪些?
12 0
|
2天前
|
设计模式 存储 缓存
Java面试题:结合设计模式与并发工具包实现高效缓存;多线程与内存管理优化实践;并发框架与设计模式在复杂系统中的应用
Java面试题:结合设计模式与并发工具包实现高效缓存;多线程与内存管理优化实践;并发框架与设计模式在复杂系统中的应用
7 0
|
2天前
|
设计模式 缓存 安全
Java面试题:设计模式在并发编程中的创新应用,Java内存管理与多线程工具类的综合应用,Java并发工具包与并发框架的创新应用
Java面试题:设计模式在并发编程中的创新应用,Java内存管理与多线程工具类的综合应用,Java并发工具包与并发框架的创新应用
7 0
|
2天前
|
设计模式 存储 缓存
Java面试题:结合建造者模式与内存优化,设计一个可扩展的高性能对象创建框架?利用多线程工具类与并发框架,实现一个高并发的分布式任务调度系统?设计一个高性能的实时事件通知系统
Java面试题:结合建造者模式与内存优化,设计一个可扩展的高性能对象创建框架?利用多线程工具类与并发框架,实现一个高并发的分布式任务调度系统?设计一个高性能的实时事件通知系统
9 0
|
2天前
|
设计模式 并行计算 安全
Java面试题:如何使用设计模式优化多线程环境下的资源管理?Java内存模型与并发工具类的协同工作,描述ForkJoinPool的工作机制,并解释其在并行计算中的优势。如何根据任务特性调整线程池参数
Java面试题:如何使用设计模式优化多线程环境下的资源管理?Java内存模型与并发工具类的协同工作,描述ForkJoinPool的工作机制,并解释其在并行计算中的优势。如何根据任务特性调整线程池参数
9 0
|
2天前
|
设计模式 安全 NoSQL
Java面试题:结合单例模式与Java内存管理,设计一个线程安全的单例类?分析Java多线程工具类ExecutorService与Java并发工具包中的工具类,设计一个Java并发框架的分布式锁实现
Java面试题:结合单例模式与Java内存管理,设计一个线程安全的单例类?分析Java多线程工具类ExecutorService与Java并发工具包中的工具类,设计一个Java并发框架的分布式锁实现
9 0