基于Java实现批量下载网络图片

简介:

昨天朋友做项目遇到一个需求,需要把上千个的微博表情图片下载到本地磁盘,并做好规范命名,塞给我一堆Json数据,让我帮忙处理下,反正闲着也没事干,就帮忙写了。(很简单的一个功能,随手记录下,刚好填补下最近博客的空白)

由于只是方便自己的工具,就不需要什么图形界面了,就用Java去写了,先看下效果图~



嘿嘿,突然发现会写程序是件好事,一千多张表情图片要是手动下载再进行改名,非得忙个2天2夜不可。。

好了,言归正传,说下代码实现,分成3步:

1、获取Json数据

2、根据Json数据所提供的图片资源地址进行下载

3、分类,规范命名

先来看下Json数据格式:

为了方便操作,我封装了一个数据实体类

 
  1. package com.lcw.downloadutil.domain; 
  2.  
  3. public class Bean { 
  4.  
  5.     private String phrase; 
  6.     private String type; 
  7.     private String url; 
  8.     private Boolean hot; 
  9.     private Boolean common; 
  10.     private String category; 
  11.     private String icon; 
  12.     private String value; 
  13.     private String picid; 
  14.  
  15.     public String getPhrase() { 
  16.         return phrase; 
  17.     } 
  18.  
  19.     public void setPhrase(String phrase) { 
  20.         this.phrase = phrase; 
  21.     } 
  22.  
  23.     public String getType() { 
  24.         return type; 
  25.     } 
  26.  
  27.     public void setType(String type) { 
  28.         this.type = type; 
  29.     } 
  30.  
  31.     public String getUrl() { 
  32.         return url; 
  33.     } 
  34.  
  35.     public void setUrl(String url) { 
  36.         this.url = url; 
  37.     } 
  38.  
  39.     public Boolean getHot() { 
  40.         return hot; 
  41.     } 
  42.  
  43.     public void setHot(Boolean hot) { 
  44.         this.hot = hot; 
  45.     } 
  46.  
  47.     public Boolean getCommon() { 
  48.         return common; 
  49.     } 
  50.  
  51.     public void setCommon(Boolean common) { 
  52.         this.common = common; 
  53.     } 
  54.  
  55.     public String getCategory() { 
  56.         return category; 
  57.     } 
  58.  
  59.     public void setCategory(String category) { 
  60.         this.category = category; 
  61.     } 
  62.  
  63.     public String getIcon() { 
  64.         return icon; 
  65.     } 
  66.  
  67.     public void setIcon(String icon) { 
  68.         this.icon = icon; 
  69.     } 
  70.  
  71.     public String getValue() { 
  72.         return value; 
  73.     } 
  74.  
  75.     public void setValue(String value) { 
  76.         this.value = value; 
  77.     } 
  78.  
  79.     public String getPicid() { 
  80.         return picid; 
  81.     } 
  82.  
  83.     public void setPicid(String picid) { 
  84.         this.picid = picid; 
  85.     } 
  86.  
  87.     @Override 
  88.     public String toString() { 
  89.         return "Bean [phrase=" + phrase + ", type=" + type + ", url=" + url + ", hot=" + hot + ", common=" + common + ", category=" + category + ", icon=" + icon + ", value=" + value + ", picid=" + picid + "]"
  90.     } 
  91.  

然后我写了一个工具类封装了一些方法

分别用来处理(网络数据的获取,Json数据的反序列化,对图片资源的下载)

 
 
  1. package com.lcw.downloadutil.utils; 
  2.  
  3. import java.io.BufferedInputStream; 
  4. import java.io.BufferedOutputStream; 
  5. import java.io.BufferedReader; 
  6. import java.io.File; 
  7. import java.io.FileOutputStream; 
  8. import java.io.IOException; 
  9. import java.io.InputStream; 
  10. import java.io.InputStreamReader; 
  11. import java.net.MalformedURLException; 
  12. import java.net.URL; 
  13. import java.util.List; 
  14.  
  15. import com.google.gson.Gson; 
  16. import com.google.gson.reflect.TypeToken; 
  17. import com.lcw.downloadutil.domain.Bean; 
  18.  
  19. /** 
  20.  * 工具类集合 
  21.  *  
  22.  * @author Rabbit_Lee 
  23.  *  
  24.  */ 
  25. public class HelpUtils { 
  26.     /** 
  27.      * 根据所提供的url地址获取Json数据 
  28.      *  
  29.      * @param path 
  30.      * @return 
  31.      */ 
  32.     public String getHttpString(String path) { 
  33.         // 存放获取到的数据 
  34.         String info = ""
  35.         // 网络请求所需变量 
  36.         InputStream in = null
  37.         InputStreamReader reader = null
  38.         BufferedReader bufferedReader = null
  39.         try { 
  40.             URL url = new URL(path); 
  41.             // 根据Url打开地址,以utf-8编码的形式返回输入流 
  42.             in = url.openStream(); 
  43.             reader = new InputStreamReader(in, "utf-8"); 
  44.             bufferedReader = new BufferedReader(reader); 
  45.             // 临时接受数据变量 
  46.             String temp = null
  47.             while ((temp = bufferedReader.readLine()) != null) { 
  48.                 info += temp; 
  49.             } 
  50.             return info; 
  51.         } catch (MalformedURLException e) { 
  52.             e.printStackTrace(); 
  53.         } catch (IOException e) { 
  54.             e.printStackTrace(); 
  55.         } finally { 
  56.             try { 
  57.                 in.close(); 
  58.                 reader.close(); 
  59.                 bufferedReader.close(); 
  60.             } catch (IOException e) { 
  61.                 e.printStackTrace(); 
  62.             } 
  63.         } 
  64.         return null
  65.     } 
  66.  
  67.     /** 
  68.      * 将所提供的Json数据反序列化成Java对象(List集合) 
  69.      *  
  70.      * @param json 
  71.      * @return 
  72.      */ 
  73.     public List<Bean> changeJsonToList(String json) { 
  74.         // 利用Gson将JSON数据反序列化成JAVA对象 
  75.         Gson gson = new Gson(); 
  76.         List<Bean> beans = gson.fromJson(json, new TypeToken<List<Bean>>() { 
  77.         }.getType()); 
  78.         return beans; 
  79.     } 
  80.  
  81.     /** 
  82.      * 下载图片,并按照指定的路径存储 
  83.      * @param bean 
  84.      * @param filePath 
  85.      */ 
  86.     public void makeImage(Bean bean, String filePath) { 
  87.         // 网络请求所需变量 
  88.         try { 
  89.             //获取输入流 
  90.             BufferedInputStream in = new BufferedInputStream(new URL(bean.getUrl()).openStream()); 
  91.             //创建文件流 
  92.             File file = new File(filePath + bean.getPhrase()+".gif"); 
  93.             BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file)); 
  94.             //缓冲字节数组 
  95.             byte[] data = new byte[2048]; 
  96.             int length = in.read(data); 
  97.             while (length != -1) { 
  98.                 out.write(data, 0, data.length); 
  99.                 length = in.read(data); 
  100.             } 
  101.             System.out.println("正在执行下载任务:当前正在下载图片" + bean.getPhrase() + ".gif"); 
  102.             in.close(); 
  103.             out.close(); 
  104.         } catch (MalformedURLException e) { 
  105.             e.printStackTrace(); 
  106.         } catch (IOException e) { 
  107.             e.printStackTrace(); 
  108.         } 
  109.     } 
  110.  

上面代码对于Json数据的处理,我用到了谷歌给我们提供的Gson工具类

对于Gson类不懂使用的朋友可以看下我之前写过的一篇文章:

Gson简要使用笔记》:http://www.cnblogs.com/lichenwei/p/3987429.html

 
  1. package com.lcw.downloadutil.main; 
  2.  
  3. import java.util.List; 
  4.  
  5. import com.lcw.downloadutil.domain.Bean; 
  6. import com.lcw.downloadutil.utils.HelpUtils; 
  7.  
  8. public class TaskMain { 
  9.  
  10.     private static final String URL = "这里涉及到Oauth2.0的一些个人隐私数据就不给出了"
  11.     private static String mJsonInfo; 
  12.  
  13.     public static void main(String[] args) { 
  14.         HelpUtils helpUtils = new HelpUtils(); 
  15.         // 获取Json数据 
  16.         mJsonInfo = helpUtils.getHttpString(URL); 
  17.         // 将Json数据反序列化成java对象 
  18.         List<Bean> beans = helpUtils.changeJsonToList(mJsonInfo); 
  19.         //循环遍历下载图片 
  20.         for (int i = 0; i < beans.size(); i++) { 
  21.             helpUtils.makeImage(beans.get(i), "C:/images/"); 
  22.         } 
  23.  
  24.     } 
  25.  

到这里就完事了,有哪里不清楚的朋友,可以在下面文章评论交流。


作者:Balla_兔子

来源:51CTO



相关文章
|
2月前
|
运维 监控 网络协议
JAVA 线上故障排查完整套路,从 CPU、磁盘、内存、网络、GC
JAVA 线上故障排查完整套路,从 CPU、磁盘、内存、网络、GC
75 0
|
2月前
|
网络协议 算法 Java
|
4天前
|
网络协议 算法 Java
【Java网络编程】网络编程概述、UDP通信(DatagramPacket 与 DatagramSocket)
【Java网络编程】网络编程概述、UDP通信(DatagramPacket 与 DatagramSocket)
16 3
|
4天前
|
网络协议 Dubbo Java
【网络编程】理解客户端和服务器并使用Java提供的api实现回显服务器
【网络编程】理解客户端和服务器并使用Java提供的api实现回显服务器
9 0
|
14天前
|
安全 Java 网络安全
深入理解Java异常处理网络安全与信息安全:保护数据的关键策略
【4月更文挑战第29天】本文将深入探讨Java中的异常处理机制,包括异常的概念、分类、捕获和处理等方面。通过详细的解析和实例演示,帮助读者更好地理解Java异常处理的原理和应用。 【4月更文挑战第29天】在数字化时代,数据成为最宝贵的资产之一。随着网络攻击的日益猖獗,了解并实施有效的网络安全和信息保护措施变得至关重要。本文将深入探讨网络安全漏洞的概念、加密技术的重要性以及提升个人和企业的安全意识的必要性。我们将分析当前的安全挑战,并提供一系列实用的防护策略,旨在帮助读者构建一个更加安全的数字环境。
|
17天前
|
网络协议 Java 网络架构
Java基础教程(18)-Java中的网络编程
【4月更文挑战第18天】Java网络编程简化了底层协议处理,利用Java标准库接口进行TCP/IP通信。TCP协议提供可靠传输,常用于HTTP、SMTP等协议;UDP协议则更高效但不保证可靠性。在TCP编程中,ServerSocket用于监听客户端连接,Socket实现双进程间通信。UDP编程中,DatagramSocket处理无连接的数据报文。HTTP编程可以通过HttpURLConnection发送请求并接收响应。
|
24天前
|
监控 网络协议 Java
《Java 简易速速上手小册》第7章:Java 网络编程(2024 最新版)
《Java 简易速速上手小册》第7章:Java 网络编程(2024 最新版)
23 0
《Java 简易速速上手小册》第7章:Java 网络编程(2024 最新版)
|
24天前
|
监控 Java 开发者
深入理解 Java 网络编程和 NIO
【4月更文挑战第19天】Java网络编程基于Socket,但NIO(非阻塞I/O)提升了效率和性能。NIO特点是非阻塞模式、选择器机制和缓冲区,适合高并发场景。使用NIO涉及通道、选择器和事件处理,优点是高并发、资源利用率和可扩展性,但复杂度、错误处理和性能调优是挑战。开发者应根据需求选择是否使用NIO,并深入理解其原理。
|
25天前
|
JavaScript Java 测试技术
基于Java的网络办公系统的设计与实现(源码+lw+部署文档+讲解等)
基于Java的网络办公系统的设计与实现(源码+lw+部署文档+讲解等)
23 0
|
27天前
|
网络协议 Java API
深度剖析:Java网络编程中的TCP/IP与HTTP协议实践
【4月更文挑战第17天】Java网络编程重在TCP/IP和HTTP协议的应用。TCP提供可靠数据传输,通过Socket和ServerSocket实现;HTTP用于Web服务,常借助HttpURLConnection或Apache HttpClient。两者结合,构成网络服务基础。Java有多种高级API和框架(如Netty、Spring Boot)简化开发,助力高效、高并发的网络通信。