基于Java实现批量下载网络图片

简介:

昨天朋友做项目遇到一个需求,需要把上千个的微博表情图片下载到本地磁盘,并做好规范命名,塞给我一堆Json数据,让我帮忙处理下,反正闲着也没事干,就帮忙写了。(很简单的一个功能,随手记录下,刚好填补下最近博客的空白)

由于只是方便自己的工具,就不需要什么图形界面了,就用Java去写了,先看下效果图~



嘿嘿,突然发现会写程序是件好事,一千多张表情图片要是手动下载再进行改名,非得忙个2天2夜不可。。

好了,言归正传,说下代码实现,分成3步:

1、获取Json数据

2、根据Json数据所提供的图片资源地址进行下载

3、分类,规范命名

先来看下Json数据格式:

为了方便操作,我封装了一个数据实体类


 
 
  1. package com.lcw.downloadutil.domain; 
  2.  
  3. public class Bean { 
  4.  
  5.     private String phrase; 
  6.     private String type; 
  7.     private String url; 
  8.     private Boolean hot; 
  9.     private Boolean common; 
  10.     private String category; 
  11.     private String icon; 
  12.     private String value; 
  13.     private String picid; 
  14.  
  15.     public String getPhrase() { 
  16.         return phrase; 
  17.     } 
  18.  
  19.     public void setPhrase(String phrase) { 
  20.         this.phrase = phrase; 
  21.     } 
  22.  
  23.     public String getType() { 
  24.         return type; 
  25.     } 
  26.  
  27.     public void setType(String type) { 
  28.         this.type = type; 
  29.     } 
  30.  
  31.     public String getUrl() { 
  32.         return url; 
  33.     } 
  34.  
  35.     public void setUrl(String url) { 
  36.         this.url = url; 
  37.     } 
  38.  
  39.     public Boolean getHot() { 
  40.         return hot; 
  41.     } 
  42.  
  43.     public void setHot(Boolean hot) { 
  44.         this.hot = hot; 
  45.     } 
  46.  
  47.     public Boolean getCommon() { 
  48.         return common; 
  49.     } 
  50.  
  51.     public void setCommon(Boolean common) { 
  52.         this.common = common; 
  53.     } 
  54.  
  55.     public String getCategory() { 
  56.         return category; 
  57.     } 
  58.  
  59.     public void setCategory(String category) { 
  60.         this.category = category; 
  61.     } 
  62.  
  63.     public String getIcon() { 
  64.         return icon; 
  65.     } 
  66.  
  67.     public void setIcon(String icon) { 
  68.         this.icon = icon; 
  69.     } 
  70.  
  71.     public String getValue() { 
  72.         return value; 
  73.     } 
  74.  
  75.     public void setValue(String value) { 
  76.         this.value = value; 
  77.     } 
  78.  
  79.     public String getPicid() { 
  80.         return picid; 
  81.     } 
  82.  
  83.     public void setPicid(String picid) { 
  84.         this.picid = picid; 
  85.     } 
  86.  
  87.     @Override 
  88.     public String toString() { 
  89.         return "Bean [phrase=" + phrase + ", type=" + type + ", url=" + url + ", hot=" + hot + ", common=" + common + ", category=" + category + ", icon=" + icon + ", value=" + value + ", picid=" + picid + "]"
  90.     } 
  91.  

然后我写了一个工具类封装了一些方法

分别用来处理(网络数据的获取,Json数据的反序列化,对图片资源的下载)


  
  
  1. package com.lcw.downloadutil.utils; 
  2.  
  3. import java.io.BufferedInputStream; 
  4. import java.io.BufferedOutputStream; 
  5. import java.io.BufferedReader; 
  6. import java.io.File; 
  7. import java.io.FileOutputStream; 
  8. import java.io.IOException; 
  9. import java.io.InputStream; 
  10. import java.io.InputStreamReader; 
  11. import java.net.MalformedURLException; 
  12. import java.net.URL; 
  13. import java.util.List; 
  14.  
  15. import com.google.gson.Gson; 
  16. import com.google.gson.reflect.TypeToken; 
  17. import com.lcw.downloadutil.domain.Bean; 
  18.  
  19. /** 
  20.  * 工具类集合 
  21.  *  
  22.  * @author Rabbit_Lee 
  23.  *  
  24.  */ 
  25. public class HelpUtils { 
  26.     /** 
  27.      * 根据所提供的url地址获取Json数据 
  28.      *  
  29.      * @param path 
  30.      * @return 
  31.      */ 
  32.     public String getHttpString(String path) { 
  33.         // 存放获取到的数据 
  34.         String info = ""
  35.         // 网络请求所需变量 
  36.         InputStream in = null
  37.         InputStreamReader reader = null
  38.         BufferedReader bufferedReader = null
  39.         try { 
  40.             URL url = new URL(path); 
  41.             // 根据Url打开地址,以utf-8编码的形式返回输入流 
  42.             in = url.openStream(); 
  43.             reader = new InputStreamReader(in, "utf-8"); 
  44.             bufferedReader = new BufferedReader(reader); 
  45.             // 临时接受数据变量 
  46.             String temp = null
  47.             while ((temp = bufferedReader.readLine()) != null) { 
  48.                 info += temp; 
  49.             } 
  50.             return info; 
  51.         } catch (MalformedURLException e) { 
  52.             e.printStackTrace(); 
  53.         } catch (IOException e) { 
  54.             e.printStackTrace(); 
  55.         } finally { 
  56.             try { 
  57.                 in.close(); 
  58.                 reader.close(); 
  59.                 bufferedReader.close(); 
  60.             } catch (IOException e) { 
  61.                 e.printStackTrace(); 
  62.             } 
  63.         } 
  64.         return null
  65.     } 
  66.  
  67.     /** 
  68.      * 将所提供的Json数据反序列化成Java对象(List集合) 
  69.      *  
  70.      * @param json 
  71.      * @return 
  72.      */ 
  73.     public List<Bean> changeJsonToList(String json) { 
  74.         // 利用Gson将JSON数据反序列化成JAVA对象 
  75.         Gson gson = new Gson(); 
  76.         List<Bean> beans = gson.fromJson(json, new TypeToken<List<Bean>>() { 
  77.         }.getType()); 
  78.         return beans; 
  79.     } 
  80.  
  81.     /** 
  82.      * 下载图片,并按照指定的路径存储 
  83.      * @param bean 
  84.      * @param filePath 
  85.      */ 
  86.     public void makeImage(Bean bean, String filePath) { 
  87.         // 网络请求所需变量 
  88.         try { 
  89.             //获取输入流 
  90.             BufferedInputStream in = new BufferedInputStream(new URL(bean.getUrl()).openStream()); 
  91.             //创建文件流 
  92.             File file = new File(filePath + bean.getPhrase()+".gif"); 
  93.             BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file)); 
  94.             //缓冲字节数组 
  95.             byte[] data = new byte[2048]; 
  96.             int length = in.read(data); 
  97.             while (length != -1) { 
  98.                 out.write(data, 0, data.length); 
  99.                 length = in.read(data); 
  100.             } 
  101.             System.out.println("正在执行下载任务:当前正在下载图片" + bean.getPhrase() + ".gif"); 
  102.             in.close(); 
  103.             out.close(); 
  104.         } catch (MalformedURLException e) { 
  105.             e.printStackTrace(); 
  106.         } catch (IOException e) { 
  107.             e.printStackTrace(); 
  108.         } 
  109.     } 
  110.  

上面代码对于Json数据的处理,我用到了谷歌给我们提供的Gson工具类

对于Gson类不懂使用的朋友可以看下我之前写过的一篇文章:

Gson简要使用笔记》:http://www.cnblogs.com/lichenwei/p/3987429.html


 
 
  1. package com.lcw.downloadutil.main; 
  2.  
  3. import java.util.List; 
  4.  
  5. import com.lcw.downloadutil.domain.Bean; 
  6. import com.lcw.downloadutil.utils.HelpUtils; 
  7.  
  8. public class TaskMain { 
  9.  
  10.     private static final String URL = "这里涉及到Oauth2.0的一些个人隐私数据就不给出了"
  11.     private static String mJsonInfo; 
  12.  
  13.     public static void main(String[] args) { 
  14.         HelpUtils helpUtils = new HelpUtils(); 
  15.         // 获取Json数据 
  16.         mJsonInfo = helpUtils.getHttpString(URL); 
  17.         // 将Json数据反序列化成java对象 
  18.         List<Bean> beans = helpUtils.changeJsonToList(mJsonInfo); 
  19.         //循环遍历下载图片 
  20.         for (int i = 0; i < beans.size(); i++) { 
  21.             helpUtils.makeImage(beans.get(i), "C:/images/"); 
  22.         } 
  23.  
  24.     } 
  25.  

到这里就完事了,有哪里不清楚的朋友,可以在下面文章评论交流。


作者:Balla_兔子

来源:51CTO



相关文章
|
存储 监控 安全
单位网络监控软件:Java 技术驱动的高效网络监管体系构建
在数字化办公时代,构建基于Java技术的单位网络监控软件至关重要。该软件能精准监管单位网络活动,保障信息安全,提升工作效率。通过网络流量监测、访问控制及连接状态监控等模块,实现高效网络监管,确保网络稳定、安全、高效运行。
666 11
|
12月前
|
JSON 移动开发 网络协议
Java网络编程:Socket通信与HTTP客户端
本文全面讲解Java网络编程,涵盖TCP与UDP协议区别、Socket编程、HTTP客户端开发及实战案例,助你掌握实时通信、文件传输、聊天应用等场景,附性能优化与面试高频问题解析。
|
10月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
441 1
|
10月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
411 1
|
Java 程序员
JAVA程序员的进阶之路:掌握URL与URLConnection,轻松玩转网络资源!
在Java编程中,网络资源的获取与处理至关重要。本文介绍了如何使用URL与URLConnection高效、准确地获取网络资源。首先,通过`java.net.URL`类定位网络资源;其次,利用`URLConnection`类实现资源的读取与写入。文章还提供了最佳实践,包括异常处理、连接池、超时设置和请求头与响应头的合理配置,帮助Java程序员提升技能,应对复杂网络编程场景。
391 9
|
人工智能 Java 物联网
JAVA网络编程的未来:URL与URLConnection的无限可能,你准备好了吗?
随着技术的发展和互联网的普及,JAVA网络编程迎来新的机遇。本文通过案例分析,探讨URL与URLConnection在智能API调用和实时数据流处理中的关键作用,展望其未来趋势和潜力。
297 7
|
10月前
|
机器学习/深度学习 分布式计算 Java
Java与图神经网络:构建企业级知识图谱与智能推理系统
图神经网络(GNN)作为处理非欧几里得数据的前沿技术,正成为企业知识管理和智能推理的核心引擎。本文深入探讨如何在Java生态中构建基于GNN的知识图谱系统,涵盖从图数据建模、GNN模型集成、分布式图计算到实时推理的全流程。通过具体的代码实现和架构设计,展示如何将先进的图神经网络技术融入传统Java企业应用,为构建下一代智能决策系统提供完整解决方案。
773 0
|
Java
【思维导图】JAVA网络编程思维升级:URL与URLConnection的逻辑梳理,助你一臂之力!
【思维导图】JAVA网络编程思维升级:URL与URLConnection的逻辑梳理,助你一臂之力!
311 1
|
XML JSON 搜索推荐
【高手过招】JAVA网络编程对决:URL与URLConnection的高级玩法,你敢挑战吗?
【高手过招】JAVA网络编程对决:URL与URLConnection的高级玩法,你敢挑战吗?
425 0
|
存储 网络协议 安全
Java网络编程,多线程,IO流综合小项目一一ChatBoxes
**项目介绍**:本项目实现了一个基于TCP协议的C/S架构控制台聊天室,支持局域网内多客户端同时聊天。用户需注册并登录,用户名唯一,密码格式为字母开头加纯数字。登录后可实时聊天,服务端负责验证用户信息并转发消息。 **项目亮点**: - **C/S架构**:客户端与服务端通过TCP连接通信。 - **多线程**:采用多线程处理多个客户端的并发请求,确保实时交互。 - **IO流**:使用BufferedReader和BufferedWriter进行数据传输,确保高效稳定的通信。 - **线程安全**:通过同步代码块和锁机制保证共享数据的安全性。
714 23