1.实战背景
最近在做一个项目，需要用到minio来搭建文件系统，先简单说一下我在项目中设置的上传文件流程：
- 前端将分块文件逐一传给后端，后端再存储到 linux服务器的minio 当中。
- 所有分块文件存储完毕，后端从 minio 下载所有的分块文件到本地磁盘中。
- 后端进行合并文件处理，将合并后的文件通过上传到minio（SDK-Minio Java Client有自带分块上传方法）
我在当前的项目开发阶段，java后端服务是直接在本地进行运行，而minio服务则是在购买的轻量服务器中运行。
2.问题描述
在上传文件流程的过程二中，我发现一个2MB的分块文件下载到本地磁盘需要两到三秒，而一个大文件肯定会有许多分块文件，这就导致了当前端向后端发送合并文件请求，后端需要花费大量的时间来处理，主要就是花费在了从Minio下载分块文件到本地磁盘上。
- 一方面导致前端请求超时，无法获取到后端的处理后结果。
- 另一方面长时间的等待后端处理，严重影响了用户的体验。
3.问题分析
1️⃣ 首先我怀疑是使用的服务器本身性能的问题，于是又换了一个新的服务器（6Mbps宽带）用来只运行minio服务，然后发现没卵用，分块文件下载到本地速度还是一样慢。
2️⃣ 然后我做了许多的demo来进行下载测试，在这里我给出比较有代表性的测试案例：
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <version>2.6.3</version> </dependency> <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>8.3.0</version> </dependency> <dependency> <groupId>me.tongfei</groupId> <artifactId>progressbar</artifactId> <version>0.5.3</version> </dependency> <dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okhttp</artifactId> <version>4.8.1</version> </dependency>
import io.minio.GetObjectArgs; import io.minio.MinioClient; import org.apache.tomcat.util.http.fileupload.IOUtils; import java.io.FileOutputStream; import java.io.InputStream; /** * @author 狐狸半面添 * @create 2023-02-11 3:47 */ public class MinioFileDownLoadTest { private final static MinioClient minioClient; static { minioClient = MinioClient.builder() // 指定连接的ip和端口（轻量服务器） .endpoint("http://1.14.94.100:9000") // 指定 访问秘钥（也称用户id） 和 私有秘钥（也称密码） .credentials("admin", "12345678") .build(); } public static void main(String[] args) throws Exception { // 平均用时：14036ms test01(); } public static void test01() throws Exception { Long start = System.currentTimeMillis(); // 拿到输入流，我存放在minio的该文件为 10.1 MB 大小 InputStream inputStream = minioClient.getObject( GetObjectArgs.builder() .bucket("waveedu") .object("林屿森LIN - 小幸运【吉他】 (伴奏).mp3") .build() ); // 拿到输出流，用于下载到本地，命名为 lucky.mp3 FileOutputStream outputStream = new FileOutputStream("D:\\lucky.mp3"); // 用于拷贝流 IOUtils.copy(inputStream, outputStream); Long end = System.currentTimeMillis(); System.out.println("用时：" + (end - start) + "ms"); } }
test01()就是我在项目中使用的下载分块文件的方式。我进行了多次测试执行该方法，可以看出确实很慢，10.1MB的文件也要14秒左右。
于是小可爱的我换了一种下载方式：
public static void test02() throws Exception { Long start = System.currentTimeMillis(); // 使用minio客户端提供的downloadObject方法进行下载 minioClient.downloadObject( DownloadObjectArgs.builder() // 指定 bucket 存储桶 .bucket("waveedu") // 指定 哪个文件 .object("林屿森LIN - 小幸运【吉他】 (伴奏).mp3") // 指定存放位置与名称 .filename("D:\\lucky.mp3") .build()); Long end = System.currentTimeMillis(); System.out.println(end - start); }
我发现第一次执行该test02()方法下载的耗时和test01()的耗时一样，但之后再执行test02()时发现都只需要0.2秒！
于是我天真的以为就是不应该使用流拷贝的方式，而是应该使用test02()的方式。但修改项目中的下载方式后，几番折腾下来下载分块代码的时间和原来还是一样，依旧2MB的分块文件下载到本地磁盘需要两到三秒。我真哭醉了😭😭😭。
3️⃣ 于是又几番demo测试和源码分析后，我发现了为什么test02()第一次执行的耗时和test01()一样。
我们先看看 downloadObject 方法的对我们而言的关键源码：
简单点说，实际上就是 downloadObject 方法中也是使用流拷贝方式进行下载，但在下载之前先会去判断 D:\lucky.mp3 是否已经在本地磁盘存在，如果存在并且与minio中 waveedu 桶的文件 林屿森LIN - 小幸运【吉他】 (伴奏).mp3 所占字节大小一致，就认为是相同文件，没必要再从minio下载。因此第一次执行完test02()方法后之后再执行都是会直接判断出 fileSize == stat.size()为true ，就return了，不会再流拷贝。
而我的test01()是没有走这个判断的，不管本地指定位置存不存在，都会进行流拷贝从minio下载文件。
4️⃣ 发现了不是项目所用的下载方法的原因后，我开始思考是不是人品的问题，于是进行反复无脑愚蠢的重启服务器和重启项目，很显然，没得屁用。
5️⃣ 再到最后，我开始考虑是不是由于对轻量服务器是外网访问，而导致传输速度很慢，因此我依旧使用test01()的方法，在我本地linux虚拟机中启动minio服务，来测试下载速度：
import io.minio.GetObjectArgs; import io.minio.MinioClient; import org.apache.tomcat.util.http.fileupload.IOUtils; import java.io.FileOutputStream; import java.io.InputStream; /** * @author 狐狸半面添 * @create 2023-02-11 15:10 */ public class NativeLinuxTest { public static void main(String[] args) throws Exception { MinioClient minioClient = MinioClient.builder() // 指定连接的ip和端口（该ip是本地虚拟机的虚拟Ip） .endpoint("http://192.168.65.130:9000") // 指定 访问秘钥（也称用户id） 和 私有秘钥（也称密码） .credentials("minioadmin", "minioadmin") .build(); Long start = System.currentTimeMillis(); // 拿到输入流，我存放在minio的该文件为 10.1 MB 大小 InputStream inputStream = minioClient.getObject( GetObjectArgs.builder() .bucket("waveedu") .object("林屿森LIN - 小幸运【吉他】 (伴奏).mp3") .build() ); // 拿到输出流，用于下载到本地，命名为 lucky.mp3 FileOutputStream outputStream = new FileOutputStream("D:\\lucky.mmp3"); // 用于拷贝流 IOUtils.copy(inputStream, outputStream); Long end = System.currentTimeMillis(); // 平均用时 0.2 到 0.3 秒 System.out.println("用时：" + (end - start) + "ms"); } }
可以看到每次调用该拷贝流的方法都是只需要 0.2 到 0.3 秒左右，因此这也就证明了是由于后端项目启动在本地，而minio服务放在了轻量服务器，后端项目从minio下载文件必须外网访问的缘故。
4.问题解决
但这个问题在我们项目部署后肯定不存在的，因为我们的项目，也包括数据库、minio服务、redis服务肯定都是部署在同一局域网中（如果项目不大的话，简单点操作就是将所有服务放在一台服务器上）。这样的好处就是可以极大的加快数据传输速率。
