前面我们介绍了什么是分布式存储系统,介绍了什么是MinIO,最后如何使用MinIO构建分布式文件系统。那么怎么在实际的项目中使用MinIO呢?接下来就手把手教你如何在SpringBoot中轻松整合MinIO 。
一、SpringBoot整合MinIO
下面开始在SpringBoot中轻松整合MinIO 。首先创建一个Spring Boot项目,添加MinIO依赖。
1.1 添加MinIO依赖
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version>1.18.20</version> </dependency> <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>8.2.2</version> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.11</version> </dependency>
1.2 配置MinIO
修改applicationtion.yml文件,增加MinIO服务的地址,账号密码等相关配置,具体如下:
minio: endpoint: http://192.168.78.101:9001 accessKey: admin secretKey: 12345678 bucketName: weiz-test
上面的示例中,bucketName指的就是之前创建的MinIO桶Bucket。
1.3 配置类
创建MinIO配置对应的配置类MinioConfig,并注入MinIO客户端。具体代码如下:
/** * @author weiz */ @Data @Configuration public class MinioConfig { /** * 访问地址 */ @Value("${minio.endpoint}") private String endpoint; /** * accessKey类似于用户ID,用于唯一标识你的账户 */ @Value("${minio.accessKey}") private String accessKey; /** * secretKey是你账户的密码 */ @Value("${minio.secretKey}") private String secretKey; /** * 默认存储桶 */ @Value("${minio.bucketName}") private String bucketName; @Bean public MinioClient minioClient() { MinioClient minioClient = MinioClient.builder() .endpoint(endpoint) .credentials(accessKey, secretKey) .build(); return minioClient; } }
1.4 创建MinIO操作类
封装一个MinIO相关操作的通用工具类MinioUtils,负责创建Bucket、上传、下载数据到MinIO服务。具体代码如下:
/** * MinIO工具类 * */ @Slf4j @Component @RequiredArgsConstructor public class MinioUtils { private final MinioClient minioClient; /****************************** Operate Bucket Start ******************************/ /** * 启动SpringBoot容器的时候初始化Bucket * 如果没有Bucket则创建 * * @param bucketName */ @SneakyThrows(Exception.class) private void createBucket(String bucketName) { if (!bucketExists(bucketName)) { minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build()); } } /** * 判断Bucket是否存在,true:存在,false:不存在 * * @param bucketName * @return */ @SneakyThrows(Exception.class) public boolean bucketExists(String bucketName) { return minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build()); } /** * 获得Bucket的策略 * * @param bucketName * @return */ @SneakyThrows(Exception.class) public String getBucketPolicy(String bucketName) { return minioClient.getBucketPolicy(GetBucketPolicyArgs .builder() .bucket(bucketName) .build()); } /** * 获得所有Bucket列表 * * @return */ @SneakyThrows(Exception.class) public List<Bucket> getAllBuckets() { return minioClient.listBuckets(); } /** * 根据bucketName获取其相关信息 * * @param bucketName * @return */ @SneakyThrows(Exception.class) public Optional<Bucket> getBucket(String bucketName) { return getAllBuckets().stream().filter(b -> b.name().equals(bucketName)).findFirst(); } /** * 根据bucketName删除Bucket,true:删除成功; false:删除失败,文件或已不存在 * * @param bucketName * @throws Exception */ @SneakyThrows(Exception.class) public void removeBucket(String bucketName) { minioClient.removeBucket(RemoveBucketArgs.builder().bucket(bucketName).build()); } /****************************** Operate Bucket End ******************************/ /****************************** Operate Files Start ******************************/ /** * 判断文件是否存在 * * @param bucketName * @param objectName * @return */ public boolean isObjectExist(String bucketName, String objectName) { boolean exist = true; try { minioClient.statObject(StatObjectArgs.builder().bucket(bucketName).object(objectName).build()); } catch (Exception e) { log.error("[Minio工具类]>>>> 判断文件是否存在, 异常:", e); exist = false; } return exist; } /** * 判断文件夹是否存在 * * @param bucketName * @param objectName * @return */ public boolean isFolderExist(String bucketName, String objectName) { boolean exist = false; try { Iterable<Result<Item>> results = minioClient.listObjects( ListObjectsArgs.builder().bucket(bucketName).prefix(objectName).recursive(false).build()); for (Result<Item> result : results) { Item item = result.get(); if (item.isDir() && objectName.equals(item.objectName())) { exist = true; } } } catch (Exception e) { log.error("[Minio工具类]>>>> 判断文件夹是否存在,异常:", e); exist = false; } return exist; } /** * 根据文件前置查询文件 * * @param bucketName 存储桶 * @param prefix 前缀 * @param recursive 是否使用递归查询 * @return MinioItem 列表 */ @SneakyThrows(Exception.class) public List<Item> getAllObjectsByPrefix(String bucketName, String prefix, boolean recursive) { List<Item> list = new ArrayList<>(); Iterable<Result<Item>> objectsIterator = minioClient.listObjects( ListObjectsArgs.builder().bucket(bucketName).prefix(prefix).recursive(recursive).build()); if (objectsIterator != null) { for (Result<Item> o : objectsIterator) { Item item = o.get(); list.add(item); } } return list; } /** * 获取文件流 * * @param bucketName 存储桶 * @param objectName 文件名 * @return 二进制流 */ @SneakyThrows(Exception.class) public InputStream getObject(String bucketName, String objectName) { return minioClient.getObject( GetObjectArgs.builder() .bucket(bucketName) .object(objectName) .build()); } /** * 断点下载 * * @param bucketName 存储桶 * @param objectName 文件名称 * @param offset 起始字节的位置 * @param length 要读取的长度 * @return 二进制流 */ @SneakyThrows(Exception.class) public InputStream getObject(String bucketName, String objectName, long offset, long length) { return minioClient.getObject( GetObjectArgs.builder() .bucket(bucketName) .object(objectName) .offset(offset) .length(length) .build()); } /** * 获取路径下文件列表 * * @param bucketName 存储桶 * @param prefix 文件名称 * @param recursive 是否递归查找,false:模拟文件夹结构查找 * @return 二进制流 */ public Iterable<Result<Item>> listObjects(String bucketName, String prefix, boolean recursive) { return minioClient.listObjects( ListObjectsArgs.builder() .bucket(bucketName) .prefix(prefix) .recursive(recursive) .build()); } /** * 使用MultipartFile进行文件上传 * * @param bucketName 存储桶 * @param file 文件名 * @param objectName 对象名 * @param contentType 类型 * @return */ @SneakyThrows(Exception.class) public ObjectWriteResponse uploadFile(String bucketName, MultipartFile file, String objectName, String contentType) { InputStream inputStream = file.getInputStream(); return minioClient.putObject( PutObjectArgs.builder() .bucket(bucketName) .object(objectName) .contentType(contentType) .stream(inputStream, inputStream.available(), -1) .build()); } /** * 图片上传 * @param bucketName * @param imageBase64 * @param imageName * @return */ public ObjectWriteResponse uploadImage(String bucketName, String imageBase64, String imageName) { if (!StringUtils.isEmpty(imageBase64)) { InputStream in = base64ToInputStream(imageBase64); String newName = System.currentTimeMillis() + "_" + imageName + ".jpg"; String year = String.valueOf(new Date().getYear()); String month = String.valueOf(new Date().getMonth()); return uploadFile(bucketName, year + "/" + month + "/" + newName, in); } return null; } public static InputStream base64ToInputStream(String base64) { ByteArrayInputStream stream = null; try { byte[] bytes = new BASE64Decoder().decodeBuffer(base64.trim()); stream = new ByteArrayInputStream(bytes); } catch (Exception e) { e.printStackTrace(); } return stream; } /** * 上传本地文件 * * @param bucketName 存储桶 * @param objectName 对象名称 * @param fileName 本地文件路径 * @return */ @SneakyThrows(Exception.class) public ObjectWriteResponse uploadFile(String bucketName, String objectName, String fileName) { return minioClient.uploadObject( UploadObjectArgs.builder() .bucket(bucketName) .object(objectName) .filename(fileName) .build()); } /** * 通过流上传文件 * * @param bucketName 存储桶 * @param objectName 文件对象 * @param inputStream 文件流 * @return */ @SneakyThrows(Exception.class) public ObjectWriteResponse uploadFile(String bucketName, String objectName, InputStream inputStream) { return minioClient.putObject( PutObjectArgs.builder() .bucket(bucketName) .object(objectName) .stream(inputStream, inputStream.available(), -1) .build()); } /** * 创建文件夹或目录 * * @param bucketName 存储桶 * @param objectName 目录路径 * @return */ @SneakyThrows(Exception.class) public ObjectWriteResponse createDir(String bucketName, String objectName) { return minioClient.putObject( PutObjectArgs.builder() .bucket(bucketName) .object(objectName) .stream(new ByteArrayInputStream(new byte[]{}), 0, -1) .build()); } /** * 获取文件信息, 如果抛出异常则说明文件不存在 * * @param bucketName 存储桶 * @param objectName 文件名称 * @return */ @SneakyThrows(Exception.class) public String getFileStatusInfo(String bucketName, String objectName) { return minioClient.statObject( StatObjectArgs.builder() .bucket(bucketName) .object(objectName) .build()).toString(); } /** * 拷贝文件 * * @param bucketName 存储桶 * @param objectName 文件名 * @param srcBucketName 目标存储桶 * @param srcObjectName 目标文件名 */ @SneakyThrows(Exception.class) public ObjectWriteResponse copyFile(String bucketName, String objectName, String srcBucketName, String srcObjectName) { return minioClient.copyObject( CopyObjectArgs.builder() .source(CopySource.builder().bucket(bucketName).object(objectName).build()) .bucket(srcBucketName) .object(srcObjectName) .build()); } /** * 删除文件 * * @param bucketName 存储桶 * @param objectName 文件名称 */ @SneakyThrows(Exception.class) public void removeFile(String bucketName, String objectName) { minioClient.removeObject( RemoveObjectArgs.builder() .bucket(bucketName) .object(objectName) .build()); } /** * 批量删除文件 * * @param bucketName 存储桶 * @param keys 需要删除的文件列表 * @return */ public void removeFiles(String bucketName, List<String> keys) { List<DeleteObject> objects = new LinkedList<>(); keys.forEach(s -> { objects.add(new DeleteObject(s)); try { removeFile(bucketName, s); } catch (Exception e) { log.error("[Minio工具类]>>>> 批量删除文件,异常:", e); } }); } /** * 获取文件外链 * * @param bucketName 存储桶 * @param objectName 文件名 * @param expires 过期时间 <=7 秒 (外链有效时间(单位:秒)) * @return url */ @SneakyThrows(Exception.class) public String getPresignedObjectUrl(String bucketName, String objectName, Integer expires) { GetPresignedObjectUrlArgs args = GetPresignedObjectUrlArgs.builder().expiry(expires).bucket(bucketName).object(objectName).build(); return minioClient.getPresignedObjectUrl(args); } /** * 获得文件外链 * * @param bucketName * @param objectName * @return url */ @SneakyThrows(Exception.class) public String getPresignedObjectUrl(String bucketName, String objectName) { GetPresignedObjectUrlArgs args = GetPresignedObjectUrlArgs.builder() .bucket(bucketName) .object(objectName) .method(Method.GET).build(); return minioClient.getPresignedObjectUrl(args); } /** * 将URLDecoder编码转成UTF8 * * @param str * @return * @throws UnsupportedEncodingException */ public String getUtf8ByURLDecoder(String str) throws UnsupportedEncodingException { String url = str.replaceAll("%(?![0-9a-fA-F]{2})", "%25"); return URLDecoder.decode(url, "UTF-8"); } }
1.5 创建Controller
创建测试控制器OSSController,示例代码如下:
@Slf4j @RestController @RequestMapping("/oss") public class OSSController { @Autowired private MinioUtils minioUtils; @Autowired private MinioConfig minioConfig; /** * 文件上传 * * @param file */ @PostMapping("/upload") public String upload(@RequestParam("file") MultipartFile file) { try { //文件名 String fileName = file.getOriginalFilename(); String newFileName = System.currentTimeMillis() + "." + StringUtils.substringAfterLast(fileName, "."); //类型 String contentType = file.getContentType(); minioUtils.uploadFile(minioConfig.getBucketName(), file, newFileName, contentType); return "上传成功"; } catch (Exception e) { log.error("上传失败"); return "上传失败"; } } /** * 删除 * * @param fileName */ @DeleteMapping("/") public void delete(@RequestParam("fileName") String fileName) { minioUtils.removeFile(minioConfig.getBucketName(), fileName); } /** * 获取文件信息 * * @param fileName * @return */ @GetMapping("/info") public String getFileStatusInfo(@RequestParam("fileName") String fileName) { return minioUtils.getFileStatusInfo(minioConfig.getBucketName(), fileName); } /** * 获取文件外链 * * @param fileName * @return */ @GetMapping("/url") public String getPresignedObjectUrl(@RequestParam("fileName") String fileName) { return minioUtils.getPresignedObjectUrl(minioConfig.getBucketName(), fileName); } /** * 文件下载 * * @param fileName * @param response */ @GetMapping("/download") public void download(@RequestParam("fileName") String fileName, HttpServletResponse response) { try { InputStream fileInputStream = minioUtils.getObject(minioConfig.getBucketName(), fileName); response.setHeader("Content-Disposition", "attachment;filename=" + fileName); response.setContentType("application/force-download"); response.setCharacterEncoding("UTF-8"); IOUtils.copy(fileInputStream, response.getOutputStream()); } catch (Exception e) { log.error("下载失败"); } } }
二、测试验证
上面我们已经把MinIO整合到了Spring Boot项目中了,接下来,我们使用Postman 验证下文件的上传下载是否正常。
1)文件上传
使用Postman调用http://localhost:8080/oss/upload 接口,选择某个文件测试上传功能,如下图所示:
2)文件下载
在浏览器中,调用http://localhost:8080/oss/download?fileName=1665744927595.jpg 接口,验证文件下载接口,如下图所示:
当然,也可以直接访问minio的地址:http://192.168.78.101:9000/weiz-test/1665744927595.jpg。验证文件是否上传成功。
最后
以上,我们就把如何在Spring Boot项目中整合MinIO 介绍完了。MinIO是目前非常流行的分布式对象存储系统(OSS),作为程序员还是有必要熟悉的。