SpringBoot整合MinIO

本文涉及的产品
性能测试 PTS,5000VUM额度
可观测可视化 Grafana 版,10个用户账号 1个月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: MinIO是一款基于Go语言开发的高性能、分布式的对象存储系统,开源可商用。一开始就被设计为服务于私有云、公有云、混合云,因此在高可用、可扩展性、高性能方面有得天独厚的优势。MinIO完全实现了AWS S3 标准,在日常使用、扩展升级、迁移方面更易于管理,对于上层应用程序来说,存储和访问对象是统一的,即使MinIO服务迁移了,应用程序侧是无感知的。MinIO分三个版本,开源版、标准版、企业版,开源版本免费使用,后面两个为付费产品。MinIO支持多种部署环境:Kubernetes、Docker、Linux、MacOS、Windows

[toc]

MinIO简介

MinIO是一款基于Go语言开发的高性能、分布式的对象存储系统,开源可商用。一开始就被设计为服务于私有云、公有云、混合云,因此在高可用、可扩展性、高性能方面有得天独厚的优势。

MinIO完全实现了AWS S3 标准,在日常使用、扩展升级、迁移方面更易于管理,对于上层应用程序来说,存储和访问对象是统一的,即使MinIO服务迁移了,应用程序侧是无感知的。

MinIO分三个版本,开源版、标准版、企业版,开源版本免费使用,后面两个为付费产品。MinIO支持多种部署环境:Kubernetes、Docker、Linux、MacOS、Windows

Amazon S3 标准

S3简介

AWS S3 全称是 Simple Storage Service

=_=*

所以就 S3 了? 3S更确切把?

简单的存储服务规范,实际就是一种指导思想,然后大家都按照这种要求来。比如规范要求Bucket 的名称不可以带下划线。

基本概念

  • Bucket:桶是最顶层的结构,所有的文件都必须放在桶中,桶的名称需要保持唯一,没有对象存储数量限制
  • Object:桶中放的数据就是对象,由对象名称和对象值组成,对象名称可以很长,并可以划分path,对象包含一些元数据,如文件类型、创建时间、用户指定的元信息,对象可以设置标签,标签也是键值对结构,可以修改,标签的作用是可以结合权限控制对象的访问、生命周期的管理、数据分析等,单个文件最大5GB,超过需要使用
    multipart upload API (最大支持5TB)

Server端部署

以 CentOS(amd64架构) 为例

下载

打开天朝专属下载地址,在 /server/minio/release/linux-amd64/ 目录下有一个minio文件,这个文件是一个可执行,下载这个文件放到服务器上面

运行

官方推荐rpm安装,这种在有互联网的时候很友好,但是无互联网的环境就很麻烦,哪怕可以搭建临时存储库还是麻烦。

本文下载的是可执行文件,方便操作和演示将直接使用 nohup 方式运行。

将下载好的minio可执行文件赋予执行权限,并移动到 /usr/local/bin/ 下,这样全局就都可以访问这个可执行文件了,相关命令为:


//赋予执行权限
chmod +x minio

//移动到 /usr/local/bin/ 目录下
sudo mv minio /usr/local/bin/

运行之前,需要创建一个文件夹用来存储上传的文件,本文在 /root 下创建了一个名为 minio 的目录。


mkdir ~/minio

启动 MinIO-Server


nohup minio  server  ~/minio --console-address :9090 &

确认是否启动成功

启动输出信息:


WARNING: Detected Linux kernel version older than 4.0.0 release, there are some known potential performance problems with this kernel version. MinIO recommends a minimum of 4.x.x linux kernel version for best performance
WARNING: Detected default credentials 'minioadmin:minioadmin', we recommend that you change these values with 'MINIO_ROOT_USER' and 'MINIO_ROOT_PASSWORD' environment variables
MinIO Object Storage Server
Copyright: 2015-2023 MinIO, Inc.
License: GNU AGPLv3 <https://www.gnu.org/licenses/agpl-3.0.html>
Version: RELEASE.2023-09-04T19-57-37Z (go1.19.12 linux/amd64)

Status:         1 Online, 0 Offline.
S3-API: http://xxx:9000  http://127.0.0.1:9000
Console: http://xxx:9090 http://127.0.0.1:9090

Documentation: https://min.io/docs/minio/linux/index.html
Warning: The standard parity is set to 0. This can lead to data loss.

启动完毕会占用两个端口:

  • 9090:webui
  • 9000:S3API 地址,SpringBoot程序通过此地址和MinIOServer交互

MinIO-WebUI

本文仅做演示,不对 MinIO-Server 部署做过多介绍,实际生产环境中,推荐使用高可用的部署架构,参见:https://min.io/docs/minio/linux/operations/install-deploy-manage/deploy-minio-multi-node-multi-drive.html#deploy-minio-distributed

常用API

MinIOClientBuilder

  • endpoint:接收一个url的串或者okhttp3.HttpUrl

  • credentials:用户名密码或者AccessKey

  • region:接受S3服务的区域名称。如果指定,则所有操作都使用此区域,否则将按存储桶探测区域。

  • httpClient:自定义HTTPclient , 默认为OkHttp

Bucket操作

  • bucketExists:桶是否存在
  • listBuckets:列出所有的桶
  • makeBucket:创建一个桶
  • removeBucket:删除一个桶

Object操作

  • getPresignedObjectUrl:获取对象访问url
  • putObject:上传对象
  • uploadObject:上传对象
  • removeObject:删除对象

SpringBoot整合

pom


<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.2.2</version>
</dependency>

配置MinIO客户端

其中 credentials 需要提前在WebUI中创建Identity-Users或者AccessKeys


package com.ramble.minio.config;

import io.minio.MinioClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class MinIoConfig {
    @Bean
    public MinioClient initMinioClient() {
        MinioClient client = MinioClient.builder()
                .endpoint("http://192.168.1.46:9000")
                //Identity-Users
//                .credentials("test", "test123456")
                //AccessKeys
                .credentials("zh10tpbzJtZX77FtCHyy", "dGz6nXICMOKAvabOc7UyVYmKz2hAiOTfT76Jzu0M")
                .build();
        return client;
    }
}

Service

封装一个 MinIOService ,提供常用的接口服务


package com.ramble.minio.service;

import io.minio.*;
import io.minio.http.Method;
import io.minio.messages.Bucket;
import io.minio.messages.Item;
import lombok.RequiredArgsConstructor;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;
import java.util.ArrayList;
import java.util.List;

@Slf4j
@Service
@RequiredArgsConstructor
public class MinioService {
   
   

    private final MinioClient minioClient;

    /**
     * 查看bucket是否存在
     *
     * @param bucketName
     * @return
     */
    @SneakyThrows
    public Boolean existsBucket(String bucketName) {
   
   
        return minioClient.bucketExists(BucketExistsArgs.builder()
                .bucket(bucketName)
                .build());
    }

    /**
     * 创建存储bucket
     *
     * @return Boolean
     */
    @SneakyThrows
    public void makeBucket(String bucketName) {
   
   
        minioClient.makeBucket(MakeBucketArgs.builder()
                .bucket(bucketName)
                .build());
    }

    /**
     * 删除存储bucket
     *
     * @return Boolean
     */
    @SneakyThrows
    public void removeBucket(String bucketName) {
   
   
        minioClient.removeBucket(RemoveBucketArgs.builder()
                .bucket(bucketName)
                .build());
    }

    /**
     * 获取全部bucket
     */
    @SneakyThrows
    public List<Bucket> listBuckets() {
   
   
        return minioClient.listBuckets();
    }

    /**
     * 获取文件的url
     *
     * @param fileName
     * @return
     */
    @SneakyThrows
    public String getUrl(String bucketName, String fileName) {
   
   
        GetPresignedObjectUrlArgs build = GetPresignedObjectUrlArgs.builder().bucket(bucketName).object(fileName).method(Method.GET).build();
        return minioClient.getPresignedObjectUrl(build);
    }

    /**
     * 查看文件对象
     *
     * @return 存储bucket内文件对象信息
     */
    @SneakyThrows
    public List<Item> listObjects(String bucketName) {
   
   
        Iterable<Result<Item>> results = minioClient.listObjects(
                ListObjectsArgs.builder().bucket(bucketName).build());
        List<Item> items = new ArrayList<>();
        for (Result<Item> result : results) {
   
   
            items.add(result.get());
        }
        return items;
    }

    /**
     * 删除
     *
     * @param fileName
     * @return
     * @throws Exception
     */
    @SneakyThrows
    public void remove(String bucketName, String fileName) {
   
   
        minioClient.removeObject(RemoveObjectArgs.builder().
                bucket(bucketName)
                .object(fileName)
                .build());
    }

}

Controller

新建一个controller,测试常用的接口


package com.ramble.minio.controller;

import com.ramble.minio.service.MinioService;
import io.minio.BucketExistsArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.UploadObjectArgs;
import io.minio.errors.MinioException;
import io.minio.messages.Bucket;
import io.minio.messages.Item;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
import java.util.List;

@Slf4j
@RestController
@RequestMapping("/test")
@RequiredArgsConstructor
public class TestController {
   
   

    private final MinioClient minioClient;

    private final MinioService minioService;

    @GetMapping("/test2")
    public void test2() {
   
   
        Boolean existsBucket = minioService.existsBucket("person");
        minioService.makeBucket("person");
        minioService.makeBucket("person2");
        minioService.removeBucket("person2");
        List<Bucket> buckets = minioService.listBuckets();
        String url = minioService.getUrl("first-bucket", "锁屏幻灯片/0028.jpg");
        List<Item> items = minioService.listObjects("first-bucket");
        minioService.remove("first-bucket", "Win11_22H2_Chinese_Simplified_x64v2.iso");
    }

}

引用

目录
相关文章
|
7月前
|
存储 前端开发 Java
spring boot 实现Minio分片上传
spring boot 实现Minio分片上传
598 1
|
7月前
|
JavaScript 前端开发 Java
springboot整合minio+vue实现大文件分片上传,断点续传(复制可用,包含minio工具类)
springboot整合minio+vue实现大文件分片上传,断点续传(复制可用,包含minio工具类)
1796 0
|
7月前
|
Java Docker Windows
spring boot整合Minio
spring boot整合Minio
147 0
|
存储 Java Maven
如何使用Spring Boot和MinIO实现文件上传、读取、下载和删除的功能?
如何使用Spring Boot和MinIO实现文件上传、读取、下载和删除的功能?
1376 5
|
2月前
|
XML Java API
SpringBoot 整合 Minio
本文介绍了如何在服务器上安装并配置Minio服务,包括Minio的依赖、配置类以及基本操作。首先,通过Maven添加Minio依赖;接着,在`yml`文件中配置Minio的连接信息;然后,创建`MinIoClientConfig`类将MinioClient注入到Spring容器中;最后,定义`OSSFileService`接口及其实现类`OssFileServiceImpl`,实现文件上传、获取文件URL、临时访问URL和删除文件等操作。
|
14天前
|
XML Java API
Spring Boot集成MinIO
本文介绍了如何在Spring Boot项目中集成MinIO,一个高性能的分布式对象存储服务。主要步骤包括:引入MinIO依赖、配置MinIO属性、创建MinIO配置类和服务类、使用服务类实现文件上传和下载功能,以及运行应用进行测试。通过这些步骤,可以轻松地在项目中使用MinIO的对象存储功能。
|
2月前
|
XML Java Kotlin
springboot + minio + kkfile实现文件预览
本文介绍了如何在容器中安装和启动kkfileviewer,并通过Spring Boot集成MinIO实现文件上传与预览功能。首先,通过下载kkfileviewer源码并构建Docker镜像来部署文件预览服务。接着,在Spring Boot项目中添加MinIO依赖,配置MinIO客户端,并实现文件上传与获取预览链接的接口。最后,通过测试验证文件上传和预览功能的正确性。
springboot + minio + kkfile实现文件预览
|
1月前
|
存储 前端开发 JavaScript
|
1月前
|
存储 Java API
|
2月前
|
存储 前端开发 Java
springboot整合最新版minio和minio的安装(完整教程,新人必看)
本文详细介绍了如何使用Docker安装配置最新版的MinIO,并展示了如何在Spring Boot应用中整合MinIO以及如何通过前端进行文件上传测试。
283 3
springboot整合最新版minio和minio的安装(完整教程,新人必看)