AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Docker compose快速部署minio服务

2022-12-17 2273
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Docker compose快速部署minio服务

介绍

最近才知道minio这个对象存储服务中间件，简直相见恨晚，只怪我见识太短浅(哭泣脸)。

说得通俗易懂点，minio的作用就是用来存储文件的，比如图片、视频、音频等各种类型的文件。

那么问题来了，java本身就可以直接把文件写到磁盘里面，为什么还要用minio呢？

  • minio有完善的文件管理功能，包括针对文件的上传，下载，删除等
  • minio有强大的纠删功能，即便磁盘损坏，在一定程度上时可以避免丢失文件的
  • minio有完善的权限管理功能，它可以针对不同的业务角色，分配不同的操作权限
  • 天然的分布式存储功能
  • 高性能；在标准硬件上，对象存储的读/写速度最高可以高达183 GB/s和171 GB/s
  • 文档全面，简单易用

所以综上所述，相较于其他的文件存储方案，minio的竞争力还是很大的。下面附上官网链接。

单机版部署

一般为了简单集成minio client，我们会自己部署一个单机版的先用用。现在我们开始，讲解一下如何快速部署一个单机版minio服务：

version: "3.7"
services:
  minio:
    image: "quay.io/minio/minio:RELEASE.2022-08-02T23-59-16Z"
    ports:
      - "9000:9000"
      - "9001:9001"
    volumes:
      - "./minio/data1:/data1"
      - "./minio/data2:/data2"
    command: server --console-address ":9001" http://minio/data{1...2}
    environment:
      - MINIO_ROOT_USER=admin
      - MINIO_ROOT_PASSWORD=12345678
      #- MINIO_ACCESS_KEY=AKIAIOSFODNN7EXAMPLE
      #- MINIO_SECRET_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
复制代码

以上需要注意的几个点：

  • 需要暴露的端口有两个，一个是API暴露端口9000，一个是服务管理页面暴露端口9001。启动成功后，访问9001端口即可进入管理页面。
  • 单机版部署也可挂载多个磁盘，单个服务挂载超过(等于)4个磁盘，自动启动纠删码模式，可以预防磁盘损坏的情况下，导致文件丢失。
  • 最新版本里面已经不使用MINIO_ACCESS_KEY和MINIO_SECRET_KEY两个环境变量了，改由MINIO_ROOT_USER和MINIO_ROOT_PASSWORD替换。
  • 启动命令中--console-address代表指定服务管理页面暴露的端口，http://minio/data{1...2}代表指定的minio服务下面挂载的目标磁盘为/data1和/data2，否则磁盘挂载不起作用。API暴露端口可通过参数--address指定。

纠删码模式部署

为了启动纠删码模式，我们需要在部署的服务上挂载至少4块磁盘：

version: "3.7"
services:
  minio:
    image: "quay.io/minio/minio:RELEASE.2022-08-02T23-59-16Z"
    ports:
      - "9000:9000"
      - "9001:9001"
    volumes:
      - "./minio/data1:/data1"
      - "./minio/data2:/data2"
      - "./minio/data3:/data3"
      - "./minio/data4:/data4"
    command: server --console-address ":9001" http://minio/data{1...4}
    environment:
      - MINIO_ROOT_USER=admin
      - MINIO_ROOT_PASSWORD=12345678
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
复制代码

在单机模式部署的情况下，调整为纠删码模式，我们需要修改两个地方：

  • 挂载的磁盘增加到四个
  • 启动命令里面补上对应的挂载磁盘

该模式运行其中某个磁盘出现损坏的情况，在磁盘损坏后也能保证文件不会丢失。

分布式部署

在单机上部署纠删码模式只能保证磁盘损坏的情况下，文件不丢失；并不能解决单点故障的问题，所以我们下面为了避免单点故障导致服务不可用，把minio服务改成分布式部署。

我们就部署四个机器，每个机器挂载四个磁盘，这样的话，我们就形成了分布式纠删码模式了，这样的话，我们文件存储服务的可靠性就大大地增强了。

  • 首先准备四台主机，ip地址分别为192.168.2.231，192.168.2.232，192.168.2.233，192.168.2.234；
  • 其次，我们分别在四台机器上部署一个minio服务实例，参考以下docker-compose.yml：
version: "3.7"
services:
  minio:
    image: "quay.io/minio/minio:RELEASE.2022-08-02T23-59-16Z"
    ports:
      - "9000:9000"
      - "9001:9001"
    volumes:
      - "./minio/data1:/data1"
      - "./minio/data2:/data2"
      - "./minio/data3:/data3"
      - "./minio/data4:/data4"
    command: server --console-address ":9001" http://192.168.2.231:9000/data{1...4} http://192.168.2.232:9000/data{1...4} http://192.168.2.233:9000/data{1...4} http://192.168.2.234:9000/data{1...4}
    environment:
      - MINIO_ROOT_USER=admin
      - MINIO_ROOT_PASSWORD=12345678
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
复制代码

在启动命令中，我们需要把集群中所有的服务ip都写进去，这样的话，minio分布式服务才能正常通信。

  • 部署负载均衡服务nginx

当四台机器上的服务全部起来后，我们需要提供一个负载均衡服务作为访问minio分布式服务的统一的入口，首当其冲我们就想到了nginx，所以我们在使用docker compose部署一个nginx服务：

version: '3.7'
services:
  nginx:
    image: nginx:1.19.2-alpine
    hostname: nginx
    volumes:
      - ./nginx.conf:/etc/nginx/nginx.conf:ro
    ports:
      - "9000:9000"
      - "9001:9001"
复制代码

下面是nginx配置文件：

user  nginx;
worker_processes  auto;
error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;
events {
    worker_connections  4096;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    access_log  /var/log/nginx/access.log  main;
    sendfile        on;
    keepalive_timeout  65;
    # include /etc/nginx/conf.d/*.conf;
    upstream minio {
        server 192.168.2.231:9000;
        server 192.168.2.232:9000;
        server 192.168.2.233:9000;
        server 192.168.2.234:9000;
    }
    upstream console {
        ip_hash;
        server 192.168.2.231:9001;
        server 192.168.2.232:9001;
        server 192.168.2.233:9001;
        server 192.168.2.234:9001;
    }
    server {
        listen       9000;
        listen  [::]:9000;
        server_name  localhost;
        # To allow special characters in headers
        ignore_invalid_headers off;
        # Allow any size file to be uploaded.
        # Set to a value such as 1000m; to restrict file size to a specific value
        client_max_body_size 0;
        # To disable buffering
        proxy_buffering off;
        proxy_request_buffering off;
        location / {
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_connect_timeout 300;
            # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
            proxy_http_version 1.1;
            proxy_set_header Connection "";
            chunked_transfer_encoding off;
            proxy_pass http://minio;
        }
    }
    server {
        listen       9001;
        listen  [::]:9001;
        server_name  localhost;
        # To allow special characters in headers
        ignore_invalid_headers off;
        # Allow any size file to be uploaded.
        # Set to a value such as 1000m; to restrict file size to a specific value
        client_max_body_size 0;
        # To disable buffering
        proxy_buffering off;
        proxy_request_buffering off;
        location / {
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-NginX-Proxy true;
            # This is necessary to pass the correct IP to be hashed
            real_ip_header X-Real-IP;
            proxy_connect_timeout 300;
            # To support websocket
            proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            chunked_transfer_encoding off;
            proxy_pass http://console;
        }
    }
}
复制代码

启动nginx服务，这样所有的请求都通过nginx负载均衡到minio服务上。

至此，我们就完成了minio服务的三种docker compose部署方式，逐次递进地讲解了每种方式的优势。如果我们只是为了集成minio到我们的应用程序中，只需要搭建一个单机版的服务即可。


文章标签：
Java
容器
应用服务中间件
负载均衡
对象存储
文件存储
Docker
nginx
API
存储
关键词：
Docker部署
Docker compose
Docker服务
Docker compose部署
Docker部署服务
dc73hre37f4my
目录
相关文章
蓝易云
|
14天前
|
消息中间件 监控 RocketMQ
Docker部署RocketMQ5.2.0集群
本文详细介绍了如何使用Docker和Docker Compose部署RocketMQ 5.2.0集群。通过创建配置文件、启动集群和验证容器状态，您可以快速搭建起一个RocketMQ集群环境。希望本文能够帮助您更好地理解和应用RocketMQ，提高消息中间件的部署和管理效率。
蓝易云
184 91
aliyun5346531989-29970
|
15天前
|
存储 NoSQL Redis
Docker 部署 Redis
在使用 Docker 部署 Redis 时，为实现数据持久化，需正确挂载容器内的数据目录到宿主机。推荐命令如下： ``` docker run -d --name redis -v /mnt/data/redis:/data -p 6379:6379 redis ``` 该命令将宿主机的 `/mnt/data/redis` 目录挂载到容器的 `/data` 目录，确保 Redis 数据持久化。此路径更通用，适合大多数场景。避免使用不匹配的挂载路径，如 `/var/lib/redis` 或 `/mnt/data/redis` 到非默认目录，以防止数据无法正确持久化。
aliyun5346531989-29970
133 64
蚝油菜花
|
5天前
|
人工智能 文字识别 安全
Stirling-PDF：51.4K Star！用Docker部署私有PDF工作站，支持50多种PDF操作，从此告别在线工具
Stirling-PDF 是一款基于 Docker 的本地化 PDF 编辑工具，支持 50 多种 PDF 操作，包括合并、拆分、转换、压缩等，同时提供多语言支持和企业级功能，满足个人和企业用户的多样化需求。
蚝油菜花
54 6
Stirling-PDF：51.4K Star！用Docker部署私有PDF工作站，支持50多种PDF操作，从此告别在线工具
蓝易云
|
2天前
|
中间件 关系型数据库 数据库
docker快速部署OS web中间件 数据库 编程应用
通过Docker，可以轻松地部署操作系统、Web中间件、数据库和编程应用。本文详细介绍了使用Docker部署这些组件的基本步骤和命令，展示了如何通过Docker Compose编排多容器应用。希望本文能帮助开发者更高效地使用Docker进行应用部署和管理。
蓝易云
30 19
蓝易云
|
21天前
|
关系型数据库 MySQL 数据库
Docker Compose V2 安装常用数据库MySQL+Mongo
以上内容涵盖了使用 Docker Compose 安装和管理 MySQL 和 MongoDB 的详细步骤，希望对您有所帮助。
蓝易云
121 42
蓝易云
|
13天前
|
消息中间件 Kafka Docker
docker compose 安装 kafka
通过本文的步骤，您可以快速在本地使用 Docker Compose 安装并配置 Kafka 和 Zookeeper。Docker Compose 简化了多容器应用的管理，方便快速搭建和测试分布式系统。
蓝易云
54 2
祁符建
|
弹性计算 Linux Docker
快速搭建Docker服务
Docker 是一个开源的容器引擎，利用ECS快速部署一个Docker服务。
祁符建
167 0
蓝易云
|
1月前
|
数据库 Docker 容器
docker容器为啥会开机自启动
通过配置适当的重启策略，Docker容器可以在主机系统重启后自动启动。这对于保持关键服务的高可用性和自动恢复能力非常有用。选择适合的重启策略（如 `always`或 `unless-stopped`），可以确保应用程序在各种情况下保持运行。理解并配置这些策略是确保Docker容器化应用可靠性的关键。
蓝易云
251 93
蓝易云
|
15天前
|
网络协议 API Docker
Docker+consul容器服务的更新与发现
通过本文的介绍，我们详细探讨了如何结合Docker和Consul来实现容器服务的更新与发现。通过Consul的服务注册和发现功能，可以高效地管理和监控容器化服务，确保系统的高可用性和可扩展性。希望本文能帮助您在实际项目中更好地应用Docker和Consul，提高系统的可靠性和管理效率。
蓝易云
54 23
eisc
|
15天前
|
Ubuntu API 网络虚拟化
ubuntu22 编译安装docker，和docker容器方式安装 deepseek
本脚本适用于Ubuntu 22.04，主要功能包括编译安装Docker和安装DeepSeek模型。首先通过Apt源配置安装Docker，确保网络稳定（建议使用VPN）。接着下载并配置Docker二进制文件，创建Docker用户组并设置守护进程。随后拉取Debian 12镜像，安装系统必备工具，配置Ollama模型管理器，并最终部署和运行DeepSeek模型，提供API接口进行交互测试。
eisc
235 15

热门文章

最新文章

  • 1
    美团面试：MySQL为什么 不用 Docker部署？
  • 2
    ubuntu22 编译安装docker，和docker容器方式安装 deepseek
  • 3
    Docker部署RocketMQ5.2.0集群
  • 4
    Docker 部署 Redis
  • 5
    docker centos镜像 npm安装包时报错“npm ERR! code ECONNRESET”
  • 6
    Docker Compose V2 安装常用数据库MySQL+Mongo
  • 7
    docker运维查看指定应用log文件位置和名称
  • 8
    docker: No space left on device处理与迁移目录
  • 9
    如何通过pm2以cluster模式多进程部署next.js（包括docker下的部署）
  • 10
    Docker下Mysql8数据备份与恢复
  • 1
    docker快速部署OS web中间件 数据库 编程应用
    30
  • 2
    Stirling-PDF：51.4K Star！用Docker部署私有PDF工作站，支持50多种PDF操作，从此告别在线工具
    54
  • 3
    Dpanel：Star2k,短短时间就被大家称为GitHub开源神器！轻量化Docker面板，还在等什么
    30
  • 4
    docker环境安装kafka/Flink/clickhouse镜像
    92
  • 5
    docker compose 安装 kafka
    54
  • 6
    Docker部署RocketMQ5.2.0集群
    184
  • 7
    【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
    65
  • 8
    ubuntu22 编译安装docker，和docker容器方式安装 deepseek
    235
  • 9
    Docker+consul容器服务的更新与发现
    54
  • 10
    Docker 部署 Redis
    134

    • 相关课程

    更多
  • 深入解析Docker容器化技术
  • 基于Docker与Jenkins实现自动化部署
  • Docker 快速入门
  • Docker完全自学手册图文教程
  • AI开发者的Docker实践
  • Docker 入门

    • 相关电子书

    更多
  • 应用 Docker 进行持续交付：用技术改变交付路程
  • 从Docker到容器服务
  • 构建基因数据应用生态系统—— docker in Bio/informatics

    • 相关实验场景

    更多
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • 通过容器镜像仓库与容器服务快速部署spring-hello应用
  • Docker Compose部署案例
  • Docker Compose入门
  • 容器镜像的制作2
  • 部署并使用Docker（Alibaba Cloud Linux 3）

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • jenkins
    • 下一篇
    通义万相：视觉生成大模型再进化