Dremio: 将 Minio 配置为分布式存储

简介: Dremio: 将 Minio 配置为分布式存储

Minio 可以用作分布式存储。请注意,Minio 可用作 SSL 和未加密连接的分布式存储。看配置分布式存储 想要查询更多的信息。


为 Minio 配置 S3

从 Dremio 3.2.3 开始,Minio 作为实验性的S3 兼容插件提供。

要在 Dremio UI 中为 Minio 配置 S3 源:

  1. Advanced Options 下,选中Enable compatible mode (experimental)
  2. 高级选项 > 连接属性下,添加fs.s3a.path.style.access值并将其设置为true
    注意:此设置可确保在使用 IP 地址或主机名作为端点时正确创建请求路径。
  3. Advanced Options > Connection Properties 下,添加fs.s3a.endpoint属性及其对应的服务器端点值(IP 地址)。
    限制:端点值不能包含http(s)://前缀。例如,如果端点是http://123.1.2.3:9000,则值为123.1.2.3:9000

要在启用加密连接的情况下为 Minio 配置 S3 源:

  1. 使用 OpenSSL 生成自签名证书。看保护对 Minio 服务器的访问 或使用现有的自签名证书。
  2. 启动 Minio 服务器./minio server [data folder] --certs-dir [certs directory]
  3. 安装 Dremio。
  4. 在你的Dremio所在的客户端环境中,使用如下命令将证书安装到**<JAVA_HOME>/jre/lib/security中**:
    <JAVA_HOME>/keytool -import -v -trustcacerts -alias alias -file cert-file -keystore cacerts -keypass changeit -storepass changeit 注意:替换alias成你想要的别名,替换cert-file成用于启动Minio的证书文件的绝对路径服务器。
  5. 启动 Dremio。
  6. 在 Dremio UI 中,使用 Minio 插件添加和配置 Amazon S3 数据源。
  1. General选项卡下,指定你的 Minio 服务器提供的AWS Access KeyAWS Access Secret
  2. General选项卡下,选中Encrypt Connection
  3. Advanced Options 下,选中Enable compatible mode (experimental)
  4. 高级选项 > 连接属性下,添加fs.s3a.path.style.access值并将其设置为true
    注意:此设置可确保在使用 IP 地址或主机名作为端点时正确创建请求路径。
  5. Advanced Options > Connection Properties 下,添加fs.s3a.endpoint属性及其对应的服务器端点值(IP 地址)。
    限制:端点值不能包含http(s)://前缀。例如,如果端点是http://123.1.2.3:9000,则值为123.1.2.3:9000


配置关键参数

fs.s3a.path.style.access

fs.s3a.endpoint

fs.s3a.connection.ssl.enabled


目录
相关文章
|
3月前
|
Cloud Native Java 开发工具
云原生 阿里云分布式文件系统 对象存储OSS 服务配置
【1月更文挑战第8天】云原生 阿里云分布式文件系统 对象存储OSS 服务配置
|
28天前
|
消息中间件 SpringCloudAlibaba Java
【Springcloud Alibaba微服务分布式架构 | Spring Cloud】之学习笔记(八)Config服务配置+bus消息总线+stream消息驱动+Sleuth链路追踪
【Springcloud Alibaba微服务分布式架构 | Spring Cloud】之学习笔记(八)Config服务配置+bus消息总线+stream消息驱动+Sleuth链路追踪
771 0
|
5月前
|
消息中间件 负载均衡 监控
分布式系列教程(08) -分布式协调工具Zookeeper(介绍&安装&配置详解)
分布式系列教程(08) -分布式协调工具Zookeeper(介绍&安装&配置详解)
368 0
|
2月前
|
Java Linux 开发工具
Centos7搭建minio分布式集群
Centos7搭建minio分布式集群
|
2月前
|
负载均衡 定位技术 Nacos
Nacos 高级玩法:深入探讨分布式配置和服务发现
Nacos 高级玩法:深入探讨分布式配置和服务发现
335 0
|
4月前
|
监控 前端开发 应用服务中间件
Zabbix【部署 01】Zabbix企业级分布式监控系统部署配置使用实例(在线安装及问题处理)程序安装+数据库初始+前端配置+服务启动+Web登录
Zabbix【部署 01】Zabbix企业级分布式监控系统部署配置使用实例(在线安装及问题处理)程序安装+数据库初始+前端配置+服务启动+Web登录
411 0
|
4月前
|
Linux
Linux下Zookeeper分布式安装与配置
Linux下Zookeeper分布式安装与配置
269 0
|
4月前
|
Shell 网络安全 开发工具
[分布式] Git详细安装与配置
[分布式] Git详细安装与配置
286 0
|
5月前
|
存储 数据可视化 Linux
分布式系列教程(42) -ELK配置与使用
分布式系列教程(42) -ELK配置与使用
283 0
|
6月前
|
Java 程序员
105分布式电商项目 - JVM调优(典型配置)
105分布式电商项目 - JVM调优(典型配置)
20 0