Dremio: 将 Minio 配置为分布式存储

简介: Dremio: 将 Minio 配置为分布式存储

Minio 可以用作分布式存储。请注意,Minio 可用作 SSL 和未加密连接的分布式存储。看配置分布式存储 想要查询更多的信息。


为 Minio 配置 S3

从 Dremio 3.2.3 开始,Minio 作为实验性的S3 兼容插件提供。

要在 Dremio UI 中为 Minio 配置 S3 源:

  1. Advanced Options 下,选中Enable compatible mode (experimental)
  2. 高级选项 > 连接属性下,添加fs.s3a.path.style.access值并将其设置为true
    注意:此设置可确保在使用 IP 地址或主机名作为端点时正确创建请求路径。
  3. Advanced Options > Connection Properties 下,添加fs.s3a.endpoint属性及其对应的服务器端点值(IP 地址)。
    限制:端点值不能包含http(s)://前缀。例如,如果端点是http://123.1.2.3:9000,则值为123.1.2.3:9000

要在启用加密连接的情况下为 Minio 配置 S3 源:

  1. 使用 OpenSSL 生成自签名证书。看保护对 Minio 服务器的访问 或使用现有的自签名证书。
  2. 启动 Minio 服务器./minio server [data folder] --certs-dir [certs directory]
  3. 安装 Dremio。
  4. 在你的Dremio所在的客户端环境中,使用如下命令将证书安装到**<JAVA_HOME>/jre/lib/security中**:
    <JAVA_HOME>/keytool -import -v -trustcacerts -alias alias -file cert-file -keystore cacerts -keypass changeit -storepass changeit 注意:替换alias成你想要的别名,替换cert-file成用于启动Minio的证书文件的绝对路径服务器。
  5. 启动 Dremio。
  6. 在 Dremio UI 中,使用 Minio 插件添加和配置 Amazon S3 数据源。
  1. General选项卡下,指定你的 Minio 服务器提供的AWS Access KeyAWS Access Secret
  2. General选项卡下,选中Encrypt Connection
  3. Advanced Options 下,选中Enable compatible mode (experimental)
  4. 高级选项 > 连接属性下,添加fs.s3a.path.style.access值并将其设置为true
    注意:此设置可确保在使用 IP 地址或主机名作为端点时正确创建请求路径。
  5. Advanced Options > Connection Properties 下,添加fs.s3a.endpoint属性及其对应的服务器端点值(IP 地址)。
    限制:端点值不能包含http(s)://前缀。例如,如果端点是http://123.1.2.3:9000,则值为123.1.2.3:9000


配置关键参数

fs.s3a.path.style.access

fs.s3a.endpoint

fs.s3a.connection.ssl.enabled


目录
相关文章
|
5天前
|
存储 Java 文件存储
🗄️Spring Boot 3 整合 MinIO 实现分布式文件存储
本文介绍了如何基于Spring Boot 3和MinIO实现分布式文件存储。随着应用规模扩大,传统的单机文件存储方案难以应对大规模数据和高并发访问,分布式文件存储系统成为更好的选择。文章详细讲解了MinIO的安装、配置及与Spring Boot的整合步骤,包括Docker部署、MinIO控制台操作、Spring Boot项目中的依赖引入、配置类编写及工具类封装等内容。最后通过一个上传头像的接口示例展示了具体的开发和测试过程,强调了将API操作封装成通用工具类以提高代码复用性和可维护性的重要性。
79 6
🗄️Spring Boot 3 整合 MinIO 实现分布式文件存储
|
14天前
|
SQL 数据建模 BI
【YashanDB 知识库】用 yasldr 配置 Bulkload 模式作单线程迁移 300G 的业务数据到分布式数据库,迁移任务频繁出错
问题描述 详细版本:YashanDB Server Enterprise Edition Release 23.2.4.100 x86_64 6db1237 影响范围: 离线数据迁移场景,影响业务数据入库。 外场将部分 NewCIS 的报表业务放到分布式数据库,验证 SQL 性能水平。 操作系统环境配置: 125G 内存 32C CPU 2T 的 HDD 磁盘 问题出现的步骤/操作: 1、部署崖山分布式数据库 1mm 1cn 3dn 单线启动 yasldr 数据迁移任务,设置 32 线程的 bulk load 模式 2、观察 yasldr.log 是否出现如下错
|
4月前
|
数据库
如何在Seata框架中配置分布式事务的隔离级别?
总的来说,配置分布式事务的隔离级别是实现分布式事务管理的重要环节之一,需要认真对待和仔细调整,以满足业务的需求和性能要求。你还可以进一步深入研究和实践 Seata 框架的配置和使用,以更好地应对各种分布式事务场景的挑战。
173 63
|
2月前
|
消息中间件 负载均衡 Java
如何设计一个分布式配置中心?
这篇文章介绍了分布式配置中心的概念、实现原理及其在实际应用中的重要性。首先通过一个面试场景引出配置中心的设计问题,接着详细解释了为什么需要分布式配置中心,尤其是在分布式系统中统一管理配置文件的必要性。文章重点分析了Apollo这一开源配置管理中心的工作原理,包括其基础模型、架构模块以及配置发布后实时生效的设计。此外,还介绍了客户端与服务端之间的交互机制,如长轮询(Http Long Polling)和定时拉取配置的fallback机制。最后,结合实际工作经验,分享了配置中心在解决多台服务器配置同步问题上的优势,帮助读者更好地理解其应用场景和价值。
110 18
|
5月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
98 1
|
5月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
79 0
|
7月前
|
Java 测试技术 Spring
分布式之配置中心
分布式之配置中心
71 1
|
7月前
|
UED 存储 数据管理
深度解析 Uno Platform 离线状态处理技巧:从网络检测到本地存储同步,全方位提升跨平台应用在无网环境下的用户体验与数据管理策略
【8月更文挑战第31天】处理离线状态下的用户体验是现代应用开发的关键。本文通过在线笔记应用案例,介绍如何使用 Uno Platform 优雅地应对离线状态。首先,利用 `NetworkInformation` 类检测网络状态;其次,使用 SQLite 实现离线存储;然后,在网络恢复时同步数据;最后,通过 UI 反馈提升用户体验。
162 0
|
7月前
|
机器学习/深度学习 TensorFlow 数据处理
分布式训练在TensorFlow中的全面应用指南:掌握多机多卡配置与实践技巧,让大规模数据集训练变得轻而易举,大幅提升模型训练效率与性能
【8月更文挑战第31天】本文详细介绍了如何在Tensorflow中实现多机多卡的分布式训练,涵盖环境配置、模型定义、数据处理及训练执行等关键环节。通过具体示例代码,展示了使用`MultiWorkerMirroredStrategy`进行分布式训练的过程,帮助读者更好地应对大规模数据集与复杂模型带来的挑战,提升训练效率。
178 0
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能平台PAI产品使用合集之如何配置cluster系统自动生成分布式参数
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。