分片上传Minio存储服务的问题集锦[推荐收藏]

简介: 通过前面文章的介绍,我相信小伙伴们已经对 MinIO 存储服务有了一定的认识。知道 MinIO 是一款非常热门的开源对象存储服务器,能够完美兼容亚马逊的 S3 协议, 对 K8s 也能够进行非常友好的支持,专为 AI 等云原生工作负载而设计。今天我们就来聊一聊在集成 MinIO 过程中遇到的一些上传相关的问题。

前言

通过前面文章的介绍,我相信小伙伴们已经对 MinIO 存储服务有了一定的认识。知道 MinIO 是一款非常热门的开源对象存储服务器,能够完美兼容亚马逊的 S3 协议, 对 K8s 也能够进行非常友好的支持,专为 AI 等云原生工作负载而设计。今天我们就来聊一聊在集成 MinIO 过程中遇到的一些上传相关的问题。

常见问题

当我们开发上传功时,特别是通过分片的形式上传文件到 MinIO 存储服务会遇到各种问题。本文记录这些问题是为了便于日后回顾查看,也是为了帮助遇到相同问题的小伙伴。那么,具体都有哪些常见问题呢?下面就来详细介绍。

问题一

[Error] 2021/08/17 20:15:10 转储分片失败 Part number cannot be negative or equal to zero. minio.go 216

解决:

一般上传接口在设置分片索引时,都是从0开始,但是 MinIO 存储服务定义分片索引却是从1开始的。所以再接口参数转换时,需要加1对齐,否则在上传第一个分片的时候就会报这个错误。

问题二

[Error] 2021/08/17 20:19:12 处理文件分片失败 connection() : connection(minio.test.cn:27017[-3]) incomplete read of message header: read tcp 172.31.33.6:59048->139.227.116.36:27017: i/o timeout base.go 66

解决:

这个问题发生时是网络切换过程中出现的,wifi稳定后,再重新尝试上传,问题消失。之后分析,问题出现的原因应该是网络中断,导致数据库服务连接超时或者数据传输超时。

问题三

[Error] 2021/08/17 20:31:27 完成分片上传失败 One or more of the specified parts could not be found.  The part may not have been uploaded, or the specified entity tag may not match the part's entity tag. minio.go 238

解决:

造成该问题可能的原因有两个,一是想要合并的分片确实不存在;二是指定的分片标签不匹配。如果是前者,我们确认 uploadID 是正确的,如果是后者,我们想要校验 Tag 参数是否正确。

问题四

[Error] 2021/08/17 20:36:46 转储分片失败 Requests specifying Server Side Encryption with Customer provided keys must be made over a secure connection. minio.go 216

解决:

分片上传接口 PutObjectPart 的最后一个参数是 encrypt.ServerSide 对象,如果启用的话,必须使用 https 协议建立客户端与服务端的连接。因此,我们可以通过设置该参数为空 nil,先不启动服务加密机制。

对应 PutObjectPart 接口的源代码如下:

// PutObjectPart - Upload an object part.func (cCore) PutObjectPart(ctxcontext.Context, bucket, object, uploadIDstring, partIDint, dataio.Reader, sizeint64, md5Base64, sha256Hexstring, sseencrypt.ServerSide) (ObjectPart, error) {
returnc.uploadPart(ctx, bucket, object, uploadID, data, partID, md5Base64, sha256Hex, size, sse)
}

结尾

好了,今天关于分片上传 MinIO 存储服务的常见问题就先介绍这么多,这些问题是比较常见的。也欢迎感兴趣的小伙伴评论补充。我是 liuzhen007,欢迎大家关注我,分享更多对象存储的知识。晚安~~ 😴 !



作者简介:😄大家好,我是 Data-Mining(liuzhen007),是一位典型的音视频技术爱好者,前后就职于传统广电巨头和音视频互联网公司,具有丰富的音视频直播和点播相关经验,对 WebRTC、FFmpeg 和 Electron 有非常深入的了解,😄公众号:玩转音视频。同时也是 CSDN 博客专家、华为云享专家(共创编辑)、InfoQ 签约作者,欢迎关注我分享更多干货!😄


目录
相关文章
|
5月前
|
存储 Kubernetes 应用服务中间件
数据无忧,一学就会:掌握CKA认证必备的etcd备份与还原秘籍!
数据无忧,一学就会:掌握CKA认证必备的etcd备份与还原秘籍!
74 0
|
XML 对象存储 Swift
Ceph对象存储的Amazon S3接口的使用(重点介绍分片上传接口)(基于nautilus版本)
Ceph对象存储的Amazon S3接口的使用(重点介绍分片上传接口)(基于nautilus版本)
697 0
|
存储 缓存 NoSQL
H2存储内核分析一
现在做数据库一般都才有 C/C++ 获取其它编译型的语言,为什么会选择 h2 这种基于 java 的语言?会不会影响效率?其实回答这个问题很简单,无论是用什么语言来实现数据库,其实都是在调用操作系统 IO 的函数。因此仅仅是作为存储的话差别其实是不大的。 现在大多数,涉及到存储内核的文章或者讲义,要么是一堆原理,要么就是玩具版本例子,根本无法应用到实际的工程上面去,就像马保国的闪电五连鞭一样。我们选择 h2 的一个重要原因就是,学习完后,可以直接应用到工程上。行不行直接在擂台上比一下就知道了。
H2存储内核分析一
|
存储 算法 安全
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(二)
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)
117 0
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(二)
|
存储 负载均衡 前端开发
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(一)
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)
247 0
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(一)
|
存储 监控 Java
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(三)
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)
201 0
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(三)
|
JavaScript 前端开发
《大胖 • 小课》- 说说大文件分片和断点续传
一般在前端开发中我们上传文件大多是比较小的文件,比如图片、pdf、word 文件等,也只有一些特殊的业务和场景才会需要上传大文件,比如上传一个视频 ,最小也得500M。 那如果文件太大,比如500M 1G 2G 那么大,直接上传会造成什么后果呢? 直接上传过大文件,可能会出链接现超时的情况,而且也会超过服务端允许上传文件的大小限制,导致文件无法上传。 所以解决这个问题我们可以将文件进行分片上传,每次只上传很小的一部分 比如2M,多上传几次就可以啦。
234 0
《大胖 • 小课》- 说说大文件分片和断点续传
|
存储 Java 应用服务中间件
图片存储方案介绍---七牛云存储
图片存储方案介绍---七牛云存储
图片存储方案介绍---七牛云存储
|
NoSQL MongoDB 开发工具
分片第一套和第二套副本集搭建|学习笔记
快速学习分片第一套和第二套副本集搭建
分片第一套和第二套副本集搭建|学习笔记
|
关系型数据库 MySQL 索引
elasticsearch单分片,单副本且有21亿个文档的索引的的救赎之路
当单分片的索引当拥有21亿四千万个文档时将不再具有写入能力,如何在3天内拯救它呢
782 1