分片上传Minio存储服务的问题集锦[推荐收藏]

简介: 通过前面文章的介绍,我相信小伙伴们已经对 MinIO 存储服务有了一定的认识。知道 MinIO 是一款非常热门的开源对象存储服务器,能够完美兼容亚马逊的 S3 协议, 对 K8s 也能够进行非常友好的支持,专为 AI 等云原生工作负载而设计。今天我们就来聊一聊在集成 MinIO 过程中遇到的一些上传相关的问题。

前言

通过前面文章的介绍,我相信小伙伴们已经对 MinIO 存储服务有了一定的认识。知道 MinIO 是一款非常热门的开源对象存储服务器,能够完美兼容亚马逊的 S3 协议, 对 K8s 也能够进行非常友好的支持,专为 AI 等云原生工作负载而设计。今天我们就来聊一聊在集成 MinIO 过程中遇到的一些上传相关的问题。

常见问题

当我们开发上传功时,特别是通过分片的形式上传文件到 MinIO 存储服务会遇到各种问题。本文记录这些问题是为了便于日后回顾查看,也是为了帮助遇到相同问题的小伙伴。那么,具体都有哪些常见问题呢?下面就来详细介绍。

问题一

[Error] 2021/08/17 20:15:10 转储分片失败 Part number cannot be negative or equal to zero. minio.go 216

解决:

一般上传接口在设置分片索引时,都是从0开始,但是 MinIO 存储服务定义分片索引却是从1开始的。所以再接口参数转换时,需要加1对齐,否则在上传第一个分片的时候就会报这个错误。

问题二

[Error] 2021/08/17 20:19:12 处理文件分片失败 connection() : connection(minio.test.cn:27017[-3]) incomplete read of message header: read tcp 172.31.33.6:59048->139.227.116.36:27017: i/o timeout base.go 66

解决:

这个问题发生时是网络切换过程中出现的,wifi稳定后,再重新尝试上传,问题消失。之后分析,问题出现的原因应该是网络中断,导致数据库服务连接超时或者数据传输超时。

问题三

[Error] 2021/08/17 20:31:27 完成分片上传失败 One or more of the specified parts could not be found.  The part may not have been uploaded, or the specified entity tag may not match the part's entity tag. minio.go 238

解决:

造成该问题可能的原因有两个,一是想要合并的分片确实不存在;二是指定的分片标签不匹配。如果是前者,我们确认 uploadID 是正确的,如果是后者,我们想要校验 Tag 参数是否正确。

问题四

[Error] 2021/08/17 20:36:46 转储分片失败 Requests specifying Server Side Encryption with Customer provided keys must be made over a secure connection. minio.go 216

解决:

分片上传接口 PutObjectPart 的最后一个参数是 encrypt.ServerSide 对象,如果启用的话,必须使用 https 协议建立客户端与服务端的连接。因此,我们可以通过设置该参数为空 nil,先不启动服务加密机制。

对应 PutObjectPart 接口的源代码如下:

// PutObjectPart - Upload an object part.func (cCore) PutObjectPart(ctxcontext.Context, bucket, object, uploadIDstring, partIDint, dataio.Reader, sizeint64, md5Base64, sha256Hexstring, sseencrypt.ServerSide) (ObjectPart, error) {
returnc.uploadPart(ctx, bucket, object, uploadID, data, partID, md5Base64, sha256Hex, size, sse)
}

结尾

好了,今天关于分片上传 MinIO 存储服务的常见问题就先介绍这么多,这些问题是比较常见的。也欢迎感兴趣的小伙伴评论补充。我是 liuzhen007,欢迎大家关注我,分享更多对象存储的知识。晚安~~ 😴 !



作者简介:😄大家好,我是 Data-Mining(liuzhen007),是一位典型的音视频技术爱好者,前后就职于传统广电巨头和音视频互联网公司,具有丰富的音视频直播和点播相关经验,对 WebRTC、FFmpeg 和 Electron 有非常深入的了解,😄公众号:玩转音视频。同时也是 CSDN 博客专家、华为云享专家(共创编辑)、InfoQ 签约作者,欢迎关注我分享更多干货!😄


目录
相关文章
|
JavaScript 前端开发 Java
springboot整合minio+vue实现大文件分片上传,断点续传(复制可用,包含minio工具类)
springboot整合minio+vue实现大文件分片上传,断点续传(复制可用,包含minio工具类)
3709 2
|
存储 Java 应用服务中间件
MinIO对象存储详细安装教程
MinIO对象存储详细安装教程
1761 2
|
10月前
|
存储 安全 网络安全
阿里云国际站:阿里云服务器端口配置
悟空云@CloudWuKong阿里云是全球领先的云计算服务提供商,为用户提供弹性计算、数据库、存储、网络安全等一系列云计算服务。在使用阿里云服务器时,合理配置端口非常重要,可以提高服务器安全性和稳定性。
|
Linux 对象存储 Windows
MinIO 客户端安装与使用教程
详细讲解MinIO CLI的安装与使用
4874 0
|
API Python
​不用SMTP实现联系表单提交后发送邮件到指定邮箱
构建网站时,联系表单可通过邮件API(如SendGrid、Mailgun、Amazon SES)或第三方自动化服务(Zapier、Integromat)无需SMTP发送邮件。使用API服务,如SendGrid的Python示例,可直接集成到表单提交流程。第三方自动化服务允许表单提交触发邮件发送。后端脚本,如PHPMailer,也可用于邮件发送。这些方法简化了邮件发送并提高了效率。AokSend提供触发式接口和独立IP的高触达发信服务。
|
Docker 容器
docker安装minio
以上就是在Docker中安装MinIO的步骤。
659 2
|
Java fastjson Maven
写给大忙人看的 - Java中上传文件MinIO服务器(2)
上一篇 写给大忙人看的 - 搭建文件服务器 MinIO(一),我们已经成功地搭建了 MinIO 文件服务器,这一篇讲解在 Java 中如何上传文件至 MinIO
873 0
写给大忙人看的 - Java中上传文件MinIO服务器(2)
|
Java 数据库连接 数据库
解决:Mybatis-plus使用selectList查询数据为null
解决:Mybatis-plus使用selectList查询数据为null
1226 0
解决:Mybatis-plus使用selectList查询数据为null
|
存储 Web App开发 缓存
Minio分片合并时遇到了一个疑难问题
今天调用Minio的分片合并接口时,遇到了一个错误,困扰了我一整天。因为我始终在自己身上找原因,一度怀疑是自己的逻辑处理有问题,而且自己认为最可能的原因就是自己参数传错了。但是,万万没有想到,原来问题出在Minio服务自己身上。
4181 0
|
安全 Java
Qt单例:Qt有专门的宏Q_GLOBAL_STATIC,用来实现线程安全的单例模式
Qt单例:Qt有专门的宏Q_GLOBAL_STATIC,用来实现线程安全的单例模式
1469 0