Kubernetes版本对接对象存储几种方案

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: Kubernetes版本对接对象存储几种方案

对象存储

想要通过创建 PersistentVolume(PV)/PersistentVolumeClaim(PVC),并为工作负载挂载数据卷的方式使用云对象存储 COS

对于对象存储,在k8s中不需要PV/PVC来做资源抽象,应用可以直接访问和使用,如果需要在k8s支持访问,就需要相应的csi插件,支持对象存储转成文件存储

例如: 几个大厂的方式

阿里:https://help.aliyun.com/document_detail/130911.html

腾讯:https://cloud.tencent.com/document/product/457/44232

华为:https://support.huaweicloud.com/intl/zh-cn/usermanual-cce/cce_01_0267.html

如果对接文件存储,可以使用使用S3fs可以把Bucket当成一个文件夹挂载到Linux系统内部,当成一个系统文件夹使用。

社区方案

方案1:Object Storage API (COSI)

目前开发中,不成熟

官方文档

https://container-object-storage-interface.github.io/docs/

https://container-object-storage-interface.github.io/

https://github.com/kubernetes/enhancements/tree/master/keps/sig-storage/1979-object-storage-support#provisionergetinfo

Kubernetes v1.23 正式发布,有哪些增强?

Kubernetes 现在对文件和块存储都有了较好的扩展支持 (CSI),但是这些并不能很好的支持对象存储,原因如下:

  • oss 以桶 (bucket) 来组织分配存储单元而不是文件系统挂载或是块设备
  • oss 服务的访问是通过网络调用而不是本地的 POSIX 调用
  • oss 不试用 csi 定义的 Attach/Detach 逻辑 (无需挂载/卸载)

COSI 是关于如何为容器化的工作负载 (Pod) 提供对象存储服务 (oss) 的标准协议。与 csi 和 cni 类似,Kubernetes 旨在通过定义一些标准的接口与第三方 oss 服务提供方解耦。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JJJmj72m-1651055590510)(https://cdn.jsdelivr.net/gh/Fly0905/note-picture@main/img/202204252104317.jpeg)]

方案2:csi-s3

可以使用,但需要多测试

官方文档

https://github.com/CTrox/csi-s3

https://github.com/majst01/csi-driver-s3

使用s3(minio)为kubernetes提供pv存储

Kubernetes 要求
  • Kubernetes 1.13+(CSI v1.0.0 兼容性)
  • Kubernetes 必须允许特权容器
  • Docker 守护进程必须允许共享挂载(systemd 标志MountFlags=shared
  • 是非常实验性的,还未在任何生产环境中使用。根据使用的挂载程序和 S3 存储后端,可能会发生意外的数据丢失。
MountFlags

在 18.09 之前的 Docker 版本中,containerd 由 Docker 引擎守护进程管理。

在 Docker Engine 18.09 中,containerd 由 systemd 管理。由于 containerd 由 systemd 管理,因此任何docker.service更改挂载设置的 systemd 配置的自定义配置(例如,MountFlags=slave)都会破坏 Docker Engine 守护进程和 containerd 之间的交互,并且您将无法启动容器。

运行以下命令以获取 的MountFlags属性的当前值docker.service

$ sudo systemctl show --property=MountFlags docker.service
MountFlags=

如果此命令为 打印非空值,请更新您的配置MountFlags,然后重新启动 docker 服务。

为什么要将S3 以文件存储的方式挂载到 Kubernetes 平台?

对于原来使用本地目录访问数据的应用程序,比如使用本地磁盘或网络共享盘保存数据的应用系统,如果用户希望把数据放到S3上,则需要修改数据的访问方式,比如修改为使用SDK 或CLI访问S3中存储的数据。

同时实现kubernetes集群是很多用户的需求,无论是使用托管服务还是自建kubernetes集群,存储都是kubernetes集群搭建的重点。并且docker的部署方式也让客户程序减少了对于底层环境的依赖。为了让用户原来的应用系统能在不做修改的情况下直接使用S3服务,需要把S3存储桶作为目录挂载到用户kubernetes集群中的worker节点上

利用S3fs将S3存储桶在kubernetes平台上以sidecar方式挂载到kubernetes集群的worker实例上的pod中,挂载后需要读写此存储桶的pod都可以对此桶进行读写,以实现共享存储功能。

什么是 S3FS ?

S3fs是基于FUSE的文件系统,允许Linux和Mac Os X 挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的格式,S3FS是POSIX的大子集,包括读/写文件、目录、符号链接、模式、uid/gid和扩展属性,AmazonS3、Google云存储和其他基于S3的对象存储兼容。关于S3fs的详细介绍,请参见:https://github.com/s3fs-fuse/s3fs-fuse

后续

  1. 验证特权容器,升级了多少特权

参考链接

  1. 使用s3(minio)为kubernetes提供pv存储
  2. 基于openshift+华为对象存储的CSI开发
  3. 利用 S3FS 将 S3 作为共享存储挂载到 Kubernetes Pod
  4. 使用S3fs在Linux实例上挂载Bucket
  5. S3FS:基于对象存储的文件系统
  6. https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.23/#podsecuritycontext-v1-core
  7. https://github.com/FLY-Open-K8s/csi-driver-s3.git
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
Kubernetes Cloud Native 网络协议
Kubernetes 高可用性与灾难恢复方案
【8月更文第29天】随着业务的不断增长,保持应用程序的高可用性和灾难恢复能力变得越来越重要。Kubernetes 作为现代云原生应用的主要平台,提供了丰富的工具和方法来保证应用的高可用性以及快速恢复的能力。本文将详细介绍如何利用 Kubernetes 的功能来构建高可用性的系统,并实施有效的灾难恢复策略。
523 2
|
8月前
|
存储 运维 Kubernetes
正式开源,Doris Operator 支持高效 Kubernetes 容器化部署方案
飞轮科技推出了 Doris 的 Kubernetes Operator 开源项目(简称:Doris Operator),并捐赠给 Apache 基金会。该工具集成了原生 Kubernetes 资源的复杂管理能力,并融合了 Doris 组件间的分布式协同、用户集群形态的按需定制等经验,为用户提供了一个更简洁、高效、易用的容器化部署方案。
361 16
正式开源,Doris Operator 支持高效 Kubernetes 容器化部署方案
|
7月前
|
Kubernetes 持续交付 开发工具
阿里云协同万兴科技落地ACK One GitOps方案,全球多机房应用自动化发布,效率提升50%
阿里云协同万兴科技落地ACK One GitOps方案,全球多机房应用自动化发布,效率提升50%
230 2
|
7月前
|
Kubernetes 持续交付 开发工具
阿里云协同万兴科技落地ACK One GitOps方案,全球多机房应用自动化发布,效率提升50%
阿里云协同万兴科技落地ACK One GitOps方案,全球多机房应用自动化发布,效率提升50%
|
8月前
|
缓存 容灾 网络协议
ACK One多集群网关:实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统,以及异地容灾系统。
|
9月前
|
人工智能 Kubernetes 安全
赋能加速AI应用交付,F5 BIG-IP Next for Kubernetes方案解读
赋能加速AI应用交付,F5 BIG-IP Next for Kubernetes方案解读
188 13
|
8月前
|
存储 人工智能 数据管理
云端问道17期方案教学-AI场景下的对象存储OSS数据管理实践
本文介绍了AI场景下的对象存储OSS数据管理实践,由阿里云技术专家明锦分享。主要内容分为两部分:1) AI场景下对象存储实践方案,包括对象存储的应用、优势及在模型推理中的优化;2) OSS常用工具介绍,如OSSFS、Python SDK、Go SDK等,并详细说明了这些工具的特点和使用场景。文中还探讨了不同模式下的性能优化,以及即将推出的OS Connector for AI/ML工具,旨在提升数据下载速度和IO性能。
181 0
|
11月前
|
Kubernetes Linux 测试技术
|
Kubernetes 负载均衡 前端开发
二进制部署Kubernetes 1.23.15版本高可用集群实战
使用二进制文件部署Kubernetes 1.23.15版本高可用集群的详细教程,涵盖了从环境准备到网络插件部署的完整流程。
474 4
二进制部署Kubernetes 1.23.15版本高可用集群实战
|
11月前
|
Kubernetes Linux 开发工具
centos7通过kubeadm安装k8s 1.27.1版本
centos7通过kubeadm安装k8s 1.27.1版本

热门文章

最新文章

推荐镜像

更多