Kubernetes 1.5通过Ceph实现有状态容器

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介:

在上一篇博文,我们通过kubernetes的devlopment和service完成了sonarqube的部署。看起来已经可用,但是仍然有一个很大的问题。我们知道,像mysql这种数据库是需要保存数据而且不能让数据丢失的。而容器恰恰是一旦退出,所有数据都会丢失。我们的mysql-sonar容器一旦重启,那么我们后续对sonarqube做的任何设置都会丢失。所以我们必须找到一种方法能让mysql-sonar容器中的mysql数据保存下来。kubernetes提供多种持久化数据的方案,包括使用hostPath,nfs,flocker,glusterfs,rbd等等。我们就使用ceph提供的rbd块存储来实现kubernetes的持久化存储。

要使用ceph作为存储,首先得安装ceph,我这里简单罗列下通过ceph-deploy安装ceph的过程,先说下运行环境:

server-117: admin-node   mon-node  client-node
server-236: osd-node  mon-node
server-227: osd-node  mon-node

在所有机器上配置yum源:

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repowget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repovim /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/gpgcheck=0[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/gpgcheck=0

然后在所有机器上配置ntp时间同步,具体操作不做说明。

配置admin-node到其他各节点的ssh免密访问。我这里图省事,直接使用root来完成后续操作,但在官方的标准安装中,要求使用普通帐号来完成,且这个帐号不能命名为ceph,因为ceph是默认启动ceph守护进程的帐户。给出一个示例:

useradd cephadminecho "cephadmin" | passwd --stdin cephadmin

要求所有的cephadmin有免密sudo的权限:echo "cephd ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephdsudo chmod 0440 /etc/sudoers.d/cephd

vim /etc/sudoers

Defaults:cephadmin    !requiretty

然后使用这个帐户完成相互之间的ssh免密访问

最后在admin-node上编辑~/.ssh/config,内容示例如下:

Host server-117
   Hostname server-117
   User cephadmin
Host server-236
   Hostname server-236
   User cephadmin
Host server-227
   Hostname server-227
   User cephadmin

部署ceph,下面所有的操作都在admin-node上完成:

安装ceph-deployyum install -y ceph-deploymkdir ceph-cluster    #创建部署目录,会在该目录生成一些必要的配置文件

cd ceph-cluster

如果之前安装过ceph,官方推荐使用如下命令获得一个干净的环境:
ceph-deploy purgedata server-236 server-227ceph-deploy forgetkeys
ceph-deploy purge server-236 server-227创建一个ceph cluster:

ceph-deploy new server-117 server-236 server-227    #其中server-117为mon-node,可以指定多个mon-node

上面命令执行完成以后,会在当前目录合成一些辅助文件,其中ceph.conf默认内容如下:
[global]
fsid = 23078e5b-3f38-4276-b2ef-7514a7fc09ff
mon_initial_members = server-117mon_host = 10.5.10.117auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

我额外添加如下几行内容:

public_network=10.5.10.0/24    #定义互相通信的公有网络
mon_clock_drift_allowed = 2    #定义多个mon节点之间时间的误差为2s
osd_pool_default_size = 2    #定义最少可以允许有两个osd,默认是3个,如果节点数量足够,可不用修改

#以下三行配置都是为解决数据节点的存储盘为ext4文件系统时,解决“ERROR: osd init failed: (36) File name too long”错误的。ceph官方推荐存储盘使用xfs文件系统,但在有些特定的场合下,我们只能使用ext4文件系统。

osd_max_object_name_len = 256osd_max_object_namespace_len = 64filestore_xattr_use_omap = true

执行安装ceph:

ceph-depoly  server- server- server-  -y ceph ceph-radosgw

初始化mon-node:

ceph-deploy mon create-

这一过程执行完成以后,会在当前目录出现若干*.keyring文件,这是ceph组件间进行安全访问时所需要的

 

这时可以在各节点通过ps -ef | grep ceph来查看ceph-mon相关进程的运行状况:

ceph     31180     1  0 16:11 ?        00:00:04 /usr/bin/ceph-mon -f --cluster ceph --id server-117 --setuser ceph --setgroup ceph

初始化osd-node:

启动Osd-node可以分为两步:prepare和activate。osd-node是真正存储数据的节点,我们需要为ceph-osd提供独立存储空间,一般是一个独立的disk,但也可以使用目录取代。

 

在两个osd-node节点上分别创建用于存储的目录:

ssh server-236mkdir /data/osd0
exitssh server-227mkdir /data/osd1
exit

执行如下操作:

#prepare操作会在上面创建的两个目录里创建一些后续activate激活以及osd运行时所需要的文件
ceph-deploy osd prepare server-236:/data/osd0 server-227:/data/osd1

#激活osd-node并启动
ceph-deploy osd prepare server-236:/data/osd0 server-227:/data/osd1

执行完以后,通常会抛出类似如下错误:

[WARNIN] 2016-11-04 14:25:40.325075 7fd1aa73f800 -1  ** ERROR: error creating empty object store in /var/local/osd0: (13) Permission denied
[ERROR ] RuntimeError: command returned non-zero exit status: 1[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: /usr/sbin/ceph-disk -v activate --mark-init upstart --mount /data/osd0

这是因为ceph默认的守护进程的用户是ceph,无论是使用普通的ceph-admin创建的目录还是使用root创建的目录,ceph都没有访问权限。

所以需要在osd-node上再做一个授权:

 ceph.ceph -R /data/osd0

server-227:
chown ceph.ceph -R /data/osd1

往各节点同步配置文件:

ceph-deploy admin server-117 server-236 server-227

注意,如果配置文件有修改,需要重新执行同步操作,并重新执行activate操作

 

通过如下指令查看集群状态:

ceph -s
ceph osd tree

 

当ceph集群安装完成以后,我们就要创建相应的rbd块用于kubernetes存储。创建块设备之前,需要先创建存储池,ceph提供了一个叫做rbd的默认存储池。我们再创建一个kube的存储专门用来存储kubernetes使用的块设备,后续的操作都在client-node上执行:

ceph osd pool create kube 100 100    #后面两个100分别为pg-num和pgp-num

在kube存储池创建一个映像文件,就叫mysql-sonar,该映像文件的大小为5GB:

rbd create kube/mysql-sonar --size 5120 --image-format 2 --image-feature layering

注意,上面的命令,在我的环境下,如果不使用--image-feature layering,会抛出如下异常:

rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
In some cases useful info is found in syslog - try "dmesg | tail" or so.
rbd: map failed: (6) No such device or address

这是因为我目前centos 7.2的内核还不支持ceph的一些新特性。

 

将上面创建的映象文件映射为块设备:

rbd map kube/mysql-sonar --name client.admin

至此,ceph上的操作就完成了。

 

接下来我们看下如何在kubernetes上使用上面ceph创建的块设备。

我们可以在kubernetes的源码文件的examples/volumes/rbd目录下找到相关示例文件如下:

[root@server-116 ~]# ll /data/software/kubernetes/examples/volumes/rbd/
total 12
-rw-r-----. 1 root root  962 Mar  8 08:26 rbd.json
-rw-r-----. 1 root root  985 Mar  8 08:26 rbd-with-secret.json
-rw-r-----. 1 root root 2628 Mar  8 08:26 README.md
drwxr-x---. 2 root root   29 Mar  8 08:26 secret

[root@server-116 ~]# ll /data/software/kubernetes/examples/volumes/rbd/secret/
total 4
-rw-r-----. 1 root root 156 Mar  8 08:26 ceph-secret.yaml

其中rbd.json就是一个将rbd设备挂载为一个kubernetes volumes的示例文件。rbd-with-secret.json是使用secret的方式挂载ceph rbd的示例文件。ceph-secret.yaml是一个secret的示例文件。

我们可以先查看下ceph-secret.yaml文件:

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
type: "kubernetes.io/rbd"  data:
  key: QVFCMTZWMVZvRjVtRXhBQTVrQ1FzN2JCajhWVUxSdzI2Qzg0SEE9PQ==

我们只需要修改最后一行的key值。这个值通过base64进行过加密处理。处理前的值可以通过如下命令在ceph上获得:

ceph auth get-- ~]#  /etc/ceph/= AQDRvL9YvY7vIxAA7RkO5S8OWH6Aidnu22OiFw=== = =

我们拿到这个key,然后做base64处理:

[root@server-117 ~]# echo "AQDRvL9YvY7vIxAA7RkO5S8OWH6Aidnu22OiFw==" | base64
QVFEUnZMOVl2WTd2SXhBQTdSa081UzhPV0g2QWlkbnUyMk9pRnc9PQo=

所以我们修改后的ceph-secret.yaml内容如下:

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
type: "kubernetes.io/rbd"  data:
  key: QVFEUnZMOVl2WTd2SXhBQTdSa081UzhPV0g2QWlkbnUyMk9pRnc9PQo=

创建一个secret:

kubectl create -f ceph-secret

由于直接使用volumes方式挂载的数据文件生命周期与pod一样,随着pod的释放而释放。所以在这里不推荐直接使用volumes的方式挂载,而使用pv的方式挂载。

我们先创建一个pv文件:

apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-sonar-pv
spec:
  capacity:
    storage: 5Gi
  accessModes:    - ReadWriteOnce
  rbd:
    monitors:      - 10.5.10.117:6789
      - 10.5.10.236:6789
      - 10.5.10.227:6789
    pool: kube
    image: mysql-sonar
    user: admin
    secretRef:
      name: ceph-secret
    fsType: ext4
    readOnly: false
  persistentVolumeReclaimPolicy: Recycle

创建一个5GB大小的pv:

kubectl create -f mysql-sonar-pv.yml

再创建一个pvc文件:

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: mysql-sonar-pvc
spec:
  accessModes:    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi

创建一个pvc:

kubectl create -f mysql-sonar-pvc.yml

最后我们修改上篇博文中创建的mysql-sonar-dm.yml文件,内容如下:

apiVersion: extensions/v1beta1
kind: Deployment          
metadata:
  name: mysql-sonar
spec:
  replicas: 1                          #  selector:
#    app: mysql-sonar                      
  template:
    metadata:
      labels:
        app: mysql-sonar
    spec:
      containers:                       
      - name: mysql-sonar
        image: myhub.fdccloud.com/library/mysql-yd:5.6      
        ports:        - containerPort: 3306           
        env:        - name: MYSQL_ROOT_PASSWORD
          value: "mysoft"
        - name: MYSQL_DATABASE
          value: sonardb        - name: MYSQL_USER
          value: sonar        - name: MYSQL_PASSWORD
          value: sonar        volumeMounts:        - name: mysql-sonar
          mountPath: /var/lib/mysql
      volumes:
      - name: mysql-sonar
        persistentVolumeClaim:
          claimName: mysql-sonar-pvc

创建mysql pod:

kubectl create -f mysql-sonar-dm.yml

这样我们就创建了一个数据持久化的pod。我们可以通过往数据库上写入一些数据,然后再删除掉pod,再重新创建一个pod的方式来测试数据是否丢失。

需要说明的是,如果在创建容器的时候,rbd设备没有事先创建,或者我们在测试的时候,删除当前pod,但又还没完全删除的时候启动了一个新pod,这个pod就会一直处于ContainerCreating状态,这个时候kubelet日志会有相关报错。具体可以参考:http://tonybai.com/2016/11/07/integrate-kubernetes-with-ceph-rbd/

还需要说明的一点,必须在所有node节点上安装ceph-common包,否则,在启动容器时会出现类似如下报错:

ntVolume.SetUp failed for volume "kubernetes.io/rbd/da0deff5-0bef-11e7-bf41-00155d0a2521-mysql-sonar-pv" (spec.Name: "mysql-sonar-pv") pod "da0deff5-0bef-11e7-bf41-00155d0a2521" (UID: "da0deff5-0bef-11e7-bf41-00155d0a2521") with: rbd: map failed executable file not found in $PATH

 

 本文转自 msj0905 51CTO博客,原文链接:http://blog.51cto.com/sky66/1934000



相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
12天前
|
人工智能 弹性计算 运维
ACK Edge与IDC:高效容器网络通信新突破
本文介绍如何基于ACK Edge以及高效的容器网络插件管理IDC进行容器化。
|
14天前
|
监控 NoSQL 时序数据库
《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
151 77
|
1天前
|
存储 Kubernetes 开发者
容器化时代的领航者:Docker 和 Kubernetes 云原生时代的黄金搭档
Docker 是一种开源的应用容器引擎,允许开发者将应用程序及其依赖打包成可移植的镜像,并在任何支持 Docker 的平台上运行。其核心概念包括镜像、容器和仓库。镜像是只读的文件系统,容器是镜像的运行实例,仓库用于存储和分发镜像。Kubernetes(k8s)则是容器集群管理系统,提供自动化部署、扩展和维护等功能,支持服务发现、负载均衡、自动伸缩等特性。两者结合使用,可以实现高效的容器化应用管理和运维。Docker 主要用于单主机上的容器管理,而 Kubernetes 则专注于跨多主机的容器编排与调度。尽管 k8s 逐渐减少了对 Docker 作为容器运行时的支持,但 Doc
16 5
容器化时代的领航者:Docker 和 Kubernetes 云原生时代的黄金搭档
|
13天前
|
人工智能 运维 监控
阿里云ACK容器服务生产级可观测体系建设实践
本文整理自2024云栖大会冯诗淳(花名:行疾)的演讲,介绍了阿里云容器服务团队在生产级可观测体系建设方面的实践。冯诗淳详细阐述了容器化架构带来的挑战及解决方案,强调了可观测性对于构建稳健运维体系的重要性。文中提到,阿里云作为亚洲唯一蝉联全球领导者的容器管理平台,其可观测能力在多项关键评测中表现优异,支持AI、容器网络、存储等多个场景的高级容器可观测能力。此外,还介绍了阿里云容器服务在多云管理、成本优化等方面的最新进展,以及即将推出的ACK AI助手2.0,旨在通过智能引擎和专家诊断经验,简化异常数据查找,缩短故障响应时间。
阿里云ACK容器服务生产级可观测体系建设实践
|
13天前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
阿里云容器服务ACK提供强大的产品能力,支持弹性、调度、可观测、成本治理和安全合规。针对拥有IDC或三方资源的企业,ACK One分布式云容器平台能够有效解决资源管理、多云多集群管理及边缘计算等挑战,实现云上云下统一管理,提升业务效率与稳定性。
|
25天前
|
运维 Kubernetes Docker
深入理解容器化技术:Docker与Kubernetes的协同工作
深入理解容器化技术:Docker与Kubernetes的协同工作
44 1
|
25天前
|
Kubernetes Cloud Native 持续交付
容器化、Kubernetes与微服务架构的融合
容器化、Kubernetes与微服务架构的融合
44 1
|
27天前
|
Kubernetes Cloud Native API
深入理解Kubernetes——容器编排的王者之道
深入理解Kubernetes——容器编排的王者之道
41 1
|
29天前
|
Kubernetes Cloud Native 云计算
云原生入门:Kubernetes 和容器化基础
在这篇文章中,我们将一起揭开云原生技术的神秘面纱。通过简单易懂的语言,我们将探索如何利用Kubernetes和容器化技术简化应用的部署和管理。无论你是初学者还是有一定经验的开发者,本文都将为你提供一条清晰的道路,帮助你理解和运用这些强大的工具。让我们从基础开始,逐步深入了解,最终能够自信地使用这些技术来优化我们的工作流程。
|
1月前
|
Kubernetes 监控 安全
容器化技术:Docker与Kubernetes的实战应用
容器化技术:Docker与Kubernetes的实战应用

相关产品

  • 容器服务Kubernetes版