什么是k8s？
Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。
为什么选择k8s？
Kubernetes 为你提供：
- 服务发现和负载均衡
Kubernetes 可以使用 DNS 名称或自己的 IP 地址公开容器，如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。 - 存储编排
Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。 - 自动部署和回滚
你可以使用 Kubernetes 描述已部署容器的所需状态，它可以以受控的速率将实际状态 更改为期望状态。例如，你可以自动化 Kubernetes 来为你的部署创建新容器， 删除现有容器并将它们的所有资源用于新容器。 - 自动完成装箱计算
Kubernetes 允许你指定每个容器所需 CPU 和内存（RAM）。 当容器指定了资源请求时，Kubernetes 可以做出更好的决策来管理容器的资源。 - 自我修复
Kubernetes 重新启动失败的容器、替换容器、杀死不响应用户定义的 运行状况检查的容器，并且在准备好服务之前不将其通告给客户端。 - 密钥与配置管理
Kubernetes 允许你存储和管理敏感信息，例如密码、OAuth 令牌和 ssh 密钥。 你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置，也无需在堆栈配置中暴露密钥。
K8s概念
- Namespace：命令空间，相当于把一个集群虚拟成多个集群，部分资源具有隔离性
- Pod：K8s最小单元，可以简单理解为一个、多个或一组容器的集合。
- Deployment：无状态应用控制器，可以随意重启的服务等，例如，可放置HTML5文件
- StatefulSet：有状态应用控制器，提供固定标识符，可放置redis集群等
- DaemonSet：守护进程控制器
- Service：逻辑上的一组Pod，用于集群服务通信
- Ingress：集群服务入口，通过域名发布服务，代替经常变化的ip
- ConfigMap：K8s配置管理，实现配置与应用分离
- Secret:K8s：加密数据管理
K8s架构
- APIServer：集群的控制中枢，提供集群中各个模块之前的数据交换
- Scheduler：调度中心，主要是通过调度算法将Pod分配到最佳的节点
- ControllerManager：集群状态管理器，保证Pod或其他资源达到期望值
- Etcd：K8s数据库Kubelet：管理节点上的Pod，同时负责上报节点和节点上面Pod的状态
- Kube-Proxy:负责各Pod之间的通信和负载均衡，将流量分发到后端正确的机器上
- Docker：K8s Runtime负责对容器的管理 CoreDNS：用于K8s内部Service解析
- Kubectl：K8s客户端工具
- Calico：CNI网络插件，负责给每个Pod分配一个不会重复的IP，并提供路由功能
其中，Calico是博主使用的，还有其他的插件。接下来进行安装。
注意：Master节点初始化之前的命令，都是在三个节点上均运行。Master节点初始化一节只在Master节点运行，Node节点添加仅在Node节点运行。
环境
使用的软件
| 软件 | 版本 |
| Xshell | 7 |
| VMWare | 12Pro |
集群配置
| 主机名 | 操作系统 | IP | CPU | MEM | 角色 |
| k8s-master01 | CentOS 7 | 10.28.164.3 | 2 | 4GB | master |
| k8s-node01 | CentOS 7 | 10.28.164.20 | 2 | 2GB | node |
| k8s-node02 | CentOS 7 | 10.28.164.21 | 2 | 2GB | node |
主机名、网络、静态IP设置等请参考：Linux-Centos7学习笔记
安装一些之后用到的软件
yum install -y yum-utils conntrack ntpdate ntp ipvsadm ipset jq sysstat libseccomp
firewalld
关闭firewalld
systemctl stop firewalld && systemctl disable firewalld
结果
在三个节点均运行，可以使用XShell的工具，发送到所有会话。
iptables
安装iptables并设置空规则
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save
结果
selinux
关闭selinux
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
结果
swap
关闭swap分区交换
swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
结果
调整时区
设置时区为上海
# 设置系统时区为 中国/上海 timedatectl set-timezone Asia/Shanghai # 将当前的UTC时间写入硬件时钟 timedatectl set-local-rtc 0 #重启依赖于系统时间的服务 systemctl restart rsyslog systemctl restart crond
检查日期时间
date
网桥等内核参数
加载br_netfilter
modprobe br_netfilter lsmod | grep br_netfilter
文件写入
cat > /etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-iptables=1 net.bridge.bridge-nf-call-ip6tables=1 net.ipv4.ip_forward=1 net.ipv4.tcp_tw_recycle=0 vm.swappiness=0 # 禁止使用swap空间，只有当系统00M时才允许使用它 vm.overcommit_memory=1 # 不检查物理内存是否够用 vm.panic_on_oom=0 # 开启 00M fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=1048576 fs.file-max=52786963 fs.nr_open=52706963 net.ipv6.conf.all.disable_ipv6=1 net.netfilter.nf_conntrack_max=2310720 EOF
应用文件
sysctl -p /etc/sysctl.d/k8s.conf
结果
开启IPVS
cat > /etc/sysconfig/modules/ipvs.modules <<EOF #！/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
环境调整完毕，机器重启一下！！！
Container Runtime（Docker CE/containerd/CRI-O）
这里选择 Docker CE
Docker CE安装
注意配置国内源，这里使用的阿里云
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum update -y && yum install -y docker-ce
## 创建 /etc/docker 目录 mkdir /etc/docker # 配置daemon. cat > /etc/docker/daemon.json <<EOF { "exec-opts":["native.cgroupdriver=systemd"], "log-driver":"json-file", "log-opts":{ "max-size": "100m" } } EOF mkdir -p /etc/systemd/system/docker.service.d #重启docker服务 systemctl daemon-reload && systemctl restart docker && systemctl enable docker
结果
kubeadm/kops/Kubespray
安装集群的方式，这里选择kubeadm
iptable设置
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf br_netfilter EOF
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sudo sysctl --system
kubeadm&&kubelet&&kubectl
配置国内源，这里选择的阿里云
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg exclude=kubelet kubeadm kubectl EOF
查看
yum list | grep kubeadm
目前最新的是1.23，不带版本的话就是最新的，博主安装的之前的版本，推荐改为1.17.17。
yum install -y kubeadm-1.17.3-0 kubelet-1.17.3-0 kubectl-1.17.3-0
结果
镜像准备
查看需要的镜像
查看需要的镜像
kubeadm config images list
结果
可以看到repository是k8s.gcr.io，没有科学上网是拉不下来的
拉取镜像
方式一
从阿里云下载，使用选项标记repository改变，就可以找到镜像了
kubeadm config images pull \ --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers
方式二
也有人自己下载，然后打tag，然后untag之前的
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.17.17 docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.17 docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.17.17 docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.17.17 docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5 docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0 docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1 docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.17.17 k8s.gcr.io/kube-scheduler:v1.17.17 docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.17 k8s.gcr.io/kube-proxy:v1.17.17 docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.17.17 k8s.gcr.io/kube-controller-manager:v1.17.17 docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.17.17 k8s.gcr.io/kube-apiserver:v1.17.17 docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5 k8s.gcr.io/coredns:1.6.5 docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0 k8s.gcr.io/etcd:3.4.3-0 docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1 docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.17.17 docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.17 docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.17.17 docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.17.17 docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5 docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0 docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
拉取完对比一下
Master节点初始化
初始化集群
kubeadm init --pod-network-cidr=172.16.0.0/16 --apiserver-advertise-address=10.28.144.3 | tee kubeadm-init.log
CNI网络插件(calico、flannel、canal、waeve)
这里选择的calico，calico资源清单文件下载
wget https://docs.projectcalico.org/v3.18/manifests/calico.yaml
里面用到了4个镜像， 需要科学上网才能下载，无法科学上网的小伙伴可以关注公众号，回复 calico 获取蓝奏云下载地址，不用登录即可下载。
修改为init时的网段，之后
kubectl create -f calico.yaml
查看状态
kubectl get po -n kube-system
Node节点加入
init时候的命令在其余两个节点运行一下即可
集群修复
如果集群被你不小心搞崩了，例如，kubectl命令无法执行，可以重新初始化master节点，重新加入node节点
重新初始化
kubeadm reset rm -rf $HOME/.kube
之后重新执行前面的初始化集群步骤即可
Node节点重新加入
kubeadm reset rm -rf /etc/cni/
之后重新执行前面的Node节点加入步骤即可
最后，重新安装calico。
