聊聊 K8S:K8S集群搭建实战

简介: 聊聊 K8S:K8S集群搭建实战

一、环境准备

1.1 硬件要求

序号 硬件 硬件
1 CPU 至少2核
2 内存 至少2G
3 磁盘 至少50G

1.2 集群节点

主机名 主机IP
k8s-master01 10.211.55.15
k8s-node01 10.211.55.16
k8s-node02 10.211.55.17
k8s-node03 10.211.55.18

二、下载 centos

centos下载地址:

http://mirrors.aliyun.com/centos/7/isos/x86_64/

推荐大家使用 centos7.6 以上版本

查看 centos 系统版本命令:

cat /etc/centos-release

配置阿里云 yum 源:

# 1.下载安装wget 
yum install -y wget 
# 2.备份默认的yum 
mv /etc/yum.repos.d /etc/yum.repos.d.backup 
# 3.设置新的yum目录 
mkdir -p /etc/yum.repos.d 
# 4.下载阿里yum配置到该目录中,选择对应版本 
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 
# 5.更新epel源为阿里云epel源 
mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup 
mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epel- testing.repo.backup
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel- 7.repo
# 6.重建缓存 
yum clean all yum makecache 
# 7.看一下yum仓库有多少包 
yum repolist 
yum update

升级系统内核

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm 
yum --enablerepo=elrepo-kernel install -y kernel-lt 
grep initrd16 /boot/grub2/grub.cfg 
grub2-set-default 0
reboot

查看centos系统内核命令:

uname -r 
uname -a

查看CPU命令:

lscpu

查看内存命令:

free 
free -h

查看硬盘信息:

fdisk -l

三、centos7 系统配置

3.1 关闭防火墙

systemctl stop firewalld 
systemctl disable firewalld

3.2 关闭 selinux

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
setenforce 0

3.3 网桥过滤

vi /etc/sysctl.conf 
net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1 
net.bridge.bridge-nf-call-arptables = 1 
net.ipv4.ip_forward=1 net.ipv4.ip_forward_use_pmtu = 0 
# 生效命令 
sysctl --system
# 查看效果 
sysctl -a|grep "ip_forward"

3.4 开启 IPVS

# 安装IPVS 
yum -y install ipset ipvsdm
# 编译ipvs.modules文件
vi /etc/sysconfig/modules/ipvs.modules
# 文件内容如下
#!/bin/bash 
modprobe -- ip_vs 
modprobe -- ip_vs_rr 
modprobe -- ip_vs_wrr 
modprobe -- ip_vs_sh 
modprobe -- nf_conntrack_ipv4
# 赋予权限并执行 
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&lsmod | grep -e ip_vs -e nf_conntrack_ipv4
# 重启电脑,检查是否生效
reboot 
lsmod | grep ip_vs_rr

3.5 同步时间

# 安装软件
yum -y install ntpdate
# 向阿里云服务器同步时间
ntpdate time1.aliyun.com
# 删除本地时间并设置时区为上海
rm -rf /etc/localtime 
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 查看时间 
date -R || date

3.6 命令补全

# 安装bash-completion 
yum -y install bash-completion bash-completion-extras 
# 使用bash-completion 
source /etc/profile.d/bash_completion.sh

3.7 关闭 swap 分区

# 临时关闭
swapoff -a
# 永久关闭
vi /etc/fstab
# 将文件中的/dev/mapper/centos-swap这行代码注释掉
# /dev/mapper/centos-swap swap swap defaults 0 0
# 确认swap已经关闭:若swap行都显示 0 则表示关闭成功
free -m

3.8 hosts 配置

vi /etc/hosts
# 文件内容如下: 
10.211.55.15 k8s-master01 
10.211.55.16 k8s-node01 
10.211.55.17 k8s-node02 
10.211.55.18 k8s-node03

四、安装 docker

4.1 阿里云开发者平台

开发者平台官网地址:可以参考阿里云官网提供的docker安装教程进行安装。

https://www.aliyun.com/

4.2 安装 docker 前置条件

yum install -y yum-utils device-mapper-persistent-data lvm2

4.3 添加源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum makecache fast

4.4 查看 docker 更新版本

yum list docker-ce --showduplicates | sort -r

4.5 安装 docker 最新版本

yum -y install docker-ce
# 安装指定版本: 
yum -y install docker-ce-18.09.8

4.6 开启 docker 服务

systemctl start docker
systemctl status docker

4.7 安装阿里云镜像加速器

tee /etc/docker/daemon.json <<-'EOF' 
{ 
    "registry-mirrors": ["自己的阿里云镜像加速地址"] 
}
EOF
systemctl daemon-reload 
systemctl restart docker

4.8 设置 docker 开机启动服务

systemctl enable docker

4.9 修改 Cgroup Driver

# 修改daemon.json,新增:
vi /etc/docker/daemon.json
"exec-opts": ["native.cgroupdriver=systemd"]
# 重启docker服务
systemctl daemon-reload
systemctl restart docker
# 查看修改后状态
docker info | grep Cgroup

修改cgroupdriver是为了消除安装k8s集群时的告警:

[WARNING IsDockerSystemdCheck]:

detected “cgroupfs” as the Docker cgroup driver. The recommended driver is “systemd”.

Please follow the guide at https://kubernetes.io/docs/setup/cri/……

4.10 复习 docker 常用命令

docker -v 
docker version 
docker info

五、使用 kubeadm 快速安装

软件 kubeadm kubelet kubectl docker-ce
版本 初始化集群管理集群,版本:1.17.5 用于接收api-server指令,对pod生命周期进行管理,版本:1.17.5 集群命令行管理工具,版本:1.17.5 推荐使用版本:19.03.8

5.1 安装 yum 源

5.1.1 新建 repo 文件

vi /etc/yum.repos.d/kubernetes.repo

5.1.2 文件内容

[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

如果有报错,则把 gpgcheck、repo_gpgcheck 的值设置成0。

5.1.3 更新缓存

yum clean all 
yum -y makecache

5.1.4 验证源是否可用

yum list | grep kubeadm 
# 如果提示要验证yum-key.gpg是否可用,输入y。 
# 查找到kubeadm。显示版本

5.1.5 查看 k8s 版本

yum list kubelet --showduplicates | sort -r

5.1.6 安装 k8s-1.17.5

yum install -y kubelet-1.17.5 kubeadm-1.17.5 kubectl-1.17.5

5.2 设置 kubelet

5.2.1 增加配置信息

# 如果不配置kubelet,可能会导致K8S集群无法启动。为实现docker使用的cgroupdriver与kubelet 使用的cgroup的一致性。
vi /etc/sysconfig/kubelet 
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"

5.2.2 设置开机启动

systemctl enable kubelet

5.3 初始化镜像

如果是第一次安装k8s,手里没有备份好的镜像,可以执行如下操作。

5.3.1 查看安装集群需要的镜像

kubeadm config images list

5.3.2 编写执行脚本

mkdir -p /data
cd /data 
vi k8s.1.17.5-images.sh
images=( 
    kube-apiserver:v1.17.5 
    kube-controller-manager:v1.17.5 
    kube-scheduler:v1.17.5 
    kube-proxy:v1.17.5 
    pause:3.1 
    etcd:3.4.3-0 
    coredns:1.6.5 
)
for imageName in ${images[@]};
do
    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
    docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
    docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done

5.3.3 执行脚本

cd /data 
# 给脚本授权 
chmod +x images.sh
# 执行脚本 
./k8s.1.17.5-images.sh

5.3.4 保存镜像

docker save -o k8s.1.17.5.tar \ 
k8s.gcr.io/kube-proxy:v1.17.5 \ 
k8s.gcr.io/kube-apiserver:v1.17.5 \ 
k8s.gcr.io/kube-controller-manager:v1.17.5 \ 
k8s.gcr.io/kube-scheduler:v1.17.5 \ 
k8s.gcr.io/coredns:1.6.5 \ 
k8s.gcr.io/etcd:3.4.3-0 \ 
k8s.gcr.io/pause:3.1 \

5.3.5 导入镜像

导入master节点镜像tar包

# master节点需要全部镜像 
docker load -i k8s.1.17.5.tar

导入node节点镜像tar包

# node节点需要kube-proxy:v1.17.5和pause:3.1,2个镜像 
docker load -i k8s.1.17.5.node.tar

5.4 初始化集群

配置k8s集群网络

5.4.1 calico 官网地址

# 官网下载地址: 
https://docs.projectcalico.org/v3.14/manifests/calico.yaml 
# github地址: 
https://github.com/projectcalico/calico 
# 镜像下载: 
docker pull calico/cni:v3.14.2 
docker pull calico/pod2daemon-flexvol:v3.14.2 
docker pull calico/node:v3.14.2 
docker pull calico/kube-controllers:v3.14.2
# 配置hostname: 
hostnamectl set-hostname k8s-master01



需要这么多镜像


5.4.2 初始化集群信息:calico网络

kubeadm init --apiserver-advertise-address=192.168.198.156 --kubernetes- version v1.17.5 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.81.0.0/16

192.168.198.156 替换成你主节点的IP地址。

5.4.3 执行配置命令

mkdir -p $HOME/.kube 
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config 
sudo chown $(id -u):$(id -g) $HOME/.kube/config

5.4.4 node节点加入集群信息

kubeadm join 192.168.198.186:6443 --token kksfgq.b9bhf82y35ufw4np \ 
    --discovery-token-ca-cert-hash sha256:e1e347e6db1db5c13fcdc2c7d51a2f9029100a4cc13c2d89a2dbfa5077f5b07f

5.4.5 kubectl命令自动补全

echo "source <(kubectl completion bash)" >> ~/.bash_profile 
source ~/.bash_profile

5.4.6 测试 k8s 集群环境

kubectl get nodes



发现集群的节点都是 NotReady 的状态,这是因为你还没有应用 calico 网络的配置。

kubectl apply -f calico.yml



执行完后,发现整个 k8s 集群环境是正常的了,至此,k8s 集群搭建实战完成。



Java

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
打赏
0
6
2
0
96
分享
相关文章
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障,介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案:包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
ubuntu使用kubeadm搭建k8s集群
通过以上步骤,您可以在 Ubuntu 系统上使用 kubeadm 成功搭建一个 Kubernetes 集群。本文详细介绍了从环境准备、安装 Kubernetes 组件、初始化集群到管理和使用集群的完整过程,希望对您有所帮助。在实际应用中,您可以根据具体需求调整配置,进一步优化集群性能和安全性。
45 12
Kubernetes Ingress:灵活的集群外部网络访问的利器
《Kubernetes Ingress:集群外部访问的利器-打造灵活的集群网络》介绍了如何通过Ingress实现Kubernetes集群的外部访问。前提条件是已拥有Kubernetes集群并安装了kubectl工具。文章详细讲解了Ingress的基本组成(Ingress Controller和资源对象),选择合适的版本,以及具体的安装步骤,如下载配置文件、部署Nginx Ingress Controller等。此外,还提供了常见问题的解决方案,例如镜像下载失败的应对措施。最后,通过部署示例应用展示了Ingress的实际使用方法。
29 2
阿里云ACK备份中心,K8s集群业务应用数据的一站式灾备方案
本文源自2024云栖大会苏雅诗的演讲,探讨了K8s集群业务为何需要灾备及其重要性。文中强调了集群与业务高可用配置对稳定性的重要性,并指出人为误操作等风险,建议实施周期性和特定情况下的灾备措施。针对容器化业务,提出了灾备的新特性与需求,包括工作负载为核心、云资源信息的备份,以及有状态应用的数据保护。介绍了ACK推出的备份中心解决方案,支持命名空间、标签、资源类型等维度的备份,并具备存储卷数据保护功能,能够满足GitOps流程企业的特定需求。此外,还详细描述了备份中心的使用流程、控制台展示、灾备难点及解决方案等内容,展示了备份中心如何有效应对K8s集群资源和存储卷数据的灾备挑战。
Kubernetes集群的高可用性与伸缩性实践
Kubernetes集群的高可用性与伸缩性实践
81 1
ACK One应用分发上线:高效管理多集群应用
ACK One应用分发上线,主要介绍了新能力的使用场景
ACK One GitOps:ApplicationSet UI简化多集群GitOps应用管理
ACK One GitOps新发布了多集群应用控制台,支持管理Argo CD ApplicationSet,提升大规模应用和集群的多集群GitOps应用分发管理体验。
容器化技术:Docker与Kubernetes的实战应用
容器化技术:Docker与Kubernetes的实战应用
Kubernetes集群管理和服务部署实战
Kubernetes集群管理和服务部署实战
67 0
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群,包括一个主节点和两个工作节点。各节点运行CentOS 7系统,最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl,以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
236 4

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等