通过kubeadm安装kubernetes 1.7文档记录[docker容器方式]

2017-07-24 3358

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

容器镜像服务 ACR，镜像仓库100个不限时长

简介： 参照了网上N多文档，不一一列表，共享精神永存！！！！ ================================================== 获取所有安装包安装包分为两类，rpm安装包和docker镜像 rpm安装包 rpm为以下四个 kubeadm-1.

参照了网上N多文档，不一一列表，共享精神永存！！！！

==================================================

获取所有安装包

安装包分为两类，rpm安装包和docker镜像

rpm安装包

rpm为以下四个

kubeadm-1.7.0-0.x86_64.rpm
kubectl-1.7.0-0.x86_64.rpm
kubelet-1.7.0-0.x86_64.rpm
kubernetes-cni-0.5.1-0.x86_64.rpm

A, 从github上clone以下项目：

https://github.com/kubernetes/release

B，进入rpm目录，执行docker-build.sh脚本，会在output目录下生成那4个rpm安装包。

*如果只生成amd-64的包，修改一下脚本，把其它几个构架的去掉。

*这些安装包的生成，需要fedora:24镜像，最好提前准备。

核心docker镜像

A，下载kubernetes 1.7.0 release软件包kubernetes-server-linux-amd64.tar.gz

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG.md

B，解压kubernetes-server-linux-amd64.tar.gz文件，在server/bin目录下，以下几个文件为kubernetes的核心docker镜像:

kube-apiserver.tar

kube-controller-manager.tar

kube-scheduler.tar

kube-proxy.tar

kube-aggregator.tar

将这些镜像导入harbor仓库便以后备用。

*因为k8s的官方镜像都放在google上，不FQ一般不能直接下载，附录会写一个如何结合github,dockerhub,daocloud来获取指定镜像的办法。

扩展docker镜像

扩展的docker镜像，涉及etcd,flannel,traefik,nginx,tomcat等，后面结合场景写清楚。

所有节点初始化

主要是确认服务器的各项系统指标满足安装kubernetes的要求。

*RedHat发行版本为: 7.3 (Maipo)

*Linux内核版本为：3.10.0-514.el7.x86_64

docker安装

这个安装我们没有涉及，原本已安装好，版本为17.05.0-ce, build 89658be

注意新增/etc/systemd/system/docker.service.d/docker.conf文件:

[Service]
ExecStart=
ExecStart=/usr/bin/dockerd  --graph=/dockerVolume  --storage-driver=overlay --insecure-registry habor-ip-address

它改写了docker的存储目录，且定义了harbor仓库地址。

禁用selinux

确认/usr/sbin/sestatus命令输出为：disabled

禁用ipv6

确认以下两条命令均无显示

lsmod | grep -i ipv6

ifconfig | grep -i inet6

开启路由转发

echo 1 > /proc/sys/net/ipv4/ip_forward

echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables

Iptables清空及禁用

iptables -X

iptables -Z

iptables -P INPUT ACCEPT

iptables -F

*默认禁用，通过硬防来控制规则。

主节点安装

上传rpm文件

将所有涉及的rpm包上传到服务器的一个安装目录(e.g：/root/k8s/)

上传docker镜像

将前节提到的docker images上传到harbor仓库(harbor-ip-address)

运行初始化前脚本

生成并运行以下脚本，进行master初始化前安装。(k8s-master-setup_before.sh)

#!/bin/bash


HARBORPRE="1.2.3.4/kubernets/"
DOCKERS=(
    ${HARBORPRE}/gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.4 
    ${HARBORPRE}/gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.4 
    ${HARBORPRE}/gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.4   
    ${HARBORPRE}/gcr.io/google_containers/pause-amd64:3.0  
    ${HARBORPRE}/quay.io/coreos/flannel-amd64:v0.8.0
    ${HARBORPRE}/gcr.io/google_containers/etcd-amd64:3.0.17 
    ${HARBORPRE}/gcr.io/google_containers/kube-proxy-amd64:v1.7.0  
    ${HARBORPRE}/gcr.io/google_containers/kube-apiserver-amd64:v1.7.0 
    ${HARBORPRE}/gcr.io/google_containers/kube-controller-manager-amd64:v1.7.0  
    ${HARBORPRE}/gcr.io/google_containers/kube-scheduler-amd64:v1.7.0 
    ${HARBORPRE}/gcr.io/google_containers/kubernetes-dashboard-amd64:v1.6.1
)


#登陆harbor，拉取镜像，更改名称
docker  login -u USER -p PASSWORD http://1.2.3.4
echo '====docker login====='

for DOCKER in ${DOCKERS[@]}; do
    docker pull ${DOCKER}
    docker tag ${DOCKER} ${DOCKER/${HARBORPRE}/}
    docker rmi ${DOCKER}
done

echo '====docker pull image and change tag====='
#安装rpm包
rpm -ivh ./*.rpm --nodeps --force

echo '====kubelet, kubeadm, kubectl install====='
# 有的脚本读取执行文件路径不一样
\cp -f  /usr/bin/kube* /usr/local/bin/

echo '====cp exe file from /usr/bin to /usr/local/bin====='
#将docker文件驱动从systemd更改为cgroupfs，安装不对，会报错
sed -i 's/systemd/cgroupfs/g' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

echo '====change kubeadm file from systemd to cgroupfs====='

systemctl daemon-reload

echo '====daemon-reload====='
#启动kubelet服务
systemctl start kubelet.service

echo '====start kubelet====='
#以防万一，初始化kubeadm并清除以前安装可能留下的痕迹
kubeadm reset

ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/


iptables -X
iptables -Z
iptables -P INPUT ACCEPT
iptables -F



echo '====kubeadm reset====='
echo '====kube master setup finished====='

初始化kubernetes集群

kubeadm init --apiserver-advertise-address=k8s-master-ip-address  --pod-network-cidr=10.244.0.0/16 --kubernetes-version=v1.7.0

*一定要指定version,k8s才不会去网上拉docker，指定pod的cidr，因为后面我们是用flannel作vxlan网络支撑.

*一般等待1分钟左右，初始化即可完成。如有问题，可及时查看/var/log/message进行排错。

运行初始化后脚本

生成并运行以下脚本，进行master初始化后安装。(k8s-master-setup_after.sh)

*以下几个文件都是github里的标准文件

#!/bin/bash

mkdir -p $HOME/.kube
\cp -f /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

kubectl apply -f ./kube-flannel-rbac.yaml
kubectl apply -f ./kube-flannel.yaml
kubectl apply -f ./kube-dashboard-rbac.yaml
kubectl apply -f ./kube-dashboard.yaml

确认安装

运行kubectl get命令，确认所有pod及svc状态正常.

kubectl get pods --all-namespaces

kubectl get svc --all-namespaces

从节点安装

上传rpm文件

将所有涉及的rpm包上传到服务器的一个安装目录(e.g：/root/k8s/)

运行从节点前置脚本

生成并运行以下脚本，进行从节点加入前安装。(k8s-node-setup.sh)

#!/bin/bash


HARBORPRE="1.2.3.4/kubernets/"
DOCKERS=(
    ${HARBORPRE}/gcr.io/google_containers/pause-amd64:3.0  
    ${HARBORPRE}/quay.io/coreos/flannel-amd64:v0.8.0
    ${HARBORPRE}/gcr.io/google_containers/kube-proxy-amd64:v1.7.0  

)


#登陆harbor，拉取镜像，更改名称
docker  login -u USER -p PASSWORD http://1.2.3.4
echo '====docker login====='

for DOCKER in ${DOCKERS[@]}; do
    docker pull ${DOCKER}
    docker tag ${DOCKER} ${DOCKER/${HARBORPRE}/}
    docker rmi ${DOCKER}
done

echo '====docker pull image and change tag====='
#安装rpm包
rpm -ivh ./*.rpm --nodeps --force

echo '====kubelet, kubeadm, kubectl install====='
# 有的脚本读取执行文件路径不一样
\cp -f  /usr/bin/kube* /usr/local/bin/

echo '====cp exe file from /usr/bin to /usr/local/bin====='
#将docker文件驱动从systemd更改为cgroupfs，安装不对，会报错
sed -i 's/systemd/cgroupfs/g' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

echo '====change kubeadm file from systemd to cgroupfs====='

systemctl daemon-reload

echo '====daemon-reload====='
#启动kubelet服务
systemctl start kubelet.service

echo '====start kubelet====='
#以防万一，初始化kubeadm并清除以前安装可能留下的痕迹
kubeadm reset

ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/


iptables -X
iptables -Z
iptables -P INPUT ACCEPT
iptables -F



echo '====kubeadm reset====='
echo '====kube master setup finished====='

从节点加入

kubeadm join --token TOKEN MASTER-IP-ADDRESS:6443

*这个token可通过在主节点上运行kubeadm token list获得

从节点加入确认

在主节点上运行kubectl get nodes(从节点上也可以运行，但要先获取认证文件)

扩展功能安装

基于traefik的ingress功能安装

A，下载traefik最新版本(略)

B，写traefik-ds.yaml配置文件

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: traefik-ingress-lb
  namespace: kube-system
  labels:
    k8s-app: traefik-ingress-lb
spec:
  template:
    metadata:
      labels:
        k8s-app: traefik-ingress-lb
        name: traefik-ingress-lb
    spec:
      terminationGracePeriodSeconds: 60
      hostNetwork: true
      restartPolicy: Always
      containers:
      - image: traefik:latest
        imagePullPolicy: IfNotPresent
        name: traefik-ingress-lb
        resources:
          limits:
            cpu: 200m
            memory: 30Mi
          requests:
            cpu: 100m
            memory: 20Mi
        ports:
        - name: http
          containerPort: 80
          hostPort: 80
        - name: admin
          containerPort: 8580
        args:
        - --web
        - --web.address=:8580
        - --kubernetes

C，写traefik-ing.yaml配置文件

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik-ingress
  namespace: kube-system
spec:
  rules:
  - host: cb.exmaple.com
    http:
      paths:
      - path: /
        backend:
          serviceName: tomcat-dm
          servicePort: 8087
  - host: cn.example.cn
    http:
      paths:
      - path: /
        backend:
          serviceName: nginx-dm
          servicePort: 8088

D，应用这两个配置文件

Kubectl apply –f traefik-ds.yaml

Kubectl apply –f traefik- ing.yaml

通过kubeadm安装kubernetes 1.7文档记录[docker容器方式]

获取所有安装包

rpm安装包

核心docker镜像

扩展docker镜像

所有节点初始化

docker安装

禁用selinux

禁用ipv6

开启路由转发

Iptables清空及禁用

主节点安装

上传rpm文件

上传docker镜像

运行初始化前脚本

初始化kubernetes集群

运行初始化后脚本

确认安装

从节点安装

上传rpm文件

运行从节点前置脚本

从节点加入

从节点加入确认

扩展功能安装

基于traefik的ingress功能安装

附录

如何曲线获取google上的docker镜像

Kubernetes大版本与各个组件版本的对应关系

Not end

容器服务

热门文章

最新文章

相关产品

相关课程

相关电子书

相关实验场景

推荐镜像