AI 助理
文档备案控制台
开发者社区 云原生 文章 正文

利用K8S技术栈打造个人私有云（连载之：K8S集群搭建）

2018-02-01 6511
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

iPhone 5S

最近被业务折腾的死去活来，实在没时间发帖，花了好多个晚上才写好这篇帖子，后续会加油的！

【利用K8S技术栈打造个人私有云系列文章目录】

环境介绍

玩集群嘛，当然要搞几台机器做节点！无赖自己并没有性能很强劲的多余机器，在家里翻箱倒柜，找出了几台破旧的本子，试试看吧，与其垫桌脚不如拿出来遛遛弯...

总体环境安排如下图所示：

集群总体架构布局

各部分简介如下：

Master节点 ( 一台08年买的Hedy笔记本 Centos7.3 64bit )

HEDY

  • docker
  • etcd
  • flannel
  • kube-apiserver
  • kube-scheduler
  • kube-controller-manager

Slave节点 ( 一台二手Thinkpad T420s Centos7.3 64bit )

Thinkpad T420s

  • docker
  • flannel
  • kubelet
  • kube-proxy

Client节点（ 一台12年的Sony Vaio SVS13 Win7 Ultimate）

  • 客户端嘛，毕竟甲方，不需要安装啥东西，有个ssh客户端能连到master和slave节点就OK

Docker镜像仓库

  • 一般企业内部应用的话，其会搭建自己的docker registry，用作镜像仓库，我这里就直接用Docker Gub作为镜像仓库，自己不搭建了（其实主要是没机子啊！）

Wireless Router （雷猴子家的小米路由器3）

  • 最好能穿墙，因为我家路由器放在客厅，但我实验是在卧室里做的啊！

各部分全部都是由wifi进行互联，我个人不太喜欢一大堆线绕来绕去

环境准备

  1. 先设置master节点和所有slave节点的主机名

master上执行：

hostnamectl --static set-hostname  k8s-master

slave上执行：

hostnamectl --static set-hostname  k8s-node-1
  1. 修改master和slave上的hosts

在master和slave的/etc/hosts文件中均加入以下内容：

192.168.31.166   k8s-master
192.168.31.166   etcd
192.168.31.166   registry
192.168.31.199   k8s-node-1
  1. 关闭master和slave上的防火墙
systemctl disable firewalld.service
systemctl stop firewalld.service

部署Master节点

master节点需要安装以下组件：

  • etcd
  • flannel
  • docker
  • kubernets

下面按顺序阐述

1. etcd安装

  • 安装命令：yum install etcd -y
  • 编辑etcd的默认配置文件/etc/etcd/etcd.conf
# [member]
ETCD_NAME=master
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
#ETCD_WAL_DIR=""
#ETCD_SNAPSHOT_COUNT="10000"
#ETCD_HEARTBEAT_INTERVAL="100"
#ETCD_ELECTION_TIMEOUT="1000"
#ETCD_LISTEN_PEER_URLS="http://localhost:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"
#ETCD_MAX_SNAPSHOTS="5"
#ETCD_MAX_WALS="5"
#ETCD_CORS=""
#
#[cluster]
#ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"
# if you use different ETCD_NAME (e.g. test), set ETCD_INITIAL_CLUSTER value for this name, i.e. "test=http://..."
#ETCD_INITIAL_CLUSTER="default=http://localhost:2380"
#ETCD_INITIAL_CLUSTER_STATE="new"
#ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="http://etcd:2379,http://etcd:4001"
#ETCD_DISCOVERY=""
#ETCD_DISCOVERY_SRV=""
#ETCD_DISCOVERY_FALLBACK="proxy"
#ETCD_DISCOVERY_PROXY=""
#ETCD_STRICT_RECONFIG_CHECK="false"
#ETCD_AUTO_COMPACTION_RETENTION="0"
#ETCD_ENABLE_V2="true"
#
#[proxy]
#ETCD_PROXY="off"
#ETCD_PROXY_FAILURE_WAIT="5000"
#ETCD_PROXY_REFRESH_INTERVAL="30000"
#ETCD_PROXY_DIAL_TIMEOUT="1000"
#ETCD_PROXY_WRITE_TIMEOUT="5000"
#ETCD_PROXY_READ_TIMEOUT="0"
#
#[security]
#ETCD_CERT_FILE=""
#ETCD_KEY_FILE=""
#ETCD_CLIENT_CERT_AUTH="false"
#ETCD_TRUSTED_CA_FILE=""
#ETCD_AUTO_TLS="false"
#ETCD_PEER_CERT_FILE=""
#ETCD_PEER_KEY_FILE=""
#ETCD_PEER_CLIENT_CERT_AUTH="false"
#ETCD_PEER_TRUSTED_CA_FILE=""
#ETCD_PEER_AUTO_TLS="false"
#
#[logging]
#ETCD_DEBUG="false"
# examples for -log-package-levels etcdserver=WARNING,security=DEBUG
#ETCD_LOG_PACKAGE_LEVELS=""
#
#[profiling]
#ETCD_ENABLE_PPROF="false"
#ETCD_METRICS="basic"
#
#[auth]
#ETCD_AUTH_TOKEN="simple"
  • 启动etcd并验证

首先启动etcd服务

systemctl start etcd // 启动etcd服务

再获取etcd的健康指标看看：

etcdctl -C http://etcd:2379 cluster-health
etcdctl -C http://etcd:4001 cluster-health

查看etcd集群健康度

2. flannel安装

  • 安装命令：yum install flannel
  • 配置flannel：/etc/sysconfig/flanneld
# Flanneld configuration options  

# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="http://etcd:2379"

# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/atomic.io/network"

# Any additional options that you want to pass
#FLANNEL_OPTIONS=""
  • 配置etcd中关于flannel的key
etcdctl mk /atomic.io/network/config '{ "Network": "10.0.0.0/16" }'

image.png

  • 启动flannel并设置开机自启
systemctl start flanneld.service
systemctl enable flanneld.service

3. docker安装

该部分网上教程太多了，主要步骤如下

  • 安装命令：yum install docker -y
  • 开启docker服务：service docker start
  • 设置docker开启自启动：chkconfig docker on

4. kubernets安装

k8s的安装命令很简单，执行：

yum install kubernetes

但k8s需要配置的东西比较多，正如第一节“环境介绍”中提及的，毕竟master上需要运行以下组件：

  • kube-apiserver
  • kube-scheduler
  • kube-controller-manager

下面详细阐述：

  • 配置/etc/kubernetes/apiserver文件
###
# kubernetes system config
#
# The following values are used to configure the kube-apiserver
#

# The address on the local server to listen to.
KUBE_API_ADDRESS="--address=0.0.0.0"

# The port on the local server to listen on.
KUBE_API_PORT="--port=8080"

# Port minions listen on
KUBELET_PORT="--kubelet-port=10250"

# Comma separated list of nodes in the etcd cluster
KUBE_ETCD_SERVERS="--etcd-servers=http://etcd:2379"

# Address range to use for services
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"

# default admission control policies
# KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"

# Add your own!
KUBE_API_ARGS=""
  • 配置/etc/kubernetes/config文件
###
# kubernetes system config
#
# The following values are used to configure various aspects of all
# kubernetes services, including
#
#   kube-apiserver.service
#   kube-controller-manager.service
#   kube-scheduler.service
#   kubelet.service
#   kube-proxy.service
# logging to stderr means we get it in the systemd journal
KUBE_LOGTOSTDERR="--logtostderr=true"

# journal message level, 0 is debug
KUBE_LOG_LEVEL="--v=0"

# Should this cluster be allowed to run privileged docker containers
KUBE_ALLOW_PRIV="--allow-privileged=false"

# How the controller-manager, scheduler, and proxy find the apiserver
KUBE_MASTER="--master=http://k8s-master:8080"
  • 启动k8s各个组件
systemctl start kube-apiserver.service
systemctl start kube-controller-manager.service
systemctl start kube-scheduler.service
  • 设置k8s各组件开机启动
systemctl enable kube-apiserver.service
systemctl enable kube-controller-manager.service
systemctl enable kube-scheduler.service

部署Slave节点

slave节点需要安装以下组件：

  • flannel
  • docker
  • kubernetes

下面按顺序阐述：

1. flannel安装

  • 安装命令：yum install flannel
  • 配置flannel：/etc/sysconfig/flanneld
# Flanneld configuration options  

# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="http://etcd:2379"

# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/atomic.io/network"

# Any additional options that you want to pass
#FLANNEL_OPTIONS=""
  • 启动flannel并设置开机自启
systemctl start flanneld.service
systemctl enable flanneld.service

2. docker安装

参考前文master节点上部署docker过程，此处不再赘述

3. kubernetes安装

安装命令：yum install kubernetes

不同于master节点，slave节点上需要运行kubernetes的如下组件：

  • kubelet
  • kubernets-proxy

下面详细阐述要配置的东西：

  • 配置/etc/kubernetes/config
###
# kubernetes system config
#
# The following values are used to configure various aspects of all
# kubernetes services, including
#
#   kube-apiserver.service
#   kube-controller-manager.service
#   kube-scheduler.service
#   kubelet.service
#   kube-proxy.service
# logging to stderr means we get it in the systemd journal
KUBE_LOGTOSTDERR="--logtostderr=true"

# journal message level, 0 is debug
KUBE_LOG_LEVEL="--v=0"

# Should this cluster be allowed to run privileged docker containers
KUBE_ALLOW_PRIV="--allow-privileged=false"

# How the controller-manager, scheduler, and proxy find the apiserver
KUBE_MASTER="--master=http://k8s-master:8080"
  • 配置/etc/kubernetes/kubelet
###
# kubernetes kubelet (minion) config

# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)
KUBELET_ADDRESS="--address=0.0.0.0"

# The port for the info server to serve on
# KUBELET_PORT="--port=10250"

# You may leave this blank to use the actual hostname
KUBELET_HOSTNAME="--hostname-override=k8s-node-1"

# location of the api-server
KUBELET_API_SERVER="--api-servers=http://k8s-master:8080"

# pod infrastructure container
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"

# Add your own!
KUBELET_ARGS=""
  • 启动kube服务
systemctl start kubelet.service
systemctl start kube-proxy.service
  • 设置k8s组件开机自启
systemctl enable kubelet.service
systemctl enable kube-proxy.service

至此为止，k8s集群的搭建过程就完成了，下面来验证一下集群是否搭建成功了

验证集群状态

  • 查看端点信息：kubectl get endpoints

image.png

  • 查看集群信息：kubectl cluster-info

集群信息

  • 获取集群中的节点状态： kubectl get nodes

获取集群中的节点状态

OK，节点已经就绪，可以在上面做实验了！

参考文献

文章标签：
容器服务Kubernetes版
容器
Kubernetes
Docker
关键词：
容器服务Kubernetes版集群
容器服务Kubernetes版k8s集群
容器服务Kubernetes版集群搭建
容器服务Kubernetes版私有云
容器服务Kubernetes版技术栈私有云
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
codesheep
目录
相关文章
八进智
|
6月前
|
人工智能 算法 调度
阿里云ACK托管集群Pro版共享GPU调度操作指南
本文介绍在阿里云ACK托管集群Pro版中，如何通过共享GPU调度实现显存与算力的精细化分配，涵盖前提条件、使用限制、节点池配置及任务部署全流程，提升GPU资源利用率，适用于AI训练与推理场景。
八进智
544 1
探索云世界
|
6月前
|
弹性计算 监控 调度
ACK One 注册集群云端节点池升级：IDC 集群一键接入云端 GPU 算力，接入效率提升 80%
ACK One注册集群节点池实现“一键接入”，免去手动编写脚本与GPU驱动安装，支持自动扩缩容与多场景调度，大幅提升K8s集群管理效率。
探索云世界
364 89
容器小师妹
|
11月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型：ACK One 多集群应用分发
ACK One 的多集群应用分发，可以最小成本地结合您已有的单集群 CD 系统，无需对原先应用资源 YAML 进行修改，即可快速构建成多集群的 CD 系统，并同时获得强大的多集群资源调度和分发的能力。
容器小师妹
715 9
阿里云云原生
|
11月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型：ACK One 多集群应用分发
本文介绍如何利用阿里云的分布式云容器平台ACK One的多集群应用分发功能，结合云效CD能力，快速将单集群CD系统升级为多集群CD系统。通过增加分发策略（PropagationPolicy）和差异化策略（OverridePolicy），并修改单集群kubeconfig为舰队kubeconfig，可实现无损改造。该方案具备多地域多集群智能资源调度、重调度及故障迁移等能力，帮助用户提升业务效率与可靠性。
阿里云云原生
425 8
蓝易云
|
存储 Kubernetes 监控
K8s集群实战：使用kubeadm和kuboard部署Kubernetes集群
总之，使用kubeadm和kuboard部署K8s集群就像回归童年一样，简单又有趣。不要忘记，技术是为人服务的，用K8s集群操控云端资源，我们不过是想在复杂的世界找寻简单。尽管部署过程可能遇到困难，但朝着简化复杂的目标，我们就能找到意义和乐趣。希望你也能利用这些工具，找到你的乐趣，满足你的需求。
蓝易云
1088 33
蓝易云
|
Kubernetes 开发者 Docker
集群部署：使用Rancher部署Kubernetes集群。
以上就是使用 Rancher 部署 Kubernetes 集群的流程。使用 Rancher 和 Kubernetes，开发者可以受益于灵活性和可扩展性，允许他们在多种环境中运行多种应用，同时利用自动化工具使工作负载更加高效。
蓝易云
681 19
阿里云基础设施.
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费：ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度，可以帮助您在不影响集群中正在运行的在线业务的前提下，打破资源边界，根据各集群实际剩余资源来进行调度，最大化您多集群中闲置资源的利用率。
阿里云基础设施.
547 26
阿里云基础设施.
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障，介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案：包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
阿里云基础设施.
912 60
技术小达人
|
Prometheus Kubernetes 监控
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
技术小达人
505 0
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
阿里云基础设施.
|
缓存 容灾 网络协议
ACK One多集群网关：实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统，以及异地容灾系统。
阿里云基础设施.
484 19

热门文章

最新文章

  • 1
    SpringCloud 应用在 Kubernetes 上的最佳实践 — 高可用（容量评估）
  • 2
    阿里云Kubernetes容器服务 - 快速部署虚拟节点virtual-nodes
  • 3
    K8S Ingress Controller 健康检查原理剖析
  • 4
    K8s 应用管理之道 - 有状态服务
  • 5
    从Kubernetes到Serverless
  • 6
    K8S与Vault集成，进行Secret管理
  • 7
    【K8S系列】深入解析DNS
  • 8
    上篇：一文了解K8S的ConfigMap
  • 9
    Sentry(v20.12.1) K8S 云原生架构探索，SENTRY FOR JAVASCRIPT 故障排除
  • 10
    AHPA：开启 Kubernetes 弹性预测之门
  • 1
    【kubernetes】关于k8s集群的污点、容忍、驱逐以及k8s集群故障排查思路
    1836
  • 2
    k8s群集调度之 pod亲和 node亲和 标签指定
    985
  • 3
    kubeadm 工具实验 k8s一键安装
    502
  • 4
    k8s 二进制安装 优化架构之 部署负载均衡，加入master02
    389
  • 5
    k8s 二进制安装 详细安装步骤（二）
    977
  • 6
    k8s 网络组件详细 介绍
    1265
  • 7
    k8s 数据流向 与 核心概念详细介绍
    562
  • 8
    k8s 理论知识基本介绍
    1296
  • 9
    Aspire项目发布到win11本地k8s集群
    512
  • 10
    构建高效云原生应用：Kubernetes与微服务架构的融合
    223

    • 相关课程

    更多
  • 如何使用Kubernetes监控定位慢调用
  • 使用Kubernetes监控发现资源使用，流量分布不均匀的问题
  • 如何发现Kubernetes中服务和工作负载的异常
  • 企业级运维之云原生与Kubernetes实战课程
  • 阿里云 EMR on ACK 实战
  • 阿里云K8S微服务部署案例

    • 相关电子书

    更多
  • ACK集群类型选择最佳实践
  • 容器服务重磅升级，打造高效安全、智能无界新平台
  • 《拥抱容器存储，使用阿里云容器服务 ACK +文件存储 NAS 构建现代化企业应用》

    • 推荐镜像

    更多
  • kubernetes
    • 下一篇
    PHP：将本地文件上传到阿里云OSS存储