kubernetes kubelet 配置

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: kubernetes kubelet 配置

kubernetes kubelet 配置

tags: kubelet

文章目录

kubernetes kubelet 配置

1. 背景

2. 配置模式

2.1 kubeadm 配置 kubelet

2.1.1 使用时的工作流程kubeadm init

2.1.2 使用时的工作流程kubeadm join

2.2 systemd 配置 kubelet drop-in 文件

3. 配置注意

1. 背景

kubeadm CLI 工具的生命周期与 kubelet 解耦, kubelet是运行在 Kubernetes 集群内每个节点上的守护进程。kubeadm CLI 工具由用户在 Kubernetes 初始化或升级时执行,而 kubelet 始终在后台运行。


由于 kubelet 是一个守护进程,它需要由某种 init 系统或服务管理器来维护。当使用 DEB 或 RPM 安装 kubelet 时,systemd 被配置为管理 kubelet。您可以改用其他服务管理器,但需要手动配置。


一些 kubelet 配置细节需要在集群中涉及的所有 kubelet 中相同,而其他配置方面需要基于每个 kubelet 进行设置,以适应给定机器的不同特征(例如操作系统、存储和网络) . 您可以手动管理 kubelet 的配置,但 kubeadm 现在提供了一种Kubelet ConfigurationAPI 类型来 集中管理您的 kubelet 配置

2. 配置模式

2.1 kubeadm 配置 kubelet

将集群级别的配置传播到每个 kubelet

您可以为 kubelet 提供kubeadm init和kubeadm join 命令使用的默认值。有趣的示例包括使用不同的容器运行时或设置服务使用的默认子网。


如果您希望您的服务使用子网10.96.0.0/12作为服务的默认子网,您可以将--service-cidr参数传递给 kubeadm:

kubeadm init --service-cidr 10.96.0.0/12

现在从该子网分配服务的虚拟 IP。您还需要使用标志设置 kubelet 使用的 DNS 地址--cluster-dns。对于集群中每个管理器和节点上的每个 kubelet,此设置需要相同。kubelet 提供了一个版本化、结构化的 API 对象,可以在 kubelet 中配置大部分参数,并将此配置推送到集群中每个正在运行的 kubelet。这个对象被称为 Kubelet Configuration。允许用户指定标志,Kubelet Configuration例如集群 DNS IP 地址,以骆驼大小写键的值列表表示,如下例所示:

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
clusterDNS:
- 10.96.0.10

通过调用kubeadm config print init-defaults --component-configs KubeletConfiguration,您可以看到此结构的所有默认值。

2.1.1 使用时的工作流程kubeadm init

当您调用kubeadm init时,kubelet 配置会被编组到磁盘/var/lib/kubelet/config.yaml,同时也会上传到 集群命名空间中的ConfigMap名字为kubelet-config 。 集群中所有 kubelet 的基线集群范围配置kube-system也会写入 kubelet 配置文件/etc/kubernetes/kubelet.conf此配置文件指向允许 kubelet 与 API 服务器通信的客户端证书。这解决了 将集群级配置传播到每个 kubelet的需要。


为了解决 提供特定于实例的配置详细信息的第二种模式,kubeadm 将环境文件写入到/var/lib/kubelet/kubeadm-flags.env,其中包含一个标志列表,以便在 kubelet 启动时传递给它。标志在文件中显示如下:

KUBELET_KUBEADM_ARGS="--flag1=value1 --flag2=value2 ..."

除了启动 kubelet 时使用的标志外,该文件还包含动态参数,例如 cgroup 驱动程序以及是否使用不同的容器运行时套接字(–cri-socket)。

将这两个文件编组到磁盘后,如果您使用的是 systemd,kubeadm 会尝试运行以下两个命令:

systemctl daemon-reload && systemctl restart kubelet

如果重新加载和重新启动成功,则kubeadm init继续正常的工作流程。

2.1.2 使用时的工作流程kubeadm join

当你运行时kubeadm join,kubeadm 使用 Bootstrap Token 凭证来执行 TLS 引导,它会获取下载 kubelet-configConfigMap 所需的凭证并将其写入/var/lib/kubelet/config.yaml. 动态环境文件的生成方式与kubeadm init.接下来,kubeadm运行以下两条命令将新配置加载到 kubelet 中:

systemctl daemon-reload && systemctl restart kubelet

kubelet 加载新配置后,kubeadm 写入 KubeConfig 文件/etc/kubernetes/bootstrap-kubelet.conf,其中包含 CA 证书和 Bootstrap Token。kubelet 使用这些来执行 TLS Bootstrap 并获得一个唯一的凭证,该凭证存储在/etc/kubernetes/kubelet.conf.


当/etc/kubernetes/kubelet.conf文件被写入时,kubelet 已经完成了 TLS Bootstrap。Kubeadm在完成 TLS Bootstrap 后删除该文件/etc/kubernetes/bootstrap-kubelet.conf。


/etc/kubernetes/kubelet.conf内容示例:

在这里插入代码片[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generate at runtime, populating
the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably,
# the user should use the .NodeRegistration.KubeletExtraArgs object in the configuration files instead.
# KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/default/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

此文件为 kubelet 的 kubeadm 管理的所有文件指定默认位置。


用于 TLS Bootstrap 的 KubeConfig 文件是/etc/kubernetes/bootstrap-kubelet.conf,但仅在/etc/kubernetes/kubelet.conf不存在时使用。

具有唯一 kubelet 身份的 KubeConfig 文件是/etc/kubernetes/kubelet.conf.

包含 kubelet 的 Component Config 的文件是/var/lib/kubelet/config.yaml.

包含的动态环境文件KUBELET_KUBEADM_ARGS来自/var/lib/kubelet/kubeadm-flags.env.

可以包含用户指定的标志覆盖的文件KUBELET_EXTRA_ARGS来自 /etc/default/kubelet(对于 DEB)或/etc/sysconfig/kubelet(对于 RPM)。KUBELET_EXTRA_ARGS 在标志链中是最后一个,并且在设置冲突的情况下具有最高优先级。

2.2 systemd 配置 kubelet drop-in 文件

kubeadm附带有关 systemd 应如何运行 kubelet 的配置。请注意,kubeadm CLI 命令永远不会触及这个插入文件。


这个由kubeadm DEB或 RPM 包安装的配置文件被写入 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 并被 systemd 使用。它增强了 kubelet.service RPM或 kubelet.service DEB的基础:

3. 配置注意

由于硬件、操作系统、网络或其他主机特定参数的差异,一些主机需要特定的 kubelet 配置:


由 kubelet 配置标志指定的 DNS 解析文件的路径--resolv-conf可能因操作系统而异,或者取决于您是否使用 systemd-resolved. 如果此路径错误,则 kubelet 配置错误的 Node 上的 DNS 解析将失败。


Node API 对象.metadata.name默认设置为机器的主机名,除非您使用云提供商。--hostname-override如果您需要指定与机器主机名不同的节点名称,您可以使用该标志来覆盖默认行为。


目前,kubelet 无法自动检测容器运行时使用的 cgroup 驱动,但 的值--cgroup-driver必须与容器运行时使用的 cgroup 驱动相匹配,以保证 kubelet 的健康。


--container-runtime-endpoint=<path>要指定容器运行时,您必须使用标志设置其端点 。


您可以通过在服务管理器中配置单个 kubelet 的配置来指定这些标志,例如 systemd。


参考:


Configuring each kubelet in your cluster using kubeadm


相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
2月前
|
JSON Kubernetes API
深入理解Kubernetes配置:编写高效的YAML文件
深入理解Kubernetes配置:编写高效的YAML文件
|
7天前
|
Kubernetes 监控 Java
如何在Kubernetes中配置镜像和容器的定期垃圾回收
如何在Kubernetes中配置镜像和容器的定期垃圾回收
|
1月前
|
Kubernetes 安全 Cloud Native
云上攻防-云原生篇&K8s安全-Kubelet未授权访问、API Server未授权访问
本文介绍了云原生环境下Kubernetes集群的安全问题及攻击方法。首先概述了云环境下的新型攻击路径,如通过虚拟机攻击云管理平台、容器逃逸控制宿主机等。接着详细解释了Kubernetes集群架构,并列举了常见组件的默认端口及其安全隐患。文章通过具体案例演示了API Server 8080和6443端口未授权访问的攻击过程,以及Kubelet 10250端口未授权访问的利用方法,展示了如何通过这些漏洞实现权限提升和横向渗透。
146 0
云上攻防-云原生篇&K8s安全-Kubelet未授权访问、API Server未授权访问
|
3月前
|
Kubernetes Go 网络安全
Kubernetes 中使用consul-template渲染配置
Kubernetes 中使用consul-template渲染配置
58 1
Kubernetes 中使用consul-template渲染配置
|
3月前
|
Kubernetes 监控 API
在K8S中,什么是 Minikube、Kubectl、Kubelet?
在K8S中,什么是 Minikube、Kubectl、Kubelet?
|
3月前
|
Kubernetes 网络性能优化 调度
在K8S中,Kubernets资源限制是如何配置的,是否根据Qos?
在K8S中,Kubernets资源限制是如何配置的,是否根据Qos?
|
3月前
|
Kubernetes 调度 Perl
在K8S中,Pod多副本配置了硬亲和性,会调度到同⼀个节点上吗?
在K8S中,Pod多副本配置了硬亲和性,会调度到同⼀个节点上吗?
|
3月前
|
存储 Kubernetes Linux
Kubernetes 的配置资源 ConfigMap(01部分)
Kubernetes 的配置资源 ConfigMap(01部分)
|
4月前
|
Kubernetes 应用服务中间件 调度
云上应用管理问题之如何在Kubernetes集群中配置跨可用区的Pod调度
云上应用管理问题之如何在Kubernetes集群中配置跨可用区的Pod调度
|
3月前
|
Kubernetes API Docker
在K8S中,如何查看kubelet组件的日志?
在K8S中,如何查看kubelet组件的日志?