给Kubernetes集群下的容器配置内核参数

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 本文指导如何给kubernetes中的容器配置内核参数

问题

在Kubernetes集群下运行的容器的内核参数是默认的,但是对于某型类型的应用如Nginx Ingress controller而言,默认的内核参数配置是不够的,需要做出调整,例如somaxconn是限制了接收新 TCP 连接侦听队列的大小,它的默认值是128,但是对于反向代理的服务器而言,这个配置实在是太小了。那么我们自然想到需要去调整这个应用的容器的内核配置参数。

解决之道

Docker Daemon的处理方式

对于Docker引擎而言,可是使用--sysctl 运行参数来设定需要更改的内核参数,例如:

docker run -it --sysctl net.core.somaxconn=65535  busybox
#在容器看看是否配置成功:
cat /proc/sys/net/core/somaxconn 

然后我可以看看容器的详情:

image

可以看到,Docker引擎对容器进行了相关的配置,而无需使用特权模式来设置内核参数

Kubernetes的处理之道

在Kubernetes里,Kubernetes可以利用Docker引擎的这个--sysctl的能力,也可以利用privilege init container的方式。目前sysctls的能力还依然在alpha阶段,选择时需要注意。

Kubernetes Sysctls

具体可以参考:Using Sysctls in a Kubernetes Cluster

实践过程如下:

  • 需要在kubelet启动参数上配置对应的开关 --experimental-allowed-unsafe-sysctls。例如在阿里云的kubernetes服务,可以在node节点,修改/etc/systemd/system/kubelet.service.d/10-kubeadm.conf,增加对应的配置并重新加载新的配置systemctl daemon-reload,然后重启kubelet。如下是允许配置和net相关的内核参数:

image

Kubernetes允许配置的内核参数如下:

kernel.shm*,
kernel.msg*,
kernel.sem,
fs.mqueue.*,
net.*.
  • 启动Pod的时候设置对应的annotation,申明需要修改的内核参数,以启动一个nginx为测试例子
apiVersion: v1
kind: Pod
metadata:
  name: test-sysctl
  annotations:
    security.alpha.kubernetes.io/unsafe-sysctls: net.core.somaxconn=65535
spec:
  containers:
  - image: nginx
    name: nginx
    ports:
    - containerPort: 80
      protocol: TCP
  nodeSelector:
    kubernetes.io/hostname: cn-shenzhen.i-xxxxx      

注意:对于需要变更内核参数的应用,建议部署到特定的机器上。为了方便,我是使用了node selector。

如果对应的机器的kubelet没有打开这个对应的开关,那么pod是部署不成功的。 我们可以通过kubectl get event来看看对应的日志:

Snip20180626_68

那么这个方式背后的原理是什么呢?其实就是docker的--sysctl,我们可以登录到pod对应的node节点去docker inspect看看。但是奇怪的是,docker inspect看不到任何sysctl的迹象,是不是那里有误?

其实不是的,因为真正执行sysctl是kubernetes的pause container也叫做infra container,我们找到对应的这个容器,再docker inspect看看:

Snip20180626_71

这个时候,我们发现,这个pause容器配置了sysctls。

Kubernetes Init Container

Init container的用法可以参考:Init Containers

使用init container的好处是,无需去改变kubelet的配置,但是需要给这个init container配置成privilege的权限。

以下是一个启动Pod的例子:

apiVersion: v1
kind: Pod
metadata:
  name: test-sysctl-init
  namespace: default
spec:
  containers:
  - image: nginx
    imagePullPolicy: Always
    name: nginx
    ports:
    - containerPort: 80
      protocol: TCP
  initContainers:
  - image: busybox
    command:
    - sh
    - -c
    - echo 10000 > /proc/sys/net/core/somaxconn
    imagePullPolicy: Always
    name: setsysctl
    securityContext:
      privileged: true

至于选择那种方式,可以自行选择。不过后续需要关注kubernetes关于sysctls的演进。

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
1月前
|
缓存 Kubernetes Docker
容器服务ACK常见问题之容器服务ACK ingress websocket配置失败如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
1月前
|
Prometheus Kubernetes 监控
容器服务ACK常见问题之pod设置securityContext调整参数失败如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
1月前
|
Java 测试技术 开发工具
ApplicationArguments读取应用程序参数并注入到IOC容器
ApplicationArguments读取应用程序参数并注入到IOC容器
ApplicationArguments读取应用程序参数并注入到IOC容器
|
12天前
|
JSON Kubernetes Go
无缝集成:在IntelliJ IDEA中利用Kubernetes插件轻松管理容器化应用
无缝集成:在IntelliJ IDEA中利用Kubernetes插件轻松管理容器化应用
24 0
无缝集成:在IntelliJ IDEA中利用Kubernetes插件轻松管理容器化应用
|
26天前
|
Kubernetes API 调度
总结归纳Kubernetes | 一站式速查知识,助您轻松驾驭容器编排技术(水平扩展控制)
总结归纳Kubernetes | 一站式速查知识,助您轻松驾驭容器编排技术(水平扩展控制)
54 0
|
1月前
|
Kubernetes SDN 微服务
微服务与 Kubernetes 容器云的边界
【2月更文挑战第30天】该文探讨了微服务与Kubernetes集群的关系,主要关注是否应跨多集群部署。理想的状况是每个微服务对应一个Kubernetes集群,配置和注册中心在同一集群内,以减少网络延迟。
|
1月前
|
Kubernetes 监控 Linux
容器服务ACK常见问题之新增一台CentOS 5.4内核的节点失败如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
1月前
|
域名解析 Kubernetes Linux
Kubernetes 外部 HTTP 请求到达 Pod 容器的全过程
Kubernetes 外部 HTTP 请求到达 Pod 容器的全过程
39 4
|
6天前
|
存储 运维 监控
构建高效稳定的Docker容器监控体系
【4月更文挑战第18天】 在现代微服务架构中,Docker容器已成为部署和运行应用的标准环境。随之而来的挑战是如何有效监控这些容器的性能与健康状况,确保系统的稳定性和可靠性。本文将探讨构建一个高效稳定的Docker容器监控体系的关键技术和方法,包括日志管理、性能指标收集以及异常检测机制,旨在为运维人员提供实用的指导和建议。
12 0
|
15天前
|
Linux Docker 容器
docker 容器常用命令
docker 容器常用命令
13 0

相关产品

  • 容器服务Kubernetes版
  • 推荐镜像

    更多