AI 助理
备案控制台
开发者社区 云原生 微服务 文章 正文

如何在K8S平台部署微服务

1999-12-31 3268
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生网关 MSE Higress，422元/月
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper，118元/月
简介：

本文将介绍如何使用 kubernetes 部署微服务，包括 服务发现，监控，路由，日志。用实际的例子来演示自动化流程。主要分为以下几个部分:

  1. 5分钟搭建 K8S 集群

  2. 部署 CNI 网络

  3. 部署监控服务

  4. 部署网关

  5. 部署日志服务

  6. 部署一个应用

5分钟搭建 K8S 集群

第一次完全手动搭建集群大约花了一周时间，主要的问题是在于

  1. K8S的组件多，每个程序的参数有不少，哪些是关键的参数需要花时间搞清楚。

  2. 万恶的墙，代理访问外网比较慢

  3. CNI网络问题，主要是 CNI 网段和云上的局域网网段冲突了，基础知识缺失导致

  4. K8S 的证书和验证方式不清楚

本文相关代码位于github, 欢迎star。

手动部署可以参考我之前的博文，即便是完全熟悉部署流程，不写脚本的情况下，如果纯手动 setup 或者 tear down 一个集群，都是比较耗时间的。直到发现了这个工具 kubeadm, 世界美好了。

这个工具对操作系统有限制， ubuntu 16.04 或 centos 7 以上。其实当初也看到了这个工具， 不过 因为系统限制，并且kubeadm还在alpha版本，又想手动撸一遍部署过程，所以没直接采用。 不过 kubeadm 不建议在生产环境中使用，在 官方文档中的 limitation 中有详细解释.

文档 中第一点就说了， kubeadm部署的是 single master，意味着不是高可用，谨慎使用。 但是作为演示实例再合适不过。

小插曲: 因为最近发布的 k8s 1.6 的 kubeadm 有一个bug，导致用以下步骤安装会有问题，为此社区里有人提了一个patch, 步骤有些多，我写在本文最后了。
kubeadm v1.6.1 已经修复了bug。

开始部署步骤:

  • 在 Digital Ocean 中开三台机器, centos 7，建议2C2G，按小时计费用不了多少钱，用完就销毁。 如果还没有注册账号，并且觉得本文对你有帮助，可以用我的 referral link 注册，可以得到 10美金, 链接. 发现一个更便宜的vps, vultr, 还是SSD

  • 登录三台机器，安装必要组件.

yum clean yum update -y cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://yum.kubernetes.io/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg EOF setenforce 0 yum install -y docker kubelet kubeadm kubectl kubernetes-cni systemctl enable docker && systemctl start docker systemctl enable kubelet && systemctl start kubelet 
# 补充几点 # 1. 因为1.6开始K8S开启了 RBAC 验证，需要在启动 kubelet 的参数中添加 --authentication-token-webhook vim vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 添加 --authentication-token-webhook 
# 2. 如果是 centos, 还需要添加 --cgroup-driver=systemd # 3. v1.6开始，apiserver禁用了 insecure-port, 需要拷贝 /var/kubernetes/ 下的 admin config, 作为验证配置.

  • 选择一台作为master, 运行

kubeadm init

# 输出
Your Kubernetes master has initialized successfully!

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
 http://kubernetes.io/docs/admin/addons/

You can now join any number of machines by running the following on each node:

kubeadm join --token=e344fa.e007ce406eb41f07 104.236.166.119
完成后会看到提示: `kubeadm join --token=311971.7260777a25d70ac8 104.236.166.119`

  1. 在其他两台机器上分别运行以上提示的命令

  2. 在 master 上查看状态, kubectl get nodes, 如果看到一共有2个node，一个master， 则表示集群创建成功。

部署CNI网络

kubeadm 自动部署了一个插件，就是 kube-dns, 用于服务发现，但是到这里你会发现 kube-dns 这个服务没有启动成功，因为我们还没有部署CNI网络。

kubectl get pods --all-namespaces | grep dns

这里有比较多的选择，我使用了 calico，因为性能比较好，支持一键部署。 这里有一篇对比容器网络的文章，优缺点介绍比较全面， Battlefield: Calico, Flannel, Weave and Docker Overlay Network

配置文件在cni目录下，或者可以直接在master运行：

# for v1.6.0
kubectl apply -f http://docs.projectcalico.org/v2.1/getting-started/kubernetes/installation/hosted/kubeadm/1.6/calico.yaml

再次查看 dns 服务是否运行成功吧。

# 按需安装 git 和 dig
yum install -y bind-utils git

监控

在部署之前，我们需要对两台node标记角色，k8s是通过label来自定义各个资源的类型的。
首先确定两台node的name, 通过 kubectl get nodes来查看，之后挑选其中一台作为前端机器(frontend).

kubectl label node centos-2gb-sfo1-03 role=frontend

这里把centos-2gb-sfo2-node1换成你的 node name

Prometheus

应用 monitor 目录下的两个配置文件，如下

kubectl create -f prometheus.config.yaml kubectl create -f prometheus.deploy.yaml

接下来打开 http://front-end-ip:30900 就能看到 prometheus 的界面

400b772f219c610a18bf876d81af0c3cc40b35f8

Grafana

kubectl create -f grafana.deploy.yaml

打开 http://front-end-ip:30200 就能看到 grafana 的界面.

  1. 还需要添加一个 Data Source. 选择 Promethues, 地址填上:
    http://promethues:9090, 因为有kube-dns，所以这样就能访问 pod 中的 service

    23dc8e96cf0db5b8d9277c95ad91eaaccc64cbdc

  2. 添加模板，内容为 grafana.config.k8s.json, 这个模板是针对 k8s 集群的仪表模板，添加时选择对应的 Data Source，然后就能看到效果。

    ed60801aacf9cd4a84ad378a8f4d1ac8076af3a3

网关

类似上面的步骤，配置文件在 gateway 目录下，运行

kubectl create -f traefik.yaml

这样在 http://front-end-ip:30088 能看到 网关的 dashboard。

traefik 可以监听 etcd 中注册的 ingress 的变化，根据 ingress 资源来自动配置路由， 下面会有具体的示例。最后的效果是， 后端服务的配置文件中定义他自己的 服务domain 和 prefix, traefik会自动添加这个路由, 这样就可以通过gateway来访问后端服务了。

日志收集

官方有推荐的Log系统: cAdvisor 和 Heapster.
我比较偏爱 ELK, 主要是生态比较好。有两种方式应用：

  1. 第一种是每个Pod都多加一个 sidecar - Filebeat， 在每个后端服务配置文件中指定本地log的路径(利用 k8s 的 emptyDir 这个volume)，在filebeat的配置中指定这个路径，实现日志收集

  2. 还有一种是Filebeat作为 DaemonSet 运行在每台机器,利用 k8s 的 hostPath 这个volume, 这样每台机器只有一个 filebeat 运行，监听一个指定目录；后端服务约定好log都写入这个目录的子目录中，这样也能达到收集效果。

我比较推荐第二种方式，工作量稍微小一些。

第一个服务

终于到了这个紧张刺激的环节。

源文件在 hello-app 目录下，一个简单的 http service, 主要包含两个路由:

  1. /metrics 返回 prometheus 抓取的数据格式

  2. / 其他Path，返回一个随机id和URI

log 日志输入 /tmp/hello-log/hello-app.log;

想要达到的效果是：

  1. 配置文件中配好路由，自动注册到 gateway

  2. promethues 自动发现服务，抓取 http://hello:8080/metrics 的监控数据

  3. 日志能够自动收集

app 的配置文件位于 hello-app 目录下, 运行：

kubectl create -f hello.yaml

接着去 gateway 和 prometheus 的 dashboard 看下，会发现服务已经被发现;

47cd8259d4412e883101298519bd9eee6c2fe4af

再测试一下通过gateway是否能访问到 hello-app 这个服务:

curl http://front-end-ip:30087/v1/hello -H 'Host: www.hello.local' #结果为： ID:5577006791947779410 path:/hello

编译安装 kubeadm

  1. 下载 kubernetes 项目， checkout v1.6.0, 必须是这个tag

  2. cherry-pick 89557110ed4693a7d23e515e738ced266e099365

  3. KUBE_BUILD_PLATFORMS=linux/amd64 hack/make-rules/build.sh cmd/kubeadm

  4. 把生成的 _output 文件打包，放入服务器上

  5. 按照本文第一部分的步骤 yum 安装 docker, kubelet

  6. 编辑文件 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 添加 参数--cgroup-driver=systemd

  7. sudo systemctl daemon-reload && sudo systemctl restart kubelet.service

  8. kubeadm init 能完成，但是 node 状态是 not-ready，因为 cni 没有配置.

  9. 复制 /etc/kubernetes/admin.conf 文件到 ~/.kube/config 然后 执行 kubectl get nodes才可以，因为新版的apiserver启动时，把 insecure-port 禁用了，8080端口不再可用.

Alpine Linux

这次还遇到一个问题， alpine的docker镜像使用不顺利，ubuntu, centos下编译的文件在 alpine 下无法运行， 记得之前还运行成功过，这次得仔细找找原因。

如何打包出最小镜像

静态编译

CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o hello hello-app/*.go

the -a flag means to rebuild all the packages we’re using, which means all the imports will be rebuilt with cgo disabled.
https://github.com/golang/go/...

建议使用 bash 作为 base image, 毕竟还有一些操作例如 mkdir, mv , cp 等需要执行。

如何查看 二进制文件 的 动态依赖?

# ldd hello linux-vdso.so.1 => (0x00007ffde7df8000) libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007ff931ae5000) libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007ff93171e000) /lib64/ld-linux-x86-64.so.2 (0x00005637b0ae4000) 

# readelf -d hello Dynamic section at offset 0x697100 contains 19 entries: Tag Type Name/Value 0x0000000000000004 (HASH) 0xa959e0 0x0000000000000006 (SYMTAB) 0xa95e60 0x000000000000000b (SYMENT) 24 (bytes) 0x0000000000000005 (STRTAB) 0xa95c40 0x000000000000000a (STRSZ) 518 (bytes) 0x0000000000000007 (RELA) 0xa95650 0x0000000000000008 (RELASZ) 24 (bytes) 0x0000000000000009 (RELAENT) 24 (bytes) 0x0000000000000003 (PLTGOT) 0xa97000 0x0000000000000015 (DEBUG) 0x0 0x0000000000000001 (NEEDED) Shared library: [libpthread.so.0] // 动态依赖库 0x0000000000000001 (NEEDED) Shared library: [libc.so.6] // 动态依赖库 0x000000006ffffffe (VERNEED) 0xa95960 0x000000006fffffff (VERNEEDNUM) 2 0x000000006ffffff0 (VERSYM) 0xa95920 0x0000000000000014 (PLTREL) RELA 0x0000000000000002 (PLTRELSZ) 648 (bytes) 0x0000000000000017 (JMPREL) 0xa95680 0x0000000000000000 (NULL) 0x0

Alpine 编译

alpine linux 使用 musl libc，而 ubuntu, centos 使用的是 glibc, 所以在 ubuntu,centos下编译的文件一般不能直接使用在 alpine 环境。

# export WORKDIR=/go/src/hello-app 
# docker run --rm -v $GOPATH/src:/go/src -v "$PWD":${WORKDIR} -w ${WORKDIR} golang:1.8-alpine go build -o hello-alpine hello-app/main.go

注意，编译的依赖package 被映射入了 /go/src 中; -w 表示 working directory.

本文转自中文社区-如何在K8S平台部署微服务

文章标签：
容器
Kubernetes
监控
Linux
Go
关键词：
容器服务Kubernetes版微服务
微服务部署
容器服务Kubernetes版部署
容器服务Kubernetes版平台
平台微服务
店家小二
目录
相关文章
程序员成长之路
|
7天前
|
运维 Kubernetes Docker
利用Docker和Kubernetes构建微服务架构
利用Docker和Kubernetes构建微服务架构
程序员成长之路
30 1
光明顶阳顶天
|
5天前
|
监控 持续交付 Docker
Docker 容器化部署在微服务架构中的应用有哪些？
Docker 容器化部署在微服务架构中的应用有哪些？
光明顶阳顶天
20 2
光明顶阳顶天
|
5天前
|
监控 持续交付 Docker
Docker容器化部署在微服务架构中的应用
Docker容器化部署在微服务架构中的应用
光明顶阳顶天
22 3
光明顶阳顶天
|
5天前
|
安全 持续交付 Docker
微服务架构和 Docker 容器化部署的优点是什么？
微服务架构和 Docker 容器化部署的优点是什么？
光明顶阳顶天
27 2
叫个什么名字
|
6天前
|
存储 监控 Docker
探索微服务架构下的容器化部署
本文旨在深入探讨微服务架构下容器化部署的关键技术与实践，通过分析Docker容器技术如何促进微服务的灵活部署和高效管理，揭示其在现代软件开发中的重要性。文章将重点讨论容器化技术的优势、面临的挑战以及最佳实践策略，为读者提供一套完整的理论与实践相结合的指导方案。
叫个什么名字
24 3
Java时光
|
7天前
|
Docker 微服务 容器
使用Docker Compose实现微服务架构的快速部署
使用Docker Compose实现微服务架构的快速部署
Java时光
17 1
土木林森
|
13天前
|
JavaScript 持续交付 Docker
解锁新技能：Docker容器化部署在微服务架构中的应用
【10月更文挑战第29天】在数字化转型中，微服务架构因灵活性和可扩展性成为企业首选。Docker容器化技术为微服务的部署和管理带来革命性变化。本文探讨Docker在微服务架构中的应用，包括隔离性、可移植性、扩展性、版本控制等方面，并提供代码示例。
土木林森
51 1
众所周知
|
21天前
|
Kubernetes 负载均衡 Docker
构建高效微服务架构：Docker与Kubernetes的完美搭档
本文介绍了Docker和Kubernetes在构建高效微服务架构中的应用，涵盖基本概念、在微服务架构中的作用及其实现方法。通过具体实例，如用户服务、商品服务和订单服务，展示了如何利用Docker和Kubernetes实现服务的打包、部署、扩展及管理，确保微服务架构的稳定性和可靠性。
众所周知
74 7
阿里云基础设施.
|
17天前
|
存储 运维 Kubernetes
云端迁移：备份中心助力企业跨云迁移K8s容器服务平台
本文将简要介绍阿里云容器服务ACK的备份中心，并以某科技公司在其实际的迁移过程中遇到具体挑战为例，阐述如何有效地利用备份中心来助力企业的容器服务平台迁移项目。
阿里云基础设施.
36 3
土木林森
|
17天前
|
Kubernetes 关系型数据库 MySQL
Kubernetes入门：搭建高可用微服务架构
【10月更文挑战第25天】在快速发展的云计算时代，微服务架构因其灵活性和可扩展性备受青睐。本文通过一个案例分析，展示了如何使用Kubernetes将传统Java Web应用迁移到Kubernetes平台并改造成微服务架构。通过定义Kubernetes服务、创建MySQL的Deployment/RC、改造Web应用以及部署Web应用，最终实现了高可用的微服务架构。Kubernetes不仅提供了服务发现和负载均衡的能力，还通过各种资源管理工具，提升了系统的可扩展性和容错性。
土木林森
51 3
云原生

微服务

热门文章

最新文章

  • 1
    初识SpringCloud（2）集群/分布式/微服务/SOA的相关概念
  • 2
    第二篇：SpringCloud 构建微服务系统之服务注册和发现（nacos）
  • 3
    如何用ACM简化你的Spring Cloud微服务环境配置管理
  • 4
    基于dubbo和zookeeper的微服务实现案例
  • 5
    微服务架构下的开发部署
  • 6
    SpringCloud Finchley 实战入门（基于springBoot 2.0.3）【八 config 微服务配置中心】
  • 7
    带你读《微服务架构设计模式》之二：服务的拆分策略
  • 8
    使用Docker 实现微服务并搭建博客，一文全掌握
  • 9
    微服务架构最强讲解，那叫一个通俗易懂！
  • 10
    大疆无人机对接
  • 1
    JVM进阶调优系列(9)大厂面试官:内存溢出几种？能否现场演示一下？| 面试就那点事
    40
  • 2
    热联集团：从 APISIX 迁移到云原生网关
    41
  • 3
    阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 10 月产品动态
    25
  • 4
    java.util的Collections类
    37
  • 5
    JVM进阶调优系列(8)如何手把手，逐行教她看懂GC日志？| IT男的专属浪漫
    63
  • 6
    无障碍工具条本地化安装部署
    35
  • 7
    服务器磁盘爆满？别慌，教你轻松清理！
    88
  • 8
    JVM进阶调优系列(6)一文详解JVM参数与大厂实战调优模板推荐
    96
  • 9
    JVM进阶调优系列(5)CMS回收器通俗演义一文讲透FullGC
    52
  • 10
    免费的CMS系统有哪些？
    151

    • 相关课程

    更多
  • 阿里云K8S微服务部署案例
  • Kubernetes极速入门
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • Kubernetes云原生管理实践
  • Kubernetes入门

    • 相关电子书

    更多
  • ACK 云原生弹性方案—云原生时代的加速器
  • ACK集群类型选择最佳实践
  • 企业运维之云原生和Kubernetes 实战

    • 相关实验场景

    更多
  • 使用 Jenkins 创建微服务应用的持续集成
  • 基于 IntelliJ IDEA 插件部署微服务应用
  • 容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
  • 基于MSE实现微服务的全链路灰度
  • SAE极速部署弹性微服务商城

    • 推荐镜像

    更多
  • kubernetes
  • CloudFoundry
  • pouch
    • 下一篇
    阿里云OSS设置跨域访问