开发者社区 云原生 微服务 文章 正文

如何在K8S平台部署微服务

1999-12-31 3248
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生网关 MSE Higress，422元/月
注册配置 MSE Nacos/ZooKeeper，118元/月
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
简介：

本文将介绍如何使用 kubernetes 部署微服务，包括 服务发现，监控，路由，日志。用实际的例子来演示自动化流程。主要分为以下几个部分:

  1. 5分钟搭建 K8S 集群

  2. 部署 CNI 网络

  3. 部署监控服务

  4. 部署网关

  5. 部署日志服务

  6. 部署一个应用

5分钟搭建 K8S 集群

第一次完全手动搭建集群大约花了一周时间，主要的问题是在于

  1. K8S的组件多，每个程序的参数有不少，哪些是关键的参数需要花时间搞清楚。

  2. 万恶的墙，代理访问外网比较慢

  3. CNI网络问题，主要是 CNI 网段和云上的局域网网段冲突了，基础知识缺失导致

  4. K8S 的证书和验证方式不清楚

本文相关代码位于github, 欢迎star。

手动部署可以参考我之前的博文，即便是完全熟悉部署流程，不写脚本的情况下，如果纯手动 setup 或者 tear down 一个集群，都是比较耗时间的。直到发现了这个工具 kubeadm, 世界美好了。

这个工具对操作系统有限制， ubuntu 16.04 或 centos 7 以上。其实当初也看到了这个工具， 不过 因为系统限制，并且kubeadm还在alpha版本，又想手动撸一遍部署过程，所以没直接采用。 不过 kubeadm 不建议在生产环境中使用，在 官方文档中的 limitation 中有详细解释.

文档 中第一点就说了， kubeadm部署的是 single master，意味着不是高可用，谨慎使用。 但是作为演示实例再合适不过。

小插曲: 因为最近发布的 k8s 1.6 的 kubeadm 有一个bug，导致用以下步骤安装会有问题，为此社区里有人提了一个patch, 步骤有些多，我写在本文最后了。
kubeadm v1.6.1 已经修复了bug。

开始部署步骤:

  • 在 Digital Ocean 中开三台机器, centos 7，建议2C2G，按小时计费用不了多少钱，用完就销毁。 如果还没有注册账号，并且觉得本文对你有帮助，可以用我的 referral link 注册，可以得到 10美金, 链接. 发现一个更便宜的vps, vultr, 还是SSD

  • 登录三台机器，安装必要组件.

yum clean yum update -y cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://yum.kubernetes.io/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg EOF setenforce 0 yum install -y docker kubelet kubeadm kubectl kubernetes-cni systemctl enable docker && systemctl start docker systemctl enable kubelet && systemctl start kubelet 
# 补充几点 # 1. 因为1.6开始K8S开启了 RBAC 验证，需要在启动 kubelet 的参数中添加 --authentication-token-webhook vim vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 添加 --authentication-token-webhook 
# 2. 如果是 centos, 还需要添加 --cgroup-driver=systemd # 3. v1.6开始，apiserver禁用了 insecure-port, 需要拷贝 /var/kubernetes/ 下的 admin config, 作为验证配置.

  • 选择一台作为master, 运行

kubeadm init

# 输出
Your Kubernetes master has initialized successfully!

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
 http://kubernetes.io/docs/admin/addons/

You can now join any number of machines by running the following on each node:

kubeadm join --token=e344fa.e007ce406eb41f07 104.236.166.119
完成后会看到提示: `kubeadm join --token=311971.7260777a25d70ac8 104.236.166.119`

  1. 在其他两台机器上分别运行以上提示的命令

  2. 在 master 上查看状态, kubectl get nodes, 如果看到一共有2个node，一个master， 则表示集群创建成功。

部署CNI网络

kubeadm 自动部署了一个插件，就是 kube-dns, 用于服务发现，但是到这里你会发现 kube-dns 这个服务没有启动成功，因为我们还没有部署CNI网络。

kubectl get pods --all-namespaces | grep dns

这里有比较多的选择，我使用了 calico，因为性能比较好，支持一键部署。 这里有一篇对比容器网络的文章，优缺点介绍比较全面， Battlefield: Calico, Flannel, Weave and Docker Overlay Network

配置文件在cni目录下，或者可以直接在master运行：

# for v1.6.0
kubectl apply -f http://docs.projectcalico.org/v2.1/getting-started/kubernetes/installation/hosted/kubeadm/1.6/calico.yaml

再次查看 dns 服务是否运行成功吧。

# 按需安装 git 和 dig
yum install -y bind-utils git

监控

在部署之前，我们需要对两台node标记角色，k8s是通过label来自定义各个资源的类型的。
首先确定两台node的name, 通过 kubectl get nodes来查看，之后挑选其中一台作为前端机器(frontend).

kubectl label node centos-2gb-sfo1-03 role=frontend

这里把centos-2gb-sfo2-node1换成你的 node name

Prometheus

应用 monitor 目录下的两个配置文件，如下

kubectl create -f prometheus.config.yaml kubectl create -f prometheus.deploy.yaml

接下来打开 http://front-end-ip:30900 就能看到 prometheus 的界面

400b772f219c610a18bf876d81af0c3cc40b35f8

Grafana

kubectl create -f grafana.deploy.yaml

打开 http://front-end-ip:30200 就能看到 grafana 的界面.

  1. 还需要添加一个 Data Source. 选择 Promethues, 地址填上:
    http://promethues:9090, 因为有kube-dns，所以这样就能访问 pod 中的 service

    23dc8e96cf0db5b8d9277c95ad91eaaccc64cbdc

  2. 添加模板，内容为 grafana.config.k8s.json, 这个模板是针对 k8s 集群的仪表模板，添加时选择对应的 Data Source，然后就能看到效果。

    ed60801aacf9cd4a84ad378a8f4d1ac8076af3a3

网关

类似上面的步骤，配置文件在 gateway 目录下，运行

kubectl create -f traefik.yaml

这样在 http://front-end-ip:30088 能看到 网关的 dashboard。

traefik 可以监听 etcd 中注册的 ingress 的变化，根据 ingress 资源来自动配置路由， 下面会有具体的示例。最后的效果是， 后端服务的配置文件中定义他自己的 服务domain 和 prefix, traefik会自动添加这个路由, 这样就可以通过gateway来访问后端服务了。

日志收集

官方有推荐的Log系统: cAdvisor 和 Heapster.
我比较偏爱 ELK, 主要是生态比较好。有两种方式应用：

  1. 第一种是每个Pod都多加一个 sidecar - Filebeat， 在每个后端服务配置文件中指定本地log的路径(利用 k8s 的 emptyDir 这个volume)，在filebeat的配置中指定这个路径，实现日志收集

  2. 还有一种是Filebeat作为 DaemonSet 运行在每台机器,利用 k8s 的 hostPath 这个volume, 这样每台机器只有一个 filebeat 运行，监听一个指定目录；后端服务约定好log都写入这个目录的子目录中，这样也能达到收集效果。

我比较推荐第二种方式，工作量稍微小一些。

第一个服务

终于到了这个紧张刺激的环节。

源文件在 hello-app 目录下，一个简单的 http service, 主要包含两个路由:

  1. /metrics 返回 prometheus 抓取的数据格式

  2. / 其他Path，返回一个随机id和URI

log 日志输入 /tmp/hello-log/hello-app.log;

想要达到的效果是：

  1. 配置文件中配好路由，自动注册到 gateway

  2. promethues 自动发现服务，抓取 http://hello:8080/metrics 的监控数据

  3. 日志能够自动收集

app 的配置文件位于 hello-app 目录下, 运行：

kubectl create -f hello.yaml

接着去 gateway 和 prometheus 的 dashboard 看下，会发现服务已经被发现;

47cd8259d4412e883101298519bd9eee6c2fe4af

再测试一下通过gateway是否能访问到 hello-app 这个服务:

curl http://front-end-ip:30087/v1/hello -H 'Host: www.hello.local' #结果为： ID:5577006791947779410 path:/hello

编译安装 kubeadm

  1. 下载 kubernetes 项目， checkout v1.6.0, 必须是这个tag

  2. cherry-pick 89557110ed4693a7d23e515e738ced266e099365

  3. KUBE_BUILD_PLATFORMS=linux/amd64 hack/make-rules/build.sh cmd/kubeadm

  4. 把生成的 _output 文件打包，放入服务器上

  5. 按照本文第一部分的步骤 yum 安装 docker, kubelet

  6. 编辑文件 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 添加 参数--cgroup-driver=systemd

  7. sudo systemctl daemon-reload && sudo systemctl restart kubelet.service

  8. kubeadm init 能完成，但是 node 状态是 not-ready，因为 cni 没有配置.

  9. 复制 /etc/kubernetes/admin.conf 文件到 ~/.kube/config 然后 执行 kubectl get nodes才可以，因为新版的apiserver启动时，把 insecure-port 禁用了，8080端口不再可用.

Alpine Linux

这次还遇到一个问题， alpine的docker镜像使用不顺利，ubuntu, centos下编译的文件在 alpine 下无法运行， 记得之前还运行成功过，这次得仔细找找原因。

如何打包出最小镜像

静态编译

CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o hello hello-app/*.go

the -a flag means to rebuild all the packages we’re using, which means all the imports will be rebuilt with cgo disabled.
https://github.com/golang/go/...

建议使用 bash 作为 base image, 毕竟还有一些操作例如 mkdir, mv , cp 等需要执行。

如何查看 二进制文件 的 动态依赖?

# ldd hello linux-vdso.so.1 => (0x00007ffde7df8000) libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007ff931ae5000) libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007ff93171e000) /lib64/ld-linux-x86-64.so.2 (0x00005637b0ae4000) 

# readelf -d hello Dynamic section at offset 0x697100 contains 19 entries: Tag Type Name/Value 0x0000000000000004 (HASH) 0xa959e0 0x0000000000000006 (SYMTAB) 0xa95e60 0x000000000000000b (SYMENT) 24 (bytes) 0x0000000000000005 (STRTAB) 0xa95c40 0x000000000000000a (STRSZ) 518 (bytes) 0x0000000000000007 (RELA) 0xa95650 0x0000000000000008 (RELASZ) 24 (bytes) 0x0000000000000009 (RELAENT) 24 (bytes) 0x0000000000000003 (PLTGOT) 0xa97000 0x0000000000000015 (DEBUG) 0x0 0x0000000000000001 (NEEDED) Shared library: [libpthread.so.0] // 动态依赖库 0x0000000000000001 (NEEDED) Shared library: [libc.so.6] // 动态依赖库 0x000000006ffffffe (VERNEED) 0xa95960 0x000000006fffffff (VERNEEDNUM) 2 0x000000006ffffff0 (VERSYM) 0xa95920 0x0000000000000014 (PLTREL) RELA 0x0000000000000002 (PLTRELSZ) 648 (bytes) 0x0000000000000017 (JMPREL) 0xa95680 0x0000000000000000 (NULL) 0x0

Alpine 编译

alpine linux 使用 musl libc，而 ubuntu, centos 使用的是 glibc, 所以在 ubuntu,centos下编译的文件一般不能直接使用在 alpine 环境。

# export WORKDIR=/go/src/hello-app 
# docker run --rm -v $GOPATH/src:/go/src -v "$PWD":${WORKDIR} -w ${WORKDIR} golang:1.8-alpine go build -o hello-alpine hello-app/main.go

注意，编译的依赖package 被映射入了 /go/src 中; -w 表示 working directory.

本文转自中文社区-如何在K8S平台部署微服务

文章标签：
容器
Kubernetes
监控
Linux
Go
关键词：
容器服务Kubernetes版部署
平台微服务
容器服务Kubernetes版微服务
微服务部署
微服务k8s
店家小二
目录
相关文章
一缕微风绕指柔
|
15天前
|
Kubernetes 持续交付 Docker
利用 Docker 和 Kubernetes 实现微服务部署
【10月更文挑战第2天】利用 Docker 和 Kubernetes 实现微服务部署
一缕微风绕指柔
60 0
喜欢猪猪
|
13天前
|
消息中间件 缓存 Java
亿级流量电商平台微服务架构详解
【10月更文挑战第2天】构建一个能够处理亿级流量的电商平台微服务架构是一个庞大且复杂的任务，这通常涉及到多个微服务、数据库分库分表、缓存策略、消息队列、负载均衡、熔断降级、分布式事务等一系列高级技术和架构模式。
喜欢猪猪
50 3
shiningrise
|
18天前
|
Kubernetes Docker 微服务
微服务实践k8s&dapr开发部署实验（1）服务调用（一）
微服务实践k8s&dapr开发部署实验（1）服务调用（一）
shiningrise
43 2
shiningrise
|
18天前
|
Kubernetes Cloud Native 微服务
微服务实践之使用 kube-vip 搭建高可用 Kubernetes 集群
微服务实践之使用 kube-vip 搭建高可用 Kubernetes 集群
shiningrise
59 1
shiningrise
|
17天前
|
Kubernetes Docker 微服务
微服务实践k8s&dapr开发部署实验（1）服务调用（二）
微服务实践k8s&dapr开发部署实验（1）服务调用（二）
shiningrise
45 0
1176112968452250
|
1月前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
1176112968452250
45 1
1176112968452250
|
1月前
|
负载均衡 Java 应用服务中间件
微服务分布式系统架构之zookeeper与dubbor-1
微服务分布式系统架构之zookeeper与dubbor-1
1176112968452250
58 1
请看我回答~
|
2月前
|
Kubernetes Cloud Native Docker
云原生之旅：从容器到微服务的架构演变
【8月更文挑战第29天】在数字化时代的浪潮下，云原生技术以其灵活性、可扩展性和弹性管理成为企业数字化转型的关键。本文将通过浅显易懂的语言和生动的比喻，带领读者了解云原生的基本概念，探索容器化技术的奥秘，并深入微服务架构的世界。我们将一起见证代码如何转化为现实中的服务，实现快速迭代和高效部署。无论你是初学者还是有经验的开发者，这篇文章都会为你打开一扇通往云原生世界的大门。
请看我回答~
66 4
郑小健
|
2月前
|
负载均衡 应用服务中间件 持续交付
微服务架构下的Web服务器部署
【8月更文第28天】随着互联网应用的不断发展，传统的单体应用架构逐渐显露出其局限性，特别是在可扩展性和维护性方面。为了解决这些问题，微服务架构应运而生。微服务架构通过将应用程序分解成一系列小型、独立的服务来提高系统的灵活性和可维护性。本文将探讨如何在微服务架构中有效部署和管理Web服务器实例，并提供一些实际的代码示例。
郑小健
91 0
何雨晨
|
13天前
|
Kubernetes 安全 微服务
使用 Istio 缓解电信 5G IoT 微服务 Pod 架构的安全挑战
使用 Istio 缓解电信 5G IoT 微服务 Pod 架构的安全挑战
何雨晨
38 8
云原生

微服务

热门文章

最新文章

  • 1
    微服务架构的理论基础 - 康威定律
  • 2
    微服务（Microservice）那点事
  • 3
    微服务选择Spring Cloud还是Dubbo？
  • 4
    ASP.NET Core微服务之基于Consul实现服务治理（3）
  • 5
    2019年5月下旬最值得一读的9本技术书籍（微服务架构、算法、大数据等书籍）！
  • 6
    编码实现Spring Cloud微服务负载均衡调用（eureka、ribbon）
  • 7
    阿里巴巴微服务开源项目盘点（持续更新）
  • 8
    Java微服务开发指南 -- 使用Spring Boot构建微服务
  • 9
    微服务架构上云最佳实践
  • 10
    Spring Cloud Alibaba 新一代微服务解决方案
  • 1
    开发者如何使用微服务引擎MSE
    18
  • 2
    服务器磁盘爆满？别慌，教你轻松清理！
    8
  • 3
    JVM进阶调优系列(6)一文详解JVM参数与大厂实战调优模板推荐
    18
  • 4
    JVM进阶调优系列(5)CMS回收器通俗演义一文讲透FullGC
    19
  • 5
    免费的CMS系统有哪些？
    41
  • 6
    如何选择适合自己搭建网站的CMS？
    13
  • 7
    JVM进阶调优系列(4)年轻代和老年代采用什么GC算法回收?
    38
  • 8
    什么叫CMS？如何使用CMS来制作网站？
    34
  • 9
    阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 09 月产品动态
    32
  • 10
    哪个CMS更符合企业搭建网站的需求？
    17

    • 相关课程

    更多
  • 微服务实战-RocketMQ Binder
  • 微服务实战-服务熔断 - Sentinel
  • 微服务实战-服务注册中心 - Nacos
  • 微服务实战-分布式配置中心 - Config
  • 微服务实战-服务注册与发现 - Nacos Discovery
  • Spring Cloud微服务架构设计与开发实战

    • 相关电子书

    更多
  • 微服务治理技术白皮书
  • 微服务与Serverless
  • EDAS4.0 助力企业一站实现微服务架构转型与 K8s 容器化升级

    • 相关实验场景

    更多
  • 在SAE控制台极速部署个人LLM效能工具
  • 容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
  • 使用ACK Serverless容器化部署大语言模型FastChat
  • 基于云原生网关MSE-Higress插件实现WAF防护能力
  • 通过EDAS实现K8s微服务应用的金丝雀发布
  • 容器DevSecOps全链路体验

    • 推荐镜像

    更多
  • kubernetes
  • pouch
  • docker-ce
    • 下一篇
    AI助理直击要害，从繁复中提炼精华——使用CDN加速访问OSS存储的图片