开发者社区> 初商> 正文

开源 | 在 Kubernetes 中使用 SOFABoot 的 Readiness Check 能力

简介: SOFABoot 是蚂蚁金服中间件团队开源的基于 Spring Boot 的一个开发框架,其在 Spring Boot 的健康检查的基础上,加上了 Readiness Check 的能力,以更好地适应大规模金融级的服务化场景,防止在应用启动有问题的情况下让外部流量进入应用。
+关注继续查看

原创声明:本文系作者原创,谢绝个人、媒体、公众号或网站未经授权转载,违者追究其法律责任。


SOFABoot 是蚂蚁金服中间件团队开源的基于 Spring Boot 的一个开发框架,其在 Spring Boot 的健康检查的基础上,加上了 Readiness Check 的能力,以更好地适应大规模金融级的服务化场景,防止在应用启动有问题的情况下让外部流量进入应用。在本文中,我们将通过 Kubernetes 来演示 SOFABoot 的 Readiness Check 的能力,主要涉及到两个部分的能力的演示:

SOFABoot 的 Readiness Check 失败之后,SOFABoot 不会将发布的 RPC 服务的地址注册到 ZooKeeper 上面,防止 RPC 的流量进入。

Kubernetes 通过 http://localhost:8080/health/readiness 访问到 SOFABoot 的 Readiness 检查的结果之后,不会将 Pod 挂到对应的 Service 之上,防止 Kubernetes 上的流量进入。

准备一个 Kubernetes 的环境
为了演示在 Kubernetes 中使用 SOFABoot 的 Readiness Check 的能力,首先需要准备好一个 Kubernetes 的环境,在这个例子中,我们直接选择在本机安装一个 minikube,minikube 是 Kubernetes 为了方便研发人员在自己的研发机器上尝试 Kubernetes 而准备的一个工具,对于学习 Kubernetes 的使用非常方便。关于如何在本机安装 minikube,大家参考这个官方的安装教程即可。

安装完成以后,大家可以直接终端中使用 minikube start来启动 minikube。

需要注意的是,由于国内网络环境的问题,直接用 minikube start 可能会无法启动 minikube,如果遇到无法启动 minikube 的问题,可以尝试加上代理的设置,大家可以参考以下的命令来设置代理服务器的地址:

minikube start --docker-env HTTP_PROXY=http://xxx.xxx.xxx.xxx:6152 --docker-env HTTPS_PROXY=http://xxx.xxx.xxx.xxx:6152

在 Kubernetes 上安装一个 ZooKeeper
在准备好了 Kubernetes 的环境之后,我们接下来需要在 Kubernetes 上安装一个 ZooKeeper 作为 SOFARPC 的服务自动发现的组件。首先我们需要有一个 ZooKeeper 的 Deployment:

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: zookeeper-deployment  
  labels:
    app: zookeeper
spec:
  replicas: 1
  selector:
    matchLabels:
      app: zookeeper  
  template:
    metadata:
      labels:
        app: zookeeper    
    spec:  
      containers:
        - name: zookeeper          
          image: zookeeper          
          imagePullPolicy: IfNotPresent       
          ports:
            - containerPort: 2181

这个 Deployment 会部署一个 ZooKeeper 的实例,并且将 2181 端口暴露出来。

有了这个 YAML 文件之后,我们再部署一个 Service 来作为 ZooKeeper 的负载均衡,这样我们在应用中就可以直接通过域名来访问,而不用 IP 来访问 ZooKeeper 了。这个 Service 的 Yaml 文件如下:

apiVersion: v1
kind: Service
metadata:
  name: zookeeper-service
spec:
  selector:
    app: zookeeper
  ports:
  - protocol: TCP
    port: 2181
    targetPort: 2181

这个 Service 直接将 2181 端口映射到 ZooKeeper 的 2181 端口上,这样,我们就可以在应用中直接通过 zookeeper-service:2181 来访问了。

准备一个 SOFABoot 的应用
在前面的两步都 OK 之后,我们需要准备好一个 SOFABoot 的应用,并且在这个应用中发布一个 SOFARPC 的服务。首先,我们需要从 start.spring.io 上生成一个工程,例如 GroupId 设置为 com.alipay.sofa,ArtifactId 设置为 rpcserver。

生成好了之后,接下来,我们需要把 SOFABoot 的依赖加上,将 pom.xml 中的 parent 修改成:

<parent>
    <groupId>com.alipay.sofa</groupId>
    <artifactId>sofaboot-dependencies</artifactId>
    <version>2.3.1</version>
</parent>

然后,增加一个 SOFARPC 的 Starter 的依赖:

<dependency>
    <groupId>com.alipay.sofa</groupId>
    <artifactId>rpc-sofa-boot-starter</artifactId>
</dependency>

接着,在 application.properties 里面加上我们的配置,包括应用名和 ZooKeeper 的地址:

# Application Name
spring.application.name=SOFABoot Demo
# ZooKeeper 的地址
com.alipay.sofa.rpc.registry.address=zookeeper://127.0.0.1:2181

上面的事情准备好之后,我们可以在应用中发布一个服务,首先,我们需要分别声明好一个接口和一个实现:

package com.alipay.sofa.rpcserver;
public interface SampleService {
    String hello();
}
package com.alipay.sofa.rpcserver;
public class SampleServiceImpl implements SampleService {
    @Override
    public String hello() {
        return "Hello";
    }
}

接下来,将这个接口和实现发布成一个 SOFARPC 的服务,我们可以新建一个 src/main/resources/spring/rpc-server.xml 的文件:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:sofa="http://sofastack.io/schema/sofaboot"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
 
 http://www.springframework.org/schema/beans/spring-beans.xsd
 http://sofastack.io/schema/sofaboot 
 http://sofastack.io/schema/sofaboot.xsd">
 <bean class="com.alipay.sofa.rpcserver.SampleServiceImpl" id="sampleService"/>
    <sofa:service ref="sampleService" interface="com.alipay.sofa.rpcserver.SampleService">
        <sofa:binding.bolt/>
    </sofa:service>
</beans>

需要注意的是,通过 XML 定义好上面的服务之后,我们还需要在 Main 函数所在的类里面增加一个 @Import,将 XML Import 进去:

package com.alipay.sofa.rpcserver;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.ImportResource;

@SpringBootApplication@ImportResource("classpath*:spring/*.xml")
public class RpcServerApplication {
    public static void main(String[] args) {
        SpringApplication.run(RpcServerApplication.class, args);
    }
}

然后,为了演示 Readiness Check 的能力,我们还需要增加一个 HealthIndicator 来控制 Readiness Check 的结果:

package com.alipay.sofa.rpcserver;
import org.springframework.boot.actuate.health.Health;
import org.springframework.boot.actuate.health.HealthIndicator;
import org.springframework.stereotype.Component;

@Component
public class SampleHealthIndicator implements HealthIndicator {
    @Override
    public Health health() {
        return Health.up().build();
    }
}

这里,我们首先直接返回成功,先演示 Readiness Check 成功的场景。

将应用部署到 Kubernetes 里面
在前面的步骤完成之后,应用的代码都已经准备好了,现在可以准备将应用部署到 Kubernetes 里面。首先,需要将应用打包成一个 Docker 镜像,需要注意的是,为了让 Kubernetes 能够找到这个 Docker 镜像,在打包镜像之前,要先将 Docker 环境切成 Minikube 的环境,运行以下的命令即可:
`
eval $(minikube docker-env)
`
然后准备一个 Dockerfile:

FROM openjdk:8-jdk-alpine
ARG JAR_FILE
ADD ${JAR_FILE} app.jar
ENTRYPOINT [ "java", "-jar", "/app.jar"]

最后,运行如下的命令来进行打包:

docker build --build-arg JAR_FILE=./target/rpcserver-0.0.1-SNAPSHOT.jar . -t rpc-server-up

其中 JAR_FILE 参数 SOFABoot 应用程序的 JAR 包路径。镜像打包出来后,我们就可以准备一个 YAML 来部署应用了:

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: rpc-server-deployment
  labels:
    app: rpc-server
spec:
  replicas: 1
  selector:
    matchLabels:
      app: rpc-server
  template:
    metadata:
      labels:
        app: rpc-server
    spec:  
      containers:
        - name: rpc-server
          image: rpc-server-up
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 8080
          readinessProbe:
            httpGet:
              path: /health/readiness
              port: 8080

注意在上个面的 YAML 中,我们定义了一个 Kubernetes 的 Readiness Probe,访问 localhost:8080/health/readiness 来获取 SOFABoot Readiness Check 的结果。

打包完成之后,可以运行如下的命令来将应用部署到 Kubernetes 中:

kubectl apply -f rpcserver.xml

部署完成后,我们再通过一个 Service,将应用的实例挂到一个 Service 下面去,这样就可以通过查看 Service 下的 EndPoint 节点的数量来看 Readiness Check 是否起作用了:

apiVersion: v1
kind: Service
metadata:
  name: rpc-server-service
spec:
  selector:
    app: rpc-server
  ports:
  - protocol: TCP
    port: 8080
    targetPort: 8080

运行如下命令将 Service 部署到 Kubernetes 里面去:
``
kubectl apply -f rpc-server-service.yml

Readiness Check 成功的节点挂载情况
由于上面我们写的 HealthIndicator 直接返回了一个 Up,所以 Readiness Check 应该成功,我们可以分别从 ZooKeeper 和 Service 里面查看节点的情况。

首先看下 ZooKeeper 里面,为了查看 ZooKeeper 里面的节点的情况,需要在本地有一个 ZooKeeper 的程序在,这个可以直接从 ZooKeeper 的官网上下载。

然后,我们需要拿到在 Kubernetes 里面部署的 ZooKeeper 的对外暴露的地址,通过如下命令拿到地址:

kubectl expose deployment zookeeper-deployment --type=NodePort && minikube service zookeeper-deployment --url

在我本机拿到的地址是 192.168.99.100:30180

然后,就可以通过本地的 ZooKeeper 程序里面的 zkCli.sh 来查看 ZooKeeper 里面的节点了,运行如下的命令:

./zkCli.sh -server 192.168.99.100:30180
......
[zk: 192.168.99.100:30180(CONNECTED) 5]ls /sofa-rpc/com.alipay.sofa.rpcserver.SampleService/providers

就可以看到里面有一个节点的信息,就是我们的 rpcserver 部署在 Kubernetes 里面的节点。

也可以去看下 rpcserver 的 Service 里面的节点的信息,运行如下的命令:
`
kubectl describe service rpc-server-service
`
也可以看到红框中有一个节点的信息。

Readiness Check 失败的节点挂载情况
在上面,我们已经看到了 Readiness Check 成功之后,可以在 ZooKeeper 里面和 Service 的 EndPoints 里面都可以看到节点的信息,现在来看下 Readiness Check 失败后的情况。

为了让 Readiness Check 失败,要将之前写的 SampleHealthIndicator 改成 Down,代码如下:

package com.alipay.sofa.rpcserver;
import org.springframework.boot.actuate.health.Health;
import org.springframework.boot.actuate.health.HealthIndicator;
import org.springframework.stereotype.Component;

@Component
public class SampleHealthIndicator implements HealthIndicator {

@Override
public Health health() {
    return Health.down().build();
}

}

然后使用 mvn clean install 重新打包程序,打包之后,我们需要重新构建镜像,为了跟前面的 Readiness Check 成功的镜像以示区分,我们将镜像的名称换成 rpc-server-down:

docker build --build-arg JAR_FILE=./target/rpcserver-0.0.1-SNAPSHOT.jar . -t rpc-server-down

然后我们再将之前的应用的 Deployment 的 YAML 文件中的镜像名称换成新的镜像名称,其他保持不变:

apiVersion: apps/v1beta1
kind: Deployment
metadata:
name: rpc-server-deployment
labels:

app: rpc-server

spec:
replicas: 1
selector:

matchLabels:
  app: rpc-server

template:

metadata:
  labels:
    app: rpc-server
spec:  
  containers:
    - name: rpc-server
      image: rpc-server-down
      imagePullPolicy: IfNotPresent
      ports:
        - containerPort: 8080
      readinessProbe:
        httpGet:
          path: /health/readiness
          port: 8080
最后,通过` kubectl apply -f rpcserver.yml `来更新` Kubernetes` 里面的 RPCServer 这个应用。

更新之后,我们再去` ZooKeeper` 里面看下服务发布的情况,就只能看到一个空的列表了:

通过 `kubectl describe `查看新的 Pod 的情况,也可以看到 Readiness Check 失败:

通过 `kubectl describe service rpc-server-service `也可以看到 Service 下面的 EndPoint 还是之前的那个,新的并没有挂载上去。

###总结
本文中,我们演示了如何通过 Readiness Check 来控制应用的流量,在 Readiness Check 失败的情况下,让流量不进入应用,防止业务受损。在上面的例子中,我们通过 Readiness Check 完成了两个部分的流量的控制,一个是 Readiness Check 失败之后,SOFARPC 不会将服务的地址上报到对应的服务注册中心上,控制通过自动服务发现进入的流量,另一个方面,Kubernetes 也不会将 Pod 挂到对应额 Service 之上,防止负载均衡器进入的流量。

虽然 SOFABoot 提供了 Readiness Check 的能力,并且对应的中间件也已经实现了根据 SOFABoot 的 Readiness Check 的结果来控制流量,但是完整的流量控制,还需要外围的平台进行配合,比如负载均衡的流量就需要 Kubernetes 的 Readiness Check 的能力来一起配合才可以完成控制。

本文中所有涉及到的代码以及 Kuberentes 的 YAML 配置文件都已经放到了 Github 上,欢迎大家参考下载:https://github.com/khotyn/sofa-boot-readiness-check-demo。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
如何正确使用 Flink Connector?
本文主要分享 Flink connector 相关内容,分为以下三个部分的内容:第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑,对社区反馈的问题进行答疑。
9853 0
+关注
770
文章
584
问答
来源圈子
更多
致力于打造一流的分布式技术在金融场景应用实践的技术交流平台,专注于交流金融科技行业内最前沿、可供参考的技术方案与实施路线。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载