AI 助理
文档备案控制台
开发者社区 开发与运维 文章 正文

kubernetes下的Nginx加Tomcat三部曲之二：细说开发

2022-05-10 264
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 详细说明在kubernetes部署上述网络服务时，需要做哪些具体的工作

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)： https://github.com/zq2599/blog_demos

本篇概览

这里写图片描述

  • 本文我会详细说明在kubernetes部署上述网络服务时，需要做哪些具体的工作；

列举步骤

  • 需要以下操做才能在kubernetes上部署Nginx加Tomcat的服务：
  1. 开发Tomcat上的web工程和Docker镜像；
  2. 让kubernetes的机器用上web工程的Docker镜像；
  3. 开发Tomcat对应的deployment脚本；
  4. 开发Tomcat对应的service脚本；
  5. 开发Nginx对应的Docker镜像；
  6. 让kubernetes的机器用上Nginx的Docker镜像
  7. 开发Nginx对应的deployment脚本；
  8. 开发Nginx对应的service脚本；
  9. 开发启动上述pod和service的脚本；
  10. 开发停止并清除上述pod和service的脚本

脚本文件下载

  • 本次体验所需的deployment和service资源是通过脚本创建的，这个脚本可以通过GitHub下载，地址和链接信息如下表所示：
名称 链接 备注
项目主页 https://github.com/zq2599/blog_demos 该项目在GitHub上的主页
git仓库地址(https) https://github.com/zq2599/blog_demos.git 该项目源码的仓库地址，https协议
git仓库地址(ssh) git@github.com:zq2599/blog_demos.git 该项目源码的仓库地址，ssh协议
  • 这个git项目中有多个目录，本次所需的资源放在k8s_nginx_tomcat_resource，如下图红框所示：

这里写图片描述

  • 下到的k8stomcatcluster20180201.tar是个压缩包，复制到可以执行kubectl命令的ubuntu电脑上，然后解压开，是个名为k8stomcatcluster的文件夹；

Spring boot的web工程源码下载

  • GitHub下载，地址和链接信息如下表所示：
名称 链接 备注
项目主页 https://github.com/zq2599/blog_demos 该项目在GitHub上的主页
git仓库地址(https) https://github.com/zq2599/blog_demos.git 该项目源码的仓库地址，https协议
git仓库地址(ssh) git@github.com:zq2599/blog_demos.git 该项目源码的仓库地址，ssh协议
  • 这个git项目中有多个目录，本次的web工程源码放在k8stomcatdemo，如下图红框所示：

这里写图片描述

  • 接下来我们开始实战开发吧；

开发环境

  • 本次实战开发环境的具体信息如下：
  1. 操作系统：Ubuntu16；
  2. Docker版本：17.03.2-ce；
  3. JDK：1.8.0_151；
  4. maven：3.3.3；

Tomcat上的web工程和Docker镜像

  • web工程用来提供http服务，返回当前机器的IP地址给浏览器，完整源码请参照前面下载的k8stomcatdemo工程，这里我们还是重新创建一次；
  • 创建一个springboot工程，pom.xml内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.bolingcavalry</groupId>
    <artifactId>k8stomcatdemo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>k8stomcatdemo</name>
    <description>Demo project for Spring Boot</description>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.9.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>

            <!--新增的docker maven插件-->
            <plugin>
                <groupId>com.spotify</groupId>
                <artifactId>docker-maven-plugin</artifactId>
                <version>0.4.12</version>
                <!--docker镜像相关的配置信息-->
                <configuration>
                    <!--镜像名，这里用工程名-->
                    <imageName>bolingcavalry/${project.artifactId}</imageName>
                    <!--TAG,这里用工程版本号-->
                    <imageTags>
                        <imageTag>${project.version}</imageTag>
                    </imageTags>
                    <!--镜像的FROM，使用java官方镜像-->
                    <baseImage>java:8u111-jdk</baseImage>
                    <!--该镜像的容器启动后，直接运行spring boot工程-->
                    <entryPoint>["java", "-jar", "/${project.build.finalName}.jar"]</entryPoint>
                    <!--构建镜像的配置信息-->
                    <resources>
                        <resource>
                            <targetPath>/</targetPath>
                            <directory>${project.build.directory}</directory>
                            <include>${project.build.finalName}.jar</include>
                        </resource>
                    </resources>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>
  • 可以看到这是个普通的springboot的web工程，唯一不同的是多了一个maven插件：docker-maven-plugin，使用该插件我们可以将maven工程制作成docker镜像；
  • 整个工程只有一个Controller，开通一个http接口，将当前服务器IP地址返回，源码如下：
@RestController
public class ServerInfo {

    @RequestMapping(value = "/getserverinfo", method = RequestMethod.GET)
    public String getUserInfoWithRequestParam(){
        return String.format("server : %s, time : %s", getIPAddr(), new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()));
    }

    /**
     * 获取本机IP地址
     * @return
     */
    private static String getIPAddr(){
        String hostAddress = null;
        try{
            InetAddress address = InetAddress.getLocalHost();
            hostAddress = address.getHostAddress();
        }catch (UnknownHostException e){
            e.printStackTrace();
        }

        return hostAddress;
    }
}
  • 以上就是工程的关键源码；
  • 在pom.xml所在目录执行mvn clean package -DskipTests docker:build，会编译构建工程，并且在本地制作好镜像文件，如下：
root@maven:/usr/local/work/github/blog_demos# docker images
REPOSITORY                                              TAG                 IMAGE ID            CREATED             SIZE
bolingcavalry/k8stomcatdemo                             latest              1d41d9980a0b        43 hours ago        658 MB
bolingcavalry/k8stomcatdemo                             0.0.1-SNAPSHOT      c91bc368a729        46 hours ago        658 MB
  • 想了解更多maven制作docker镜像的细节，请看《maven构建docker镜像三部曲之二：编码和构建镜像》

让kubernetes的机器用上web工程的Docker镜像

  • 现在的镜像只存在于开发和构建web工程的电脑上，为了让kubernetes的node机器能用上这个镜像，可以用以下几种方式实现：
  1. 用docker push命令将本机镜像推送到hub.docker.com网站，这样其他机器都可以通过docker pull命令取得了，我就是用的这种方法，需要在hub.docker.com上注册；
  2. 用docker save命令导出镜像文件，再用docker load命令导入；
  3. kubernetes所在机器安装java和maven环境，将工程在这里编译构建；
  4. 使用docker私有仓库，例如搭建局域网私有仓库或者阿里云私有仓库，参考《https://developer.aliyun.com/article/906500》；

Tomcat对应的deployment脚本

  • 用yaml文件将详情配置好，再用kubectl命令执行这个配置就能创建pod，这个web应用镜像的配置文件名为tomcat.yaml，内容如下：
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: tomcathost
spec:
  replicas: 3
  template:
    metadata:
     labels:
       name: tomcathost
    spec:
     containers:
     - name: tomcathost
       image: bolingcavalry/k8stomcatdemo:0.0.1-SNAPSHOT
       tty: true
       ports:
       - containerPort: 8080
  • 将上述脚本的几个关键点列举一下：
  1. version用extensions/v1beta1；
  2. kind用Deployment，支持升级镜像和滚动升级；
  3. 使用的镜像bolingcavalry/k8stomcatdemo:0.0.1-SNAPSHOT，是我从本地push到hub.docker.com上去的；
  4. 创建的容器对外暴露了8080端口；

Tomcat对应的service脚本

  • 创建了tomcat的pod之后，为了能在kubernetes环境中给其他service使用，需要将这些pod包装为service，这里是通过tomcat-svc.yaml文件来配置的，内容如下：
apiVersion: v1
kind: Service
metadata:
  name: tomcathost
spec:
  type: ClusterIP
  ports:
       - port: 8080
  selector:
    name: tomcathost
  • 将上述脚本的几个关键点列举一下：
  1. 服务对应的pod是tomcathost；
  2. type用ClusterIP，为内部service调用提供统一IP地址；
  3. 服务对外暴露了pod的8080端口；

Nginx对应的Docker镜像

  • 定制的Nginx镜像和Nginx官方镜像相比，唯一的区别就是nginx.conf文件不同，我们用的nginx.conf内容如下：
user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    #include /etc/nginx/conf.d/*.conf;

    upstream tomcat_client {
         server tomcathost:8080;
    } 

    server {
        server_name "";
        listen 80 default_server;
        listen [::]:80 default_server ipv6only=on;

        location / {
            proxy_pass http://tomcat_client;
            proxy_redirect default;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
        }
    }
}
  • 以上配置中，新增的upstream对应的IP地址是tomcathost，这是tomcat的service名称，在Nginx运行的时候，通过tomcathost就能访问到tomcat的Pod；
  • 制作Docker镜像的Dockerfile文件内容如下，每行都有注释就不再多说了：
# First docker file from bolingcavalry
# VERSION 0.0.1
# Author: bolingcavalry

#基础镜像
FROM nginx:stable

#作者
MAINTAINER BolingCavalry <zq2599@gmail.com>

#定义工作目录
ENV WORK_PATH /etc/nginx

#定义conf文件名
ENV CONF_FILE_NAME nginx.conf

#删除原有配置文件
RUN rm $WORK_PATH/$CONF_FILE_NAME

#复制新的配置文件
COPY ./$CONF_FILE_NAME $WORK_PATH/

#给shell文件赋读权限
RUN chmod a+r $WORK_PATH/$CONF_FILE_NAME
  • 将nginx.conf和Dockerfile放在同一个目录，然后执行命令docker build -t bolingcavalry/nginx-with-tomcat-host:0.0.1 .，就能构建镜像文件了，如下:
root@maven:/usr/local/work/nginx# docker build -t bolingcavalry/nginx-with-tomcat-host:0.0.1 .
Sending build context to Docker daemon 14.51 MB
Step 1/7 : FROM nginx:stable
 ---> dfe062ee1dc8
Step 2/7 : MAINTAINER BolingCavalry <zq2599@gmail.com>
 ---> Using cache
 ---> 93f4bf154c55
Step 3/7 : ENV WORK_PATH /etc/nginx
 ---> Using cache
 ---> d0158757fc9c
Step 4/7 : ENV CONF_FILE_NAME nginx.conf
 ---> Using cache
 ---> 7a18a8b417d6
Step 5/7 : RUN rm $WORK_PATH/$CONF_FILE_NAME
 ---> Using cache
 ---> f6f27d25539d
Step 6/7 : COPY ./$CONF_FILE_NAME $WORK_PATH/
 ---> Using cache
 ---> 33075a2b0379
Step 7/7 : RUN chmod a+r $WORK_PATH/$CONF_FILE_NAME
 ---> Using cache
 ---> 58ce530e160b
Successfully built 58ce530e160b

让kubernetes的机器用上Nginx的Docker镜像

  • 这一步和之前的web工程的镜像放到kubernetes一样，有多种方式，我用的还是通过docker push推送到hub.docker.com网站，再在kubernetes上pull下来；

Nginx对应的deployment脚本

  • 用yaml文件将详情配置好，再用kubectl命令执行这个配置就能创建pod，这个web应用镜像的配置文件名为nginx.yaml，内容如下：
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: ng
spec:
  replicas: 1
  template:
    metadata:
     labels:
      name: ng
    spec:
     containers:
     - name: ng
       image: bolingcavalry/nginx-with-tomcat-host:0.0.1
       ports:
       - containerPort: 80
  • 以上配置中有几点要注意：
  1. 使用镜像是刚才创建的nginx镜像bolingcavalry/nginx-with-tomcat-host:0.0.1；
  2. pod容器创建后，对外暴露80端口；

Nginx对应的service脚本

  • 通过service定义的yaml文件nginx-svc.yam，将前面创建的nginx的pod包装为service：
apiVersion: v1
kind: Service
metadata:
  name: ng
spec:
  type: NodePort
  ports:
       - port: 80
         nodePort: 30006
  selector:
    name: ng
  • 以上配置中有几点要注意：
  1. type使用NodePort，这样可以通过节点机器的IP访问此service；
  2. 将节点机器的30006端口和pod的80端口绑定，因此，外部访问节点IP+30006端口就能访问到此Nginx服务了；

启动上述pod和service的脚本

  • 接下来我们创建一个shell脚本start_all.sh，将上述的tomcat和nginx的pod以及service全部创建和启动：
kubectl create -f tomcat.yaml
kubectl create -f tomcat-svc.yaml
kubectl create -f nginx.yaml
kubectl create -f nginx-svc.yaml
echo ""
echo "nginx and tomcat running now"
  • 如上所示，通过kubectl create -f加文件名，就能创建好yaml文件中定义的pod和service；

停止并清除上述pod和service的脚本

  • 创建一个shell脚本stop_all.sh，能够将上述的tomcat和nginx的pod以及service全部清除掉：
kubectl delete service tomcathost
kubectl delete deployment tomcathost
kubectl delete service ng
kubectl delete deployment ng
echo "nginx and tomcat stop now"
  • 如上所示，其实就是通过kubectl delete命令将指定的pod和service资源删除；

以上就是在kubernetes搭建整个Nginx加Tomcat环境的所有资源，您就可以用这些像《kubernetes下的Nginx加Tomcat三部曲之一：极速体验》文中那样去搭建和体验kubernetes下的Nginx加Tomcat；

  • 下一章，我们会在此环境的基础上实战Tomcat服务的扩容，并修改web工程的代码，再创建新的镜像，并且将kubernetes环境下在线升级新的web工程服务；

欢迎关注阿里云开发者社区博客：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...
文章标签：
容器服务Kubernetes版
Java
Perl
开发工具
容器
应用服务中间件
Docker
Kubernetes
nginx
git
Maven
关键词：
Nginx Tomcat
Tomcat nginx
容器服务Kubernetes版开发
容器服务Kubernetes版nginx
Nginx开发
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
程序员欣宸
目录
相关文章
蓝易云
|
8月前
|
存储 安全 应用服务中间件
将下载的Nginx证书转换为Tomcat证书格式
好，可以看到，将Nginx证书转换为Tomcat证书的过程就像在烘焙一块蛋糕。你需要准备材料（证书），配备工具（OpenSSL, keytool），按照一定的步骤慎重制作，最后你就拥有了一块可以在浏览器中呈现出漂亮的安全状态的HTTPS蛋糕。就这么简单，明了，没有任何复杂的理论知识，就像在家庭厨房里烘焙的快乐一样。
蓝易云
371 16
蓝易云
|
8月前
|
负载均衡 前端开发 应用服务中间件
Tomcat的负载均衡和动静分离（与nginx联动）
总的来说，负载均衡和动静分离是提高Web应用性能的两个重要手段。通过合理的配置和使用，我们可以让Web应用更好地服务于用户。
蓝易云
263 21
蓝易云
|
8月前
|
负载均衡 Java 应用服务中间件
Tomcat与Nginx的负载均衡与动静分离技巧
总的来说，Tomcat和Nginx各有各的优点，在负载均衡和动静分离这两方面它们都有很好的应用。灵活使用这两个工具能够让Web应用具有更好的扩展性和用户体验。
蓝易云
253 14
蓝易云
|
8月前
|
负载均衡 前端开发 JavaScript
LVS-DR模式、keepalived、Nginx与Tomcat合作，打造动静分离，高效负载均衡与高可用性
为了采用这样的架构，你需要对LVS-DR、Keepalived、Nginx与Tomcat有一定的理解和掌握，同时也需要投入一些时间去研究和配置，但是一旦你把它运行起来，你将会发现，这一切都是值得的。
蓝易云
348 11
蓝易云
|
缓存 Java 应用服务中间件
nginx的正向代理和反向代理以及tomcat
Nginx的正向代理和反向代理功能在不同的场景中具有重要作用，正向代理主要用于客户端访问控制和匿名浏览，而反向代理则用于负载均衡和高可用性服务。Tomcat作为Java Web应用服务器，与Nginx结合使用，可以显著提升Web应用的性能和稳定性。通过合理配置Nginx和Tomcat，可以构建高效、稳定和可扩展的Web服务架构。
蓝易云
481 11
爱吃龙利鱼
|
Kubernetes 应用服务中间件 nginx
k8s学习--YAML资源清单文件托管服务nginx
k8s学习--YAML资源清单文件托管服务nginx
爱吃龙利鱼
314 2
k8s学习--YAML资源清单文件托管服务nginx
爱吃龙利鱼
|
Kubernetes 监控 测试技术
k8s学习--基于Ingress-nginx实现灰度发布系统
k8s学习--基于Ingress-nginx实现灰度发布系统
爱吃龙利鱼
633 2
k8s学习--基于Ingress-nginx实现灰度发布系统
yuanzhengme
|
前端开发 Java 应用服务中间件
Tomcat和Nginx的资源路径映射
Tomcat和Nginx的资源路径映射
yuanzhengme
419 1
shiningrise
|
Kubernetes Docker 微服务
微服务实践k8s&dapr开发部署实验（1）服务调用（一）
微服务实践k8s&dapr开发部署实验（1）服务调用（一）
shiningrise
210 2
爱吃龙利鱼
|
Kubernetes JavaScript 前端开发
k8s学习--chart包开发(创建chart包)
k8s学习--chart包开发(创建chart包)
爱吃龙利鱼
721 1

热门文章

最新文章

  • 1
    Tomcat 7优化配置参数
  • 2
    tomcat 项目的配置
  • 3
    Tomcat假死的原因及解决方案
  • 4
    **tomcat简介之web.xml详解
  • 5
    Tomcat7连接池配制方法
  • 6
    tomcat 内存溢出
  • 7
    安装Tomcat提示Failed to install Tomcat6 service...的解决办法
  • 8
    zip版本Tomcat配置新手入门
  • 9
    eclipse启动了tomcat正常，可页面还是404
  • 10
    tomcat和系统时间不一致的问题
  • 1
    阿里云ACK托管集群Pro版共享GPU调度操作指南
    359
  • 2
    ACK One 注册集群云端节点池升级：IDC 集群一键接入云端 GPU 算力，接入效率提升 80%
    274
  • 3
    基于 Azure DevOps 与阿里云 ACK 构建企业级 CI/CD 流水线
    486
  • 4
    关于阿里云 Kubernetes 容器服务（ACK）添加镜像仓库的快速说明
    525
  • 5
    ACK GIE配置建议
    405
  • 6
    ACK One GitOps：让全球化游戏服务持续交付更简单
    168
  • 7
    Ray on ACK 最佳实践，保障 AI 数据处理/训练/推理等环境的安全部署
    538
  • 8
    智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
    270
  • 9
    智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
    437
  • 10
    KubeRay on ACK：更高效、更安全
    524

    • 相关课程

    更多
  • 5分钟玩转阿里云容器服务
  • 阿里云 EMR on ACK 实战
  • Nginx企业级Web服务实战
  • Tomcat服务器入门详解
  • Java Web开发-Web应用、Tomcat、HTTP请求与响应
  • Linux Web服务器Nginx搭建与配置

    • 相关电子书

    更多
  • ACK集群类型选择最佳实践
  • 容器服务重磅升级，打造高效安全、智能无界新平台
  • 《拥抱容器存储，使用阿里云容器服务 ACK +文件存储 NAS 构建现代化企业应用》

    • 相关实验场景

    更多
  • 通过ACK Serverless搭建企业级网站应用
  • 使用ACK Auto Mode集群快速部署Nginx工作负载
    • 下一篇
    附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用