通过Dockerfile可以用来构建容器镜像,我们一般也是通过这种方式来构建一个Tomcat应用服务容器,如果要实现对容器中的Tomcat服务(或是其他Java应用)进行APM(应用性能管理)监控,就需要我们在容器中放置javaagent并做相关配置,而在已生成的容器中修改配置不符合容器管理的规范,所以我们建议在发布镜像时就将javaagent植入,这样在生成容器时就可以通过环境变量参数来决定是否开启监控。
(请持续关注smooth的博客:https://blog.csdn.net/smooth00,另外有关容器的文章还可以关注:《搭建Jmeter容器集群平台》、《以容器部署Ganglia并监控Hadoop集群》、《Rancher及Docker快速上手指南(一)》、《Rancher及Docker快速上手指南(二)》、《Rancher及Docker快速上手指南(三)》、《Jenkins自动化部署容器》)
以下是以Zoho Applications Manager当中的应用性能管理产品为例(像听云、OneAPM等应用性能管理也属于同类产品,原理一样,以下配置的关键是将监控代理javaagent的jar包和相关配置文件通过Dockerfile写入到镜像中,并通过环境变量更改配置项):
1、修改catalina.sh
一般APM监控,都是在catalina.sh中追加JAVA_OPTS配置,如下:
export JAVA_OPTS="$JAVA_OPTS -javaagent:$CATALINA_HOME/apminsight/apminsight-javaagent.jar"
我们这次也是这么干的,但是会加一个开关来if控制:
if [ "$APM_IS_OPEN" = "true" ] ; then
export JAVA_OPTS="$JAVA_OPTS -javaagent:$CATALINA_HOME/apminsight/apminsight-javaagent.jar"
fi
2、修改apminsight.conf
这是监控代理的配置文件,其他产品也有类似的配置文件,主要是对以下几个参数进行标准化设置
application.name=@APM_NAME@ #这是应用名,这个名称是用来替换的
apm.host=@127.0.0.1@ #这是APM监控平台的IP,也是用来替换的
apm.port=@9090@ #这是APM监控平台的端口,也是用来替换的
3、准备好要部署tomcat的文件或要替换的配置文件
比如:jdk-8u171-linux-x64.tar.gz、apache-tomcat-8.5.32.tar.gz、tomcat-users.xml、server.xml,这些文件都是要确保可以在真实机器上安装部署和使用的。
然后准备要发布到tomcat上的应用war包或者文件,我的环境是rfzf.war
4、配置Dockerfile
# First docker file from zhengguanghua
# VERSION 1.0.1
# Author: zhengguanghua
FROM ubuntu:14.04.3
#作者
# MAINTAINER zhengguanghua <zq2599@gmail.com>
# add java and tomcat 支持包到容器中
ADD jdk-8u171-linux-x64.tar.gz /usr/local/
ADD apache-tomcat-8.5.32.tar.gz /usr/local/
RUN mv /usr/local/apache-tomcat-8.5.32 /usr/local/tomcat
# 配置 java and tomcat 环境变量
ENV JAVA_HOME /usr/local/jdk1.8.0_171
ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ENV CATALINA_HOME /usr/local/tomcat
ENV CATALINA_BASE /usr/local/tomcat
ENV PATH $PATH:$JAVA_HOME/bin:$CATALINA_HOME/lib:$CATALINA_HOME/bin
#定义工作目录
ENV WORK_PATH /usr/local/tomcat
#定义要发布的war包文件名
ENV WEB_APP rfzf.war
#删除原文件tomcat-users.xml,可不删除直接COPY覆盖
#RUN rm $CONF_PATH/$USER_CONF_FILE_NAME
#复制文件tomcat-users.xml
COPY ./tomcat-users.xml $WORK_PATH/conf/
#复制文件server.xml
COPY ./server.xml $WORK_PATH/conf/
#复制APM监控代理目录apminsight
COPY apminsight $WORK_PATH/apminsight
#复制文件catalina.sh
COPY ./catalina.sh $WORK_PATH/bin/
#复制tomcat启动文件(文件里也包含apminsight监控代理的配置替换命令)
COPY startTomcat.sh /usr/local/
#给可执行文件赋权限,并配置东八区时区
RUN chmod +777 /usr/local/startTomcat.sh && chmod +777 $WORK_PATH/bin/catalina.sh \
&& /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \
&& echo 'Asia/Shanghai' >/etc/timezone
#复制war包到wepapps目录下
COPY ./$WEB_APP $WORK_PATH/webapps/
# container listener port
# EXPOSE 8080
# startup web application services by self
# CMD /usr/local/tomcat/bin/catalina.sh run
#让容器当前目录定位到工作目录下
WORKDIR $WORK_PATH
#启动容器
CMD ["sh", "/usr/local/startTomcat.sh"]
5、编写startTomcat.sh
由于容器的CMD一般只能执行一个进程命令(多个CMD命令也是最后一个覆盖前面的),所以把APM监控代理的配置文件修改命令和tomcat启动命令全放到startTomcat.sh中,通过一个CMD命令调用。
#!/bin/bash
#用sed将环境变量替换成apminsight.conf中的参数
sed -i "s/@APM_NAME@/${APM_NAME}/g" /usr/local/tomcat/apminsight/apminsight.conf
sed -i "s/@127.0.0.1@/${APM_HOST}/g" /usr/local/tomcat/apminsight/apminsight.conf
sed -i "s/@9090@/${APM_PORT}/g" /usr/local/tomcat/apminsight/apminsight.conf
#启动tomcat,容器不能用后台运行进程,所以用run在控制台显示
/usr/local/tomcat/bin/catalina.sh run
以上启动tomcat命令用run(必须用run,用catalina.sh start或是startup.sh都不好使),可以防止容器一启动就关闭(这是容器的一个特性,也是最大的一个坑,应用进程必须在前台运行,才能成为容器的守护进程,即进程一旦退出或从前台中止运行容器也会跟着停止)。
以下总结一下容器start.sh的命令原则:
(1)原则上一个容器就运行一个进程,这就是为什么容器服务要尽量简单,多进程应用需要拆分成多个容器
(2)容器中要是运行多个守护进程时,前面的进程要用后台方式运行(或添加 &),否则后面的服务无法启动
(3)容器中最后一个守护进程一定要用前台方式运行,否则start.sh退出,容器退出,所有的服务就白启动了
注:为什么CMD命令默认一定是覆盖而不是继承或追加,很多初次接触这块的人都会不理解这么设计的用意(觉得不能同时多次调用CMD不方便),其实这么实现是很有必要的,比如你在Dockerfile用FROM继承了一个基础镜像,每个基础镜像肯定都有自己的一套进程逻辑和CMD启动命令,如果不设计成覆盖的模式,那么我们对原有容器镜像的任何配置和修改,以及追加新进程,都要顾及太多原有进程的影响,这不利于镜像的继承或嵌套。
6、构建镜像
将以上所有文件都传到一个目录下,比如/home/rfzf-tomcat,然后我们进入这个目录,执行以下命令build成镜像:
docker build -t docker-tomcat:1.0 .
7、调用镜像生成容器
建议将tomcat的logs通过卷的方式持续化日志文件,在宿主机上建立目录/opt/tomcat-logs,并赋予读写权限。以下是生成容器的命令:
docker run --name docker-tomcat -d --restart=unless-stopped -p 8080:8080 -e APM_NAME=Docker_Tomcat -e APM_HOST=172.16.1.251 -e APM_PORT=9099 -e APM_IS_OPEN=true -v /opt/tomcat-logs:/usr/local/tomcat/logs docker-tomcat:1.0
这样就可以生成容器,而且通过环境变量(-e)将APM的HOST、端口等替换(在启动tomcat前被替换)了,而且通过APM_IS_OPEN=true,在catalina.sh中也会调用apminsight-javaagent.jar监控代理文件。
以下是运行的容器监视图:
通过Tomcat的业务窗体访问,在APM监控平台就能看到应用服务的监控数据:
总结:对于性能监控来说,容器和虚拟机下操作其实没有太大差别,唯一的差别是容器是一种封装的应用,既然是封装,我们的监控服务也应该一起封装进去,而不是等容器部署完了,才开始考虑监控的配置和开启,一是不方便操作,二是不符合容器的管理要求(容器是即用即生成,不用即消亡,不适合在容器里做过多配置化操作)。