AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

使用Docker（Mac）搭建 Nginx/Openresty - Kafka - kafkaManager

2018-05-26 1866
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生网关 MSE Higress，422元/月
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
日志服务 SLS，月写入数据量 50GB 1个月
简介： 本文默认读者已经对Docker有一定了解，且清楚使用Docker进行部署的优势。1.安装Docker（Mac）官网：https://docs.docker.

本文默认读者已经对Docker有一定了解，且清楚使用Docker进行部署的优势。

1.安装Docker（Mac）

官网：https://docs.docker.com/docker-for-mac/install/

1.1 下载 Docker for Mac

地址：https://store.docker.com/editions/community/docker-ce-desktop-mac

1.2 下载完成以后，双击打开文件Docker.dmg

img_bae40c1137469994b27ca53fe0cfe9f0.png
image.png

1.3双击Docker.app启动

img_4876197ea8edeccc85f7205029a8b50f.png
image.png

Mac顶部状态栏会出现鲸鱼图标


img_c8e6e3af91d94166c752ffc9680d7dc6.png
image.png

1.4点击鲸鱼图标可以进行设置

img_5cb104183e9f5557ff043a8d4793033a.png
image.png

1.5 Check versions

$ docker --version
Docker version 18.03, build c97c6d6

$ docker-compose --version
docker-compose version 1.21.2, build 8dd22a9

$ docker-machine --version
docker-machine version 0.14.0, build 9ba6da9

1.6 Hello Word

1.6.1 打开命令行终端，通过运行简单的Docker映像测试您的安装工作。

$ docker run hello-world

Unable to find image 'hello-world:latest' locally
latest: Pulling from library/hello-world
ca4f61b1923c: Pull complete
Digest: sha256:ca0eeb6fb05351dfc8759c20733c91def84cb8007aa89a5bf606bc8b315b9fc7
Status: Downloaded newer image for hello-world:latest

Hello from Docker!
This message shows that your installation appears to be working correctly.
...

1.6.2 启动Dockerized web server

$ docker run -d -p 80:80 --name webserver nginx

1.6.3 打开浏览器，输入http://localhost/

img_dbf4ee99cc15a59f92d2afa9b02d5dcb.png
image.png

常用命令：

docker ps 查看正在运行的容器

docker stop停止正在运行的容器

docker start启动容器

docker ps -a查看终止状态的容器

docker rm -f webserver命令来移除正在运行的容器

docker list 列出本地镜像

docker rmi 删除的镜像

2.使用Docker安装Nginx

Docker Store 地址:https://store.docker.com/images/nginx

其实在上文中Hello World即已经安装了nginx。

2.1 拉取 image

docker pull nginx

3.2 创建Nginx容器

docker run --name mynginx -p 80:80  -v /Users/gaoguangchao/Work/opt/local/nginx/logs:/var/log/nginx   -v /Users/gaoguangchao/Work/opt/local/nginx/conf.d:/etc/nginx/conf.d  -v /Users/gaoguangchao/Work/opt/local/nginx/nginx.conf:/etc/nginx/nginx.conf:ro -v /Users/gaoguangchao/Work/opt/local/nginx/html:/etc/nginx/html  -d nginx

-d 以守护进程运行(运行在后台)
--name nginx 容器名称;
-p 80:80 端口映射
-v 配置挂载路径 宿主机路径:容器内的路径

关于挂载

    1. 为了能直接修改配置文件，以实现对Nginx的定制化，需要进行Docker的相关目录挂在宿主机上。
    1. 需要挂载的目录/文件：/etc/nginx/conf.d /etc/nginx/nginx.conf /etc/nginx/html
    1. 有一点尤其需要注意，当挂载的为文件而非目录时，需要注意以下两点：
    • a. 挂载文件命令: -v 宿主机路径:容器内的路径:ro
    • b.宿主机需要先创建后文件，无法自动创建，反之将报错

nginx.conf 示例

#user  nobody;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;


    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    upstream demo {

        server 127.0.0.1:8080;

    }

    server {
        listen       80;
        server_name  request_log;

        location / {
            root   html;
            #index  index.html index.htm;
            proxy_connect_timeout   3;  
            proxy_send_timeout      30;  
            proxy_read_timeout      30;  
            proxy_pass http://demo; 
        }

        
        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

2.3 浏览器访问

img_dbf4ee99cc15a59f92d2afa9b02d5dcb.png
image.png

在调试过程中往往不会很顺利，这里的技巧是通过阅读error.log中的异常日志进行

2.4 配置反向代理

此处是本机启动一个 SpringBoot web server，端口为：8080，浏览器访问：http://localhost:8080/index/hello

img_9c86e848403b9f7e89f968fb8c01cb02.png
image.png

按照上节中nginx.conf示例中的配置方式，增加upstream、server、proxy_pass相关配置，对80端口进行监听，重启nginx容器。

docker restart  mynginx

浏览器访问：http://localhost/index/hello,可以看到正常访问。

3.使用Docker安装Openresty

Openresty是在Nginx基础上做了大量的定制扩展，其安装过程和Nginx基本一致。

Docker Store 地址:https://store.docker.com/community/images/openresty/openresty

3.1 拉取 image

docker pull openresty/openresty

3.2 创建Openresty容器

docker run -d --name="openresty" -p 80:80 -v /Users/gaoguangchao/Work/opt/local/openresty/nginx.conf:/usr/local/openresty/nginx/conf/nginx.conf:ro -v /Users/gaoguangchao/Work/opt/local/openresty/logs:/usr/local/openresty/nginx/logs   -v /Users/gaoguangchao/Work/opt/local/openresty/conf.d:/etc/nginx/conf.d -v /Users/gaoguangchao/Work/opt/local/openresty/html:/etc/nginx/html openresty/openresty

注意事项和安装Nginx基本一致，在此不再赘述。

4.使用Docker安装Kafka

Docker Store 地址:https://store.docker.com/community/images/spotify/kafka

4.1 拉取 image

docker pull spotify/kafka

4.2 创建Kafka容器

运行命令：

docker run -p 2181:2181 -p 9092:9092 --env ADVERTISED_HOST=`127.0.0.1` --env ADVERTISED_PORT=9092 spotify/kafka

2181为zookeeper端口，9092为kafka端口

输出启动日志：

img_4f9fef47d79fc29734fd6f4b04809457.png
image.png

4.3 Check zookeeper是否启动

可以使用一些可视化客户端连接端口，进行监控，如zooInspector、Idea Zookeeper Plugin等

img_173dd2c80514ab6817600915addc1e4a.png
zooInspector示例
img_c3e977185bfafaad3eb4537352d95b25.png
Idea Zookeeper Plugin

5.使用Docker安装Kafka Manager

Kafka Manager 是Yahoo开源的kafka监控和配置的web系统，可以进行kafka的日常监控和配置的动态修改。

Docker Store 地址:https://store.docker.com/community/images/sheepkiller/kafka-manager

5.1 拉取 image

docker pull sheepkiller/kafka-manager

5.2 创建Kafka Manager容器

运行命令：

docker run -it --rm  -p 9000:9000 -e ZK_HOSTS="127.0.0.1:2181" -e APPLICATION_SECRET=letmein sheepkiller/kafka-manager

2181为上节中部署的zookeeper端口，9000为kafka-manager的web端口

输出启动日志：

img_577d9b8f0118d3390e4cdb6a5615ed9b.png
image.png

5.3 访问Kafka Manager

浏览器访问：http://localhost:9000
按照页面上的操作按钮进行kafka集群的注册，具体使用方式再次不做详细介绍。

img_b9cfc35b7c2d696bbbfdcb1e42944956.png
image.png

注册配置后的界面：


img_3e144af5658bb951576acf2d23d6444a.png
image.png

6.Kafka消息生产与消费

6.1创建maven项目

** pom依赖**


    <dependencies>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>jcl-over-slf4j</artifactId>
            <version>${org.slf4j-version}</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-1.2-api</artifactId>
            <version>${log4j2-version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-slf4j-impl</artifactId>
            <version>${log4j2-version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>${log4j2-version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>${log4j2-version}</version>
        </dependency>
        <dependency>
            <groupId>com.lmax</groupId>
            <artifactId>disruptor</artifactId>
            <version>3.2.0</version>
        </dependency>
      

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.1.0</version>
        </dependency>
    </dependencies>

6.2 增加log4j2配置

配置log4j2为能正常打印debug日志，方便进行异常排查 （重要)
在resources目录下增加log4j2.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<configuration status="WARN">
    <Properties>
        <Property name="pattern_layout">%d %-5p (%F:%L) - %m%n</Property>
        <Property name="LOG_HOME">/logs</Property>
    </Properties>

    <appenders>
        <Console name="CONSOLE" target="SYSTEM_OUT">
            <PatternLayout pattern="%d %-5p (%F:%L) - %m%n"/>
        </Console>


    </appenders>
    <loggers>
        <root level="debug" includeLocation="true">
            <appender-ref ref="CONSOLE"/>
        </root>
    </loggers>
</configuration>

关于log4j2的使用，有兴趣的可以了解：Log4j1升级Log4j2实战

6.3 创建生产者示例

package com.moko.kafka;

import org.apache.kafka.clients.producer.*;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.Properties;

public class MokoProducer extends Thread {

    private static final Logger LOGGER = LoggerFactory.getLogger(MokoProducer.class);

    private final KafkaProducer<String, String> producer;
    private final String topic;
    private final boolean isAsync;

    public MokoProducer(String topic, boolean isAsync) {
        Properties properties = new Properties();
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "78c4f4a0f989:9092");//broker 集群地址
        properties.put(ProducerConfig.CLIENT_ID_CONFIG, "MokoProducer");//自定义客户端id
        properties.put(ProducerConfig.ACKS_CONFIG, "all");
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");//key 序列号方式
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");//value 序列号方式

        this.producer = new KafkaProducer<String, String>(properties);
        this.topic = topic;
        this.isAsync = isAsync;
    }

    @Override
    public void run() {
        int seq = 0;

        while (true) {
            String msg = "Msg: " + seq;

            if (isAsync) {//异步
                producer.send(new ProducerRecord<String, String>(this.topic, msg));
            } else {//同步
                producer.send(new ProducerRecord<String, String>(this.topic, msg),
                        new MsgProducerCallback(msg));
            }

            seq++;
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }

    /**
     * 消息发送后的回调函数
     */
    class MsgProducerCallback implements Callback {

        private final String msg;

        public MsgProducerCallback(String msg) {
            this.msg = msg;
        }

        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (recordMetadata != null) {
                LOGGER.info(msg + " be sended to partition no : " + recordMetadata.partition());
            } else {
                LOGGER.info("recordMetadata is null");
            }

            if (e != null)
                e.printStackTrace();
        }
    }


    public static void main(String args[]) {
        new MokoProducer("access-log", false).start();//开始发送消息
    }
}

简单运行后，打印日志如下：

img_e38ecdb6af5c4dc13f6cef1c6acd1a61.png
image.png

6.4 创建消费者示例

package com.moko.kafka;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.Arrays;
import java.util.Properties;

public class MokoCustomer {

    private static final Logger LOGGER = LoggerFactory.getLogger(MokoCustomer.class);


    public static void main(String args[]) throws Exception {


        String topicName = "access-log";
        Properties props = new Properties();
        KafkaConsumer<String, String> consumer = getKafkaConsumer(props);
        consumer.subscribe(Arrays.asList(topicName));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            if (!records.isEmpty()) {
                LOGGER.info("=========================");
            }
            for (ConsumerRecord<String, String> record : records) {
                LOGGER.info(record.value());
            }
        }
    }

    private static KafkaConsumer<String, String> getKafkaConsumer(Properties props) {
        props.put("bootstrap.servers", "172.18.153.41:9092");
        props.put("group.id", "group-1");

        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("session.timeout.ms", "30000");
        props.put("key.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        return new KafkaConsumer<String, String>(props);
    }
}

简单运行后，打印日志如下：

img_0cc06713934c43c5dfff0219df0ca752.png
image.png

6.5 注意事项

由于是在本机使用Docker搭建的环境，遇到最多的问题就是网络问题，如host等的配置，但是只要意识到这点，通过注意分析各种异常日志，便不难排查解决。

img_405b6eb120d6edcb8a5bea1c3c049ed1.png
项目目录结构

7.结语

致此，本文就介绍完了如何使用Docker搭建 Nginx/Openresty - Kafka - kafkaManager。

后续将会继续介绍如何使用Docker搭建一套 nginx+lua+kafka实现的日志收集的教程，敬请期待。

欢迎关注 高广超的简书博客 与 收藏文章 ！
欢迎关注 头条号：互联网技术栈 ！

个人介绍：

高广超：多年一线互联网研发与架构设计经验，擅长设计与落地高可用、高性能、可扩展的互联网架构。

本文首发在 高广超的简书博客 转载请注明！

文章标签：
云消息队列 Kafka 版
微服务引擎
日志服务
容器
应用服务中间件
监控
Apache
Web App开发
关键词：
Nginx Docker
Docker Nginx
Mac nginx
Docker kafka
docker云消息队列 Kafka 版
高广超
目录
相关文章
蓝易云
|
1月前
|
负载均衡 应用服务中间件 nginx
基于Nginx和Consul构建自动发现的Docker服务架构——非常之详细
通过使用Nginx和Consul构建自动发现的Docker服务架构，可以显著提高服务的可用性、扩展性和管理效率。Consul实现了服务的自动注册与发现，而Nginx则通过动态配置实现了高效的反向代理与负载均衡。这种架构非常适合需要高可用性和弹性扩展的分布式系统。
蓝易云
35 4
蓝易云
|
1月前
|
负载均衡 应用服务中间件 nginx
基于Nginx和Consul构建自动发现的Docker服务架构——非常之详细
通过使用Nginx和Consul构建自动发现的Docker服务架构，可以显著提高服务的可用性、扩展性和管理效率。Consul实现了服务的自动注册与发现，而Nginx则通过动态配置实现了高效的反向代理与负载均衡。这种架构非常适合需要高可用性和弹性扩展的分布式系统。
蓝易云
55 3
尹正杰
|
3月前
|
应用服务中间件 Linux nginx
Docker镜像-手动制作yum版nginx镜像
这篇文章介绍了如何手动制作一个基于CentOS 7.6的Docker镜像，其中包括下载指定版本的CentOS镜像，创建容器，配置阿里云软件源，安装并配置nginx，自定义nginx日志格式和web页面，最后提交镜像并基于该镜像启动新容器的详细步骤。
尹正杰
180 21
Docker镜像-手动制作yum版nginx镜像
武子康
|
2月前
|
消息中间件 NoSQL Kafka
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
武子康
71 4
shiningrise
|
2月前
|
Docker 容器
docker nginx-proxy 添加自定义https网站
docker nginx-proxy 添加自定义https网站
shiningrise
43 4
尹正杰
|
3月前
|
应用服务中间件 nginx Docker
Docker镜像-基于DockerFile制作编译版nginx镜像
这篇文章介绍了如何基于Dockerfile制作一个编译版的nginx镜像，并提供了详细的步骤和命令。
尹正杰
557 17
Docker镜像-基于DockerFile制作编译版nginx镜像
baker_zhuang
|
2月前
|
前端开发 应用服务中间件 nginx
docker运行nginx镜像
这篇文章详细说明了如何在Docker中部署并运行Nginx服务，包括拉取镜像、配置文件的挂载以及容器的启动配置。
baker_zhuang
410 0
docker运行nginx镜像
qhhf_地道酬勤
|
3月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署（基于Docker容器），Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署（基于Docker容器），docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程，拉取镜像、运行容器
qhhf_地道酬勤
602 3
mall在linux环境下的部署（基于Docker容器），Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
杀死一只知更鸟debug
|
3月前
|
应用服务中间件 nginx Docker
docker应用部署---nginx部署的配置
这篇文章介绍了如何使用Docker部署Nginx服务器，包括搜索和拉取Nginx镜像、创建容器并设置端口映射和目录映射，以及如何创建一个测试页面并使用外部机器访问Nginx服务器。
杀死一只知更鸟debug
276 2
尹正杰
|
3月前
|
应用服务中间件 Linux nginx
Docker镜像-基于DockerFile制作yum版nginx镜像
本文介绍了如何使用Dockerfile制作一个基于CentOS 7.6.1810的yum版nginx镜像，并提供了详细的步骤和命令。
尹正杰
169 20

热门文章

最新文章

  • 1
    Mac：安装Python3并配置环境变量（本地多个Python版本选择配置）
  • 2
    Mac 上 iterm2 和 VSCode 终端中的字体设置建议
  • 3
    Mac下Go安装配置并使用Protobuf
  • 4
    从无到有搭建Macaca环境(for Mac)
  • 5
    MAC地址表配置与绑定
  • 6
    在Mac OS X 10.8中配置Apache ＋ PHP ＋ MySQL
  • 7
    iOS - Mac OS X 常用快捷键
  • 8
    Android 快应用环境搭建(Windows和Mac通用)
  • 9
    彻底解决Jmap在mac版本无法使用的问题
  • 10
    Mac 技术篇-Oracle数据库连接工具SQL Developer启用、关闭自动提交事务，设置自动commit
  • 1
    Kafka 线程模型痛点攻克： 提升分区写入 2 倍性能
    142
  • 2
    spring kafka的问题集锦
    260
  • 3
    【消息中心】kafka消费失败重试10次的问题
    878
  • 4
    Kafka Exactly Once 语义实现原理：幂等性与事务消息
    191
  • 5
    Kafka 迁移工具 MirrorMaker2 原理起底
    283
  • 6
    一文搞懂 Kafka consumer 与 broker 交互机制与原理
    648
  • 7
    Kafka消息队列原理及应用详解
    281
  • 8
    扒开kafka内部组件，咱瞅一瞅都有啥？
    81
  • 9
    DataWorks操作报错合集之通过dataworks把表数据发送到kafka，表字段全是string类型如何解决
    96
  • 10
    人工智能平台PAI 操作报错合集之pyalink 1.6.1StreamOperator.fromDataframe(out_df, out_schema_str)之后直接连kafka sink会报下面的错误如何解决
    253

    • 相关课程

    更多
  • Docker 快速入门
  • Linux Web服务器Nginx搭建与配置
  • Docker完全自学手册图文教程
  • AI开发者的Docker实践
  • 分布式消息系统 Kafka 快速入门
  • Docker 入门

    • 相关电子书

    更多
  • 消息队列kafka介绍
  • CentOS Nginx PHP JAVA 多语言镜像使用手
  • CentOS Nginx PHP JAVA多语言镜像使用手册

    • 相关实验场景

    更多
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • Docker Compose部署案例
  • Docker Compose入门
  • 部署并使用Docker（Alibaba Cloud Linux 3）
  • 部署并使用Docker（CentOS 8）
  • 部署并使用Docker（Alibaba Cloud Linux 2）

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • alpine
    • 下一篇
    【案例实战】SpringBoot整合阿里云文件上传OSS