AI 助理
文档备案控制台
开发者社区 微服务 文章 正文

Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose

2024-10-12 527
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose

代码仓库

会同步代码到 GitHub

https://github.com/turbo-duck/flink-demo

本节内容

在学习和测试阶段，需要快速启动一套Flink供我们学习测试。使用常规的安装的方式太费劲了，利用Docker可以快速启动一套完整的系统，方便我们的进行测试！

这里放一些我平常常用的 docker-compose 的文件。供大家学习和测试！


这些都是我们之前要用到的内容：


Flink 部署

Kafka 部署

Redis 部署

Flink 单节点

1个 job manager

1个 task manager

version: '2'

services:
  jobmanager:
    image: 10.10.52.8/flink/flink
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

启动方式

docker-compose up -d

查看日志

docker-compose logs -f

运行效果

Flink高可用

通过 zookeeper 做的高可用

  • 2个 job manager
  • 3个 task manager
  • 1个 zookeeper
version: '2'

services:
  zookeeper:
    image: zookeeper:3.5
    ports:
      - "2181:2181"

  jobmanager1:
    image: 10.10.52.8/flink/flink
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager1
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181
      - HIGH_AVAILABILITY_STORAGE_DIR=file:///flink/ha/

  jobmanager2:
    image: 10.10.52.8/flink/flink
    expose:
      - "6123"
    ports:
      - "8082:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager2
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181
      - HIGH_AVAILABILITY_STORAGE_DIR=file:///flink/ha/

  taskmanager1:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager1
      - jobmanager2
    command: taskmanager
    links:
      - "jobmanager1:jobmanager1"
      - "jobmanager2:jobmanager2"
      - "zookeeper:zookeeper"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager1
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181

  taskmanager2:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager1
      - jobmanager2
    command: taskmanager
    links:
      - "jobmanager1:jobmanager1"
      - "jobmanager2:jobmanager2"
      - "zookeeper:zookeeper"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager1
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181

  taskmanager3:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager1
      - jobmanager2
    command: taskmanager
    links:
      - "jobmanager1:jobmanager1"
      - "jobmanager2:jobmanager2"
      - "zookeeper:zookeeper"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager1
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181

启动方式

docker-compose up -d

查看日志

docker-compose logs -f

Flink多节点

可以不做高可用，直接 1个 JOB 对应 3个 TASK 节点。

但是如果JOB节点挂掉了，TASK节点将无法工作！！！

  • 1个 job manager
  • 3个 task manager
version: '2'

services:
  jobmanager:
    image: 10.10.52.8/flink/flink
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager1:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager2:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager3:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

Kafka 部署

注意！KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://10.10.5.68:9092 要修改为自己的IP！

version: "3"
services:
  zookeeper:
    image: 'bitnami/zookeeper:latest'
    ports:
      - '2181:2181'
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
  kafka:
    image: 'bitnami/kafka:2.8.0'
    ports:
      - '9092:9092'
      - '9999:9999'
    environment:
      - KAFKA_BROKER_ID=1
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092
      # 注意这里的IP 改成自己的！！！
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://10.10.5.68:9092
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
      - KAFKA_CFG_LOG_RETENTION_HOURS=6
      - JMX_PORT=9999
    depends_on:
      - zookeeper

Redis 部署

version: "3"

services:
  redis:
    image: "redis:latest"
    container_name: "redis_container"
    ports:
      - "6379:6379"

文章标签：
云消息队列 Kafka 版
微服务引擎
实时计算 Flink版
容器
流计算
消息中间件
NoSQL
Kafka
关键词：
Docker部署
Java部署
容器redis
Docker容器redis
Docker redis
武子康
目录
相关文章
游客e5t4h2fblkshy
|
9月前
|
关系型数据库 应用服务中间件 nginx
Docker一键安装中间件(RocketMq、Nginx、MySql、Minio、Jenkins、Redis）
本系列脚本提供RocketMQ、Nginx、MySQL、MinIO、Jenkins和Redis的Docker一键安装与配置方案，适用于快速部署微服务基础环境。
游客e5t4h2fblkshy
1016 5
varin
|
7月前
|
存储 SQL NoSQL
Redis-常用语法以及java互联实践案例
本文详细介绍了Redis的数据结构、常用命令及其Java客户端的使用，涵盖String、Hash、List、Set、SortedSet等数据类型及操作，同时提供了Jedis和Spring Boot Data Redis的实战示例，帮助开发者快速掌握Redis在实际项目中的应用。
varin
586 1
Redis-常用语法以及java互联实践案例
javaercn
|
6月前
|
存储 NoSQL Redis
手把手教你用 Docker 部署 Redis
Redis是高性能内存数据库，支持多种数据结构，适用于缓存、消息队列等场景。本文介绍如何通过Docker快速拉取轩辕镜像并部署Redis，涵盖快速启动、持久化存储及docker-compose配置，助力开发者高效搭建稳定服务。
javaercn
2084 8
凉凉心.
|
6月前
|
NoSQL 算法 Redis
【Docker】（3）学习Docker中 镜像与容器数据卷、映射关系！手把手带你安装 MySql主从同步 和 Redis三主三从集群！并且进行主从切换与扩容操作，还有分析 哈希分区 等知识点！
Union文件系统（UnionFS）是一种**分层、轻量级并且高性能的文件系统**，它支持对文件系统的修改作为一次提交来一层层的叠加，同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承，基于基础镜像（没有父镜像），可以制作各种具体的应用镜像。
凉凉心.
750 6
蓝易云
|
NoSQL Java API
在Java环境下如何进行Redis数据库的操作
总的来说，使用Jedis在Java环境下进行Redis数据库的操作，是一种简单而高效的方法。只需要几行代码，就可以实现复杂的数据操作。同时，Jedis的API设计得非常直观，即使是初学者，也可以快速上手。
蓝易云
452 94
啦啦啦191
|
10月前
|
缓存 监控 NoSQL
Redis 实操要点：Java 最新技术栈的实战解析
本文介绍了基于Spring Boot 3、Redis 7和Lettuce客户端的Redis高级应用实践。内容包括：1）现代Java项目集成Redis的配置方法；2）使用Redisson实现分布式可重入锁与公平锁；3）缓存模式解决方案，包括布隆过滤器防穿透和随机过期时间防雪崩；4）Redis数据结构的高级应用，如HyperLogLog统计UV和GeoHash处理地理位置。文章提供了详细的代码示例，涵盖Redis在分布式系统中的核心应用场景，特别适合需要处理高并发、分布式锁等问题的开发场景。
啦啦啦191
578 42
蓝易云
|
9月前
|
NoSQL Redis 数据安全/隐私保护
挂载配置文件以Docker启动Redis服务
以上步骤提供了一个高效且实用的方式来使用Docker启动并运行带有自定义配置的Redis服务。这些操作可以适用于开发、测试和生产环境，是一种灵活且可扩展的部署方案。通过挂载配置文件和数据卷，您可以轻松地管理和迁移您的Redis实例。
蓝易云
938 9
啦啦啦191
|
10月前
|
缓存 NoSQL Java
Java Redis 面试题集锦 常见高频面试题目及解析
本文总结了Redis在Java中的核心面试题，包括数据类型操作、单线程高性能原理、键过期策略及分布式锁实现等关键内容。通过Jedis代码示例展示了String、List等数据类型的操作方法，讲解了惰性删除和定期删除相结合的过期策略，并提供了Spring Boot配置Redis过期时间的方案。文章还探讨了缓存穿透、雪崩等问题解决方案，以及基于Redis的分布式锁实现，帮助开发者全面掌握Redis在Java应用中的实践要点。
啦啦啦191
545 6
荆棘成功之路
|
11月前
|
消息中间件 数据可视化 Kafka
docker arm架构部署kafka要点
本内容介绍了基于 Docker 的容器化解决方案，包含以下部分： 1. **Docker 容器管理**：通过 Portainer 可视化管理工具实现对主节点和代理节点的统一管理。 2. **Kafka 可视化工具**：部署 Kafka-UI 以图形化方式监控和管理 Kafka 集群，支持动态配置功能， 3. **Kafka 安装与配置**：基于 Bitnami Kafka 镜像，提供完整的 Kafka 集群配置示例，涵盖 KRaft 模式、性能调优参数及数据持久化设置，适用于高可用生产环境。 以上方案适合 ARM64 架构，为用户提供了一站式的容器化管理和消息队列解决方案。
荆棘成功之路
1017 10
啦啦啦191
|
8月前
|
Kubernetes Docker Python
Docker 与 Kubernetes 容器化部署核心技术及企业级应用实践全方案解析
本文详解Docker与Kubernetes容器化技术，涵盖概念原理、环境搭建、镜像构建、应用部署及监控扩展，助你掌握企业级容器化方案，提升应用开发与运维效率。
啦啦啦191
1174 108

热门文章

最新文章

  • 1
    如何降低90%Java垃圾回收时间？以阿里HBase的GC优化实践为例
  • 2
    【Java每日一题】——第三十四题：设计一个学生类Student和它的一个子类Undergraduate
  • 3
    阿里云自然语言处理--中心词提取（中文）Java SDK 调用示例
  • 4
    java面试题：写代码使得分别出现StackOverflowError和OutOfMemoryError
  • 5
    重磅！advanced-java 离线手册正式发布！
  • 6
    MessagePack Java Jackson Dataformat 在 Map 中不使用 String 为 Key 的序列化
  • 7
    Java版Spring Cloud B2B2C o2o社交电商- zuul网关实现
  • 8
    Java与.NET的WebServices相互调用
  • 9
    Java Socket Example
  • 10
    《Java Web开发速学宝典》样章（共3章）
  • 1
    Kafka 架构深入介绍 及搭建Filebeat+Kafka+ELK
    732
  • 2
    性能工具之 Kafka 快速 BenchMark 测试示例
    1629
  • 3
    【夏之以寒-Kafka专栏 01】Kafka的消息是采用Pull模式还是Push模式？
    709
  • 4
    关于kafka消费者超时配置
    763
  • 5
    原理剖析| 一文搞懂 Kafka Producer（上）
    997
  • 6
    实时计算 Flink版产品使用合集之如何批量读取Kafka数据
    1651
  • 7
    腾讯面试：如何提升Kafka吞吐量？
    302
  • 8
    实时计算 Flink版产品使用合集之使用DTS从RDSMySQL数据库同步数据到云Kafka，增量同步数据延迟时间超过1秒。如何诊断问题并降低延迟
    345
  • 9
    实时计算 Flink版操作报错之运行kafka时报错：javax.management.InstanceAlreadyExistsException，该如何解决
    1318
  • 10
    实时计算 Flink版操作报错之连接外部kafka本地执行测试代码报错如何解决
    432

    • 相关课程

    更多
  • Java面试疑难点解析 - 面试技巧及语言基础
  • Java面试疑难点解析 - Java Web开发
  • Java面试疑难点解析 - 系统架构及项目设计
  • Java编程入门
  • Java面向对象编程
  • Java高级编程

    • 相关电子书

    更多
  • Spring Cloud Alibaba - 重新定义 Java Cloud-Native
  • The Reactive Cloud Native Arch
  • JAVA开发手册1.5.0

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
    • 下一篇
    开通oss服务