AI 助理
备案控制台
开发者社区 微服务 文章 正文

Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose

2024-10-12 194
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
任务调度 XXL-JOB 版免费试用，400 元额度，开发版规格
云原生网关 MSE Higress，422元/月
简介： Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose

代码仓库

会同步代码到 GitHub

https://github.com/turbo-duck/flink-demo

本节内容

在学习和测试阶段，需要快速启动一套Flink供我们学习测试。使用常规的安装的方式太费劲了，利用Docker可以快速启动一套完整的系统，方便我们的进行测试！

这里放一些我平常常用的 docker-compose 的文件。供大家学习和测试！


这些都是我们之前要用到的内容：


Flink 部署

Kafka 部署

Redis 部署

Flink 单节点

1个 job manager

1个 task manager

version: '2'

services:
  jobmanager:
    image: 10.10.52.8/flink/flink
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

启动方式

docker-compose up -d

查看日志

docker-compose logs -f

运行效果

Flink高可用

通过 zookeeper 做的高可用

  • 2个 job manager
  • 3个 task manager
  • 1个 zookeeper
version: '2'

services:
  zookeeper:
    image: zookeeper:3.5
    ports:
      - "2181:2181"

  jobmanager1:
    image: 10.10.52.8/flink/flink
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager1
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181
      - HIGH_AVAILABILITY_STORAGE_DIR=file:///flink/ha/

  jobmanager2:
    image: 10.10.52.8/flink/flink
    expose:
      - "6123"
    ports:
      - "8082:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager2
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181
      - HIGH_AVAILABILITY_STORAGE_DIR=file:///flink/ha/

  taskmanager1:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager1
      - jobmanager2
    command: taskmanager
    links:
      - "jobmanager1:jobmanager1"
      - "jobmanager2:jobmanager2"
      - "zookeeper:zookeeper"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager1
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181

  taskmanager2:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager1
      - jobmanager2
    command: taskmanager
    links:
      - "jobmanager1:jobmanager1"
      - "jobmanager2:jobmanager2"
      - "zookeeper:zookeeper"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager1
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181

  taskmanager3:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager1
      - jobmanager2
    command: taskmanager
    links:
      - "jobmanager1:jobmanager1"
      - "jobmanager2:jobmanager2"
      - "zookeeper:zookeeper"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager1
      - ZOOKEEPER_SERVERS=zookeeper:2181
      - HIGH_AVAILABILITY=zookeeper
      - HIGH_AVAILABILITY_ZOOKEEPER_QUORUM=zookeeper:2181

启动方式

docker-compose up -d

查看日志

docker-compose logs -f

Flink多节点

可以不做高可用，直接 1个 JOB 对应 3个 TASK 节点。

但是如果JOB节点挂掉了，TASK节点将无法工作！！！

  • 1个 job manager
  • 3个 task manager
version: '2'

services:
  jobmanager:
    image: 10.10.52.8/flink/flink
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager1:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager2:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager3:
    image: 10.10.52.8/flink/flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

Kafka 部署

注意！KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://10.10.5.68:9092 要修改为自己的IP！

version: "3"
services:
  zookeeper:
    image: 'bitnami/zookeeper:latest'
    ports:
      - '2181:2181'
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
  kafka:
    image: 'bitnami/kafka:2.8.0'
    ports:
      - '9092:9092'
      - '9999:9999'
    environment:
      - KAFKA_BROKER_ID=1
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092
      # 注意这里的IP 改成自己的！！！
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://10.10.5.68:9092
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
      - KAFKA_CFG_LOG_RETENTION_HOURS=6
      - JMX_PORT=9999
    depends_on:
      - zookeeper

Redis 部署

version: "3"

services:
  redis:
    image: "redis:latest"
    container_name: "redis_container"
    ports:
      - "6379:6379"

文章标签：
云消息队列 Kafka 版
微服务引擎
实时计算 Flink版
容器
流计算
消息中间件
NoSQL
Kafka
关键词：
部署云数据库 Tair（兼容 Redis）
Docker部署
Java Redis
java云数据库 Tair（兼容 Redis）
Docker容器
武子康
目录
相关文章
啦啦啦191
|
19天前
|
缓存 监控 NoSQL
Redis 实操要点：Java 最新技术栈的实战解析
本文介绍了基于Spring Boot 3、Redis 7和Lettuce客户端的Redis高级应用实践。内容包括：1）现代Java项目集成Redis的配置方法；2）使用Redisson实现分布式可重入锁与公平锁；3）缓存模式解决方案，包括布隆过滤器防穿透和随机过期时间防雪崩；4）Redis数据结构的高级应用，如HyperLogLog统计UV和GeoHash处理地理位置。文章提供了详细的代码示例，涵盖Redis在分布式系统中的核心应用场景，特别适合需要处理高并发、分布式锁等问题的开发场景。
啦啦啦191
115 38
蓝易云
|
3月前
|
NoSQL Java API
在Java环境下如何进行Redis数据库的操作
总的来说，使用Jedis在Java环境下进行Redis数据库的操作，是一种简单而高效的方法。只需要几行代码，就可以实现复杂的数据操作。同时，Jedis的API设计得非常直观，即使是初学者，也可以快速上手。
蓝易云
226 94
啦啦啦191
|
19天前
|
缓存 NoSQL Java
Java Redis 面试题集锦 常见高频面试题目及解析
本文总结了Redis在Java中的核心面试题，包括数据类型操作、单线程高性能原理、键过期策略及分布式锁实现等关键内容。通过Jedis代码示例展示了String、List等数据类型的操作方法，讲解了惰性删除和定期删除相结合的过期策略，并提供了Spring Boot配置Redis过期时间的方案。文章还探讨了缓存穿透、雪崩等问题解决方案，以及基于Redis的分布式锁实现，帮助开发者全面掌握Redis在Java应用中的实践要点。
啦啦啦191
61 6
啦啦啦191
|
20天前
|
Java 调度 流计算
基于Java 17 + Spring Boot 3.2 + Flink 1.18的智慧实验室管理系统核心代码
这是一套基于Java 17、Spring Boot 3.2和Flink 1.18开发的智慧实验室管理系统核心代码。系统涵盖多协议设备接入（支持OPC UA、MQTT等12种工业协议）、实时异常检测（Flink流处理引擎实现设备状态监控）、强化学习调度（Q-Learning算法优化资源分配）、三维可视化（JavaFX与WebGL渲染实验室空间）、微服务架构（Spring Cloud构建分布式体系）及数据湖建设（Spark构建实验室数据仓库）。实际应用中，该系统显著提升了设备调度效率（响应时间从46分钟降至9秒）、设备利用率（从41%提升至89%），并大幅减少实验准备时间和维护成本。
啦啦啦191
80 0
脆皮架构师
|
4月前
|
NoSQL Redis Docker
Docker——阿里云服务器利用docker搭建redis集群
本文详细记录了使用Docker搭建Redis集群的过程，包括检查Docker和Docker Compose的安装、创建Redis配置文件、编写`docker-compose.yml`文件、启动Redis节点、创建Redis集群的具体步骤，以及最终的验证方法。文章还提供了在多服务器环境下搭建Redis集群的注意事项，帮助读者全面了解 Redis 集群的部署流程。
脆皮架构师
468 70
荆棘成功之路
|
2月前
|
消息中间件 数据可视化 Kafka
docker arm架构部署kafka要点
本内容介绍了基于 Docker 的容器化解决方案，包含以下部分： 1. **Docker 容器管理**：通过 Portainer 可视化管理工具实现对主节点和代理节点的统一管理。 2. **Kafka 可视化工具**：部署 Kafka-UI 以图形化方式监控和管理 Kafka 集群，支持动态配置功能， 3. **Kafka 安装与配置**：基于 Bitnami Kafka 镜像，提供完整的 Kafka 集群配置示例，涵盖 KRaft 模式、性能调优参数及数据持久化设置，适用于高可用生产环境。 以上方案适合 ARM64 架构，为用户提供了一站式的容器化管理和消息队列解决方案。
荆棘成功之路
130 10
aliyun5346531989-29970
|
5月前
|
存储 NoSQL Redis
Docker 部署 Redis
在使用 Docker 部署 Redis 时，为实现数据持久化，需正确挂载容器内的数据目录到宿主机。推荐命令如下： ``` docker run -d --name redis -v /mnt/data/redis:/data -p 6379:6379 redis ``` 该命令将宿主机的 `/mnt/data/redis` 目录挂载到容器的 `/data` 目录，确保 Redis 数据持久化。此路径更通用，适合大多数场景。避免使用不匹配的挂载路径，如 `/var/lib/redis` 或 `/mnt/data/redis` 到非默认目录，以防止数据无法正确持久化。
aliyun5346531989-29970
335 64
蓝易云
|
3月前
|
NoSQL Redis 数据库
Docker平台上的Redis镜像运行
这就是如何在Docker平台上运行Redis镜像的全部过程。走进Docker和Redis的世界，探索更多可能！
蓝易云
258 10
技术自由圈/原疯狂创客圈
|
5月前
|
Linux 网络安全 Docker
尼恩一键开发环境： vagrant+java+springcloud+redis+zookeeper镜像下载(&制作详解)
尼恩提供了一系列文章，旨在帮助开发者轻松搭建一键开发环境，涵盖Java分布式、高并发场景下的多种技术组件安装与配置。内容包括但不限于Windows和CentOS虚拟机的安装与排坑指南、MySQL、Kafka、Redis、Zookeeper等关键组件在Linux环境下的部署教程，并附带详细的视频指导。此外，还特别介绍了Vagrant这一虚拟环境部署工具，
技术自由圈/原疯狂创客圈
174 7
尼恩一键开发环境： vagrant+java+springcloud+redis+zookeeper镜像下载(&制作详解)
大数据文摘
|
5月前
|
存储 安全 算法
Java容器及其常用方法汇总
Java Collections框架提供了丰富的接口和实现类，用于管理和操作集合数据。
大数据文摘
63 2
Java容器及其常用方法汇总

热门文章

最新文章

  • 1
    在Docker容器中部署GitLab服务器的步骤（面向Ubuntu 16.04）
  • 2
    基于Java 17 + Spring Boot 3.2 + Flink 1.18的智慧实验室管理系统核心代码
  • 3
    Flink CDC + Kafka 加速业务实时化
  • 4
    阿里云消息队列 Kafka 架构及典型应用场景
  • 5
    智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
  • 6
    Java 开发中基于 Spring Boot 框架实现 MQTT 消息推送与订阅功能详解
  • 7
    2025 版 Java 零基础入门到精通实操指南
  • 8
    JD-GUI，java反编译工具及原理: JavaDecompiler一个Java反编译器
  • 9
    Java 开发中 String、StringBuffer、StringBuilder 的使用方法及场景详解
  • 10
    Java 17 + 特性与现代开发技术实操应用详解
  • 1
    MongoDB保姆级指南(下)：无缝集成SpringData框架，一篇最全面的Java接入指南！
    523
  • 2
    大家都说Java有三种创建线程的方式！并发编程中的惊天骗局！
    110
  • 3
    (九)Java网络编程无冕之王-这回把大名鼎鼎的Netty框架一网打尽！
    330
  • 4
    Java中的并发编程：深入理解线程同步与协作机制
    197
  • 5
    Java中的Lambda表达式和函数式编程简介
    59
  • 6
    探索Java中的Lambda表达式
    33
  • 7
    深入Java并发编程：从基础到高级
    50
  • 8
    Java接口
    61
  • 9
    Java中的Lambda表达式：简化代码的现代方法
    95
  • 10
    java 监控服务 如何实时发送数据到前端
    185

    • 相关课程

    更多
  • AI开发者的Docker实践
  • 实时计算 Flink 版产品入门与实操
  • 开源 Flink 极速上手教程
  • 大数据实时计算框架Spark快速入门
  • Docker 入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Flink CDC Meetup PPT - 龚中强
  • Flink CDC Meetup PPT - 王赫
  • Flink CDC Meetup PPT - 覃立辉

    • 相关实验场景

    更多
  • 基于Redis实现在线游戏积分排行榜
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • Docker镜像管理快速入门
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏
  • 5分钟上手Flink MySQL连接器

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
    • 下一篇
    【案例实战】SpringBoot整合阿里云文件上传OSS