环境篇之 flink 的 HA 的切换测试|学习笔记

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习环境篇之 flink 的 HA 的切换测试

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 flink 的 HA的切换测试】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10710


环境篇之 flink 的 HA 的切换测试

flink 的 HA 的切换测试

因为 HA 有两个 jobmanager,分别是01和02。

当有一个 leader 无法使用后,另一个 jobmanager 会成为 leader 继续启动提供服务。

通过 jM log 查看是 leader(active) 还是 standby 状态。即查看到哪个是正常服务,哪个处于待命状态。

查看两个 jobmanager 的日志,打开 web 控制台,点击左侧菜单栏的 Job Manager,进入后点击上方的 Logs。

hadoop01 的日志:

图片7.png

日志中如图存在 leadership,hadoop01正处在 leader 状态

再来查看02的日志,

如图没有 leadership 标识

图片8.png

1.手动杀死激活状态的 jobmanager  

输入

Jps

结果显示:

1696 NameNode

7121 Jps

1830 DataNode

6536 StandaloneSessionClusterEntrypoint

7016 TaskManagerRunner

1547 QuorumPeerMain

3372 NodeManager

3262 ResourceManager

2623 -- process information unavailable

再输入kill -9 6536

这时再来查看页面,hadoop01 页面已经显示访问不到,查看 hadoop02,控制台上显示可用的 Task Slots 是3个,默认是1个。再来看 Job Manager,点击 Logs

最下方显示出 hadoop02 变成了 leadership

2.测试是否可以跑作业

点击菜单栏的 Submit New job,上传一个文件,输入

--input hdfs://hadoop01:9000/words --output  

hdfs://hadoop01:9000/out/01

点击 submit

图片9.png

正常在跑作业

也可以点击菜单栏 Completed jobs,显示有一个已经完成

图片10.png

3.杀死之后进行恢复,再次启动输入

jobmanager.sh.start

jps

结果显示

1696 NameNode

7584 StandaloneSessionClusterEntrypoint

7602 Jps

1830 DataNode

7016 TaskManagerRunner

1547 QuorumPeerMain

3372 NodeManager

3262 ResourceManager

2623 -- process information unavailable

此时再来查看 hadoop01的页面,刷新显示页面后点击 Job Manager,点击 Logs,显示如图,没有 leader,只处在监听状态

图片11.png

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
12月前
|
消息中间件 分布式计算 大数据
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
439 0
|
12月前
|
测试技术
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
本文介绍了如何使用Pytest和Allure生成自动化测试报告。通过安装allure-pytest和配置环境,可以生成包含用例描述、步骤、等级等详细信息的美观报告。文章还提供了代码示例和运行指南,以及重构项目时的注意事项。
926 1
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
|
11月前
|
消息中间件 资源调度 关系型数据库
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
509 9
|
12月前
|
Java 流计算
Flink-03 Flink Java 3分钟上手 Stream 给 Flink-02 DataStreamSource Socket写一个测试的工具!
Flink-03 Flink Java 3分钟上手 Stream 给 Flink-02 DataStreamSource Socket写一个测试的工具!
152 1
Flink-03 Flink Java 3分钟上手 Stream 给 Flink-02 DataStreamSource Socket写一个测试的工具!
|
12月前
|
测试技术 Python
自动化测试项目学习笔记(四):Pytest介绍和使用
本文是关于自动化测试框架Pytest的介绍和使用。Pytest是一个功能丰富的Python测试工具,支持参数化、多种测试类型,并拥有众多第三方插件。文章讲解了Pytest的编写规则、命令行参数、执行测试、参数化处理以及如何使用fixture实现测试用例间的调用。此外,还提供了pytest.ini配置文件示例。
533 2
|
12月前
|
测试技术 Python
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
本文主要介绍了自动化测试中setup、teardown、断言方法的使用,以及unittest框架中setUp、tearDown、setUpClass和tearDownClass的区别和应用。
351 0
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
|
12月前
|
分布式计算 Java 大数据
大数据-122 - Flink Time Watermark Java代码测试实现Tumbling Window
大数据-122 - Flink Time Watermark Java代码测试实现Tumbling Window
124 0
|
存储 分布式计算 监控
分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
200 0
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之holo源表有6亿数据,binlogStartupMode配置为initial,无法插入数据到结果表,少量数据测试可以,该怎么办
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
Java 测试技术 容器
Jmeter工具使用:HTTP接口性能测试实战
希望这篇文章能够帮助你初步理解如何使用JMeter进行HTTP接口性能测试,有兴趣的话,你可以研究更多关于JMeter的内容。记住,只有理解并掌握了这些工具,你才能充分利用它们发挥其应有的价值。+
747 23

热门文章

最新文章