环境篇之 flink 的 historyserver 的测试|学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 快速学习环境篇之 flink 的 historyserver 的测试

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 flink 的historyserver 的测试】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10711


环境篇之 flink 的 historyserver 的测试

内容介绍:

一、historyserver 配置

二、启动历史服务


一、historyserver 配置

先来查看配置,同样需要配置文件

配置:vi ./conf/flink-conf.yaml..,追加如下内容

输入 cd/usr/local/flink-1.9.1/

再输入vi ./conf/flink-conf.yaml

进入后在最后输入

#job historyserver settings

# The HistoryServer is started and stopped via  

bin/historyserver.sh (start/stop)

# Directory to upload completed jobs to. Add this directory to the list of

# monitored directories of the HistoryServer as well(see below).

jobmanager.archive.fs.dir: hdfs://hadoop01:9006/flink_completed_jobs/

//保存已经完成的作业放在该目录

# The address under which the web-based HistoryServer listens.

historyserver.web .address: 192.168.216.111    

//在哪台服务器上启动

# The port under which the web-based HistoryServer listens.

historyserver.web .port: 8082 //端口号

# Comma separated list of directories to monitor for completed jobs.

historyserver.archive.fs.dir: hdfs://hadoop01:9000/flink_completed_jobs/    //拷贝该目录

# Interval in milliseconds for refreshing the monitored directories.

historyserver .archive.fs .refresh-interval : 10000  //刷新间隔

在另外的端口上也需要配置,输入同样操作,重复三次,保证三台服务器一样


二、启动历史服务

接下来启动历史服务:

可以先输入./bin/进行查看

结果显示有 historyserver.sh 的启动,接着输入

/bin/historyserver.sh start

jps

启动完后可以看到结果显示有

8047 HistoryServer

之后可以在页面上进行访问,输入网址

hadoop01:8082

进入后没有显示内容,可以再次运行刚才的作业,输入参数

--inputhdfs://hadoop01:9000/words--output hdfs://hadoop01:9000/out/02

提交后

图片12.png

再来查看刚才的控制台仍没有内容,此时需要重新启动 flink 集群

再刷新页面,可以看到显示有历史记录

图片13.png

安装了配置后的控制台会自动保存,数据不会丢失,而刚才提交作业的控制台页面没有安装配置,不会保存

在该页面输入/来查看,显示如图

图片14.png

点击 flink completed jobs,进来后如图

图片15.png

保存后的数据状态都可以查看,在控制台上都可以看到,如图有配置,输入输出,进度等信息,也可以点击 Exceptions 看到异常

图片16.png

Overview 里显示每一个阶段,想要具体查看都可以进行点击,如图

图片17.png

以上等等都可以在历史服务中查看。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
3月前
|
消息中间件 分布式计算 大数据
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
186 0
|
2月前
|
机器学习/深度学习 人工智能 算法
BALROG:基准测试工具,用于评估 LLMs 和 VLMs 在复杂动态环境中的推理能力
BALROG 是一款用于评估大型语言模型(LLMs)和视觉语言模型(VLMs)在复杂动态环境中推理能力的基准测试工具。它通过一系列挑战性的游戏环境,如 NetHack,测试模型的规划、空间推理和探索能力。BALROG 提供了一个开放且细粒度的评估框架,推动了自主代理研究的进展。
53 3
BALROG:基准测试工具,用于评估 LLMs 和 VLMs 在复杂动态环境中的推理能力
|
2月前
|
缓存 Ubuntu Linux
Linux环境下测试服务器的DDR5内存性能
通过使用 `memtester`和 `sysbench`等工具,可以有效地测试Linux环境下服务器的DDR5内存性能。这些工具不仅可以评估内存的读写速度,还可以检测内存中的潜在问题,帮助确保系统的稳定性和性能。通过合理配置和使用这些工具,系统管理员可以深入了解服务器内存的性能状况,为系统优化提供数据支持。
60 4
|
2月前
|
消息中间件 资源调度 关系型数据库
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
149 9
|
2月前
|
机器学习/深度学习 自然语言处理 前端开发
前端神经网络入门:Brain.js - 详细介绍和对比不同的实现 - CNN、RNN、DNN、FFNN -无需准备环境打开浏览器即可测试运行-支持WebGPU加速
本文介绍了如何使用 JavaScript 神经网络库 **Brain.js** 实现不同类型的神经网络,包括前馈神经网络(FFNN)、深度神经网络(DNN)和循环神经网络(RNN)。通过简单的示例和代码,帮助前端开发者快速入门并理解神经网络的基本概念。文章还对比了各类神经网络的特点和适用场景,并简要介绍了卷积神经网络(CNN)的替代方案。
254 1
|
3月前
|
测试技术
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
本文介绍了如何使用Pytest和Allure生成自动化测试报告。通过安装allure-pytest和配置环境,可以生成包含用例描述、步骤、等级等详细信息的美观报告。文章还提供了代码示例和运行指南,以及重构项目时的注意事项。
359 1
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
|
2月前
|
编解码 安全 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(10-2):保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali——Liinux-Debian:就怕你学成黑客啦!)作者——LJS
保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali以及常见的报错及对应解决方案、常用Kali功能简便化以及详解如何具体实现
|
3月前
|
测试技术 Python
自动化测试项目学习笔记(四):Pytest介绍和使用
本文是关于自动化测试框架Pytest的介绍和使用。Pytest是一个功能丰富的Python测试工具,支持参数化、多种测试类型,并拥有众多第三方插件。文章讲解了Pytest的编写规则、命令行参数、执行测试、参数化处理以及如何使用fixture实现测试用例间的调用。此外,还提供了pytest.ini配置文件示例。
73 2
|
3月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
98 1
|
3月前
|
测试技术 Python
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
本文主要介绍了自动化测试中setup、teardown、断言方法的使用,以及unittest框架中setUp、tearDown、setUpClass和tearDownClass的区别和应用。
99 0
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法