开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 flink 的historyserver 的测试】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/643/detail/10711
环境篇之 flink 的 historyserver 的测试
内容介绍:
一、historyserver 配置
二、启动历史服务
一、historyserver 配置
先来查看配置,同样需要配置文件
配置:vi ./conf/flink-conf.yaml..,追加如下内容
输入 cd/usr/local/flink-1.9.1/
再输入vi ./conf/flink-conf.yaml
进入后在最后输入
#job historyserver settings
# The HistoryServer is started and stopped via
bin/historyserver.sh (start/stop)
# Directory to upload completed jobs to. Add this directory to the list of
# monitored directories of the HistoryServer as well(see below).
jobmanager.archive.fs.dir: hdfs://hadoop01:9006/flink_completed_jobs
/
//保存已经完成的作业放在该目录
# The address under which the web-based HistoryServer listens.
historyserver.web .address: 192.168.216.111
//在哪台服务器上启动
# The port under which the web-based HistoryServer listens.
historyserver.web .port: 8082
//端口号
# Comma separated list of directories to monitor for completed jobs.
historyserver.archive.fs.dir: hdfs://hadoop01:9000/flink_completed_jobs/
//拷贝该目录
# Interval in milliseconds for refreshing the monitored directories.
historyserver .archive.fs .refresh-interval : 10000
//刷新间隔
在另外的端口上也需要配置,输入同样操作,重复三次,保证三台服务器一样
二、启动历史服务
接下来启动历史服务:
可以先输入./bin/
进行查看
结果显示有 historyserver.sh 的启动,接着输入
/bin/historyserver.sh start
jps
启动完后可以看到结果显示有
8047 HistoryServer
之后可以在页面上进行访问,输入网址
hadoop01:8082
进入后没有显示内容,可以再次运行刚才的作业,输入参数
--inputhdfs://hadoop01:9000/words--output hdfs://hadoop01:9000/out/02
提交后
再来查看刚才的控制台仍没有内容,此时需要重新启动 flink 集群
再刷新页面,可以看到显示有历史记录
安装了配置后的控制台会自动保存,数据不会丢失,而刚才提交作业的控制台页面没有安装配置,不会保存
在该页面输入/来查看,显示如图
点击 flink completed jobs,进来后如图
保存后的数据状态都可以查看,在控制台上都可以看到,如图有配置,输入输出,进度等信息,也可以点击 Exceptions 看到异常
Overview 里显示每一个阶段,想要具体查看都可以进行点击,如图
以上等等都可以在历史服务中查看。