开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版：环境篇之 flink 的集群测试】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/643/detail/10709
环境篇之 flink 的集群测试
内容介绍：
一、启动
二、测试进程
三、监控输入数据
四、测试提交批次作业
一、启动
上节介绍了 flink 的安装配置，本节讲解 flink 的测试
启动顺序:先启动 zk 和 hdfs、再启动 flink。
拷贝hdfs的依赖包:
cp/home/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar/usr/local/flink-1.9.1/lib/
若不拷贝会报错，之后进行远程拷贝
scp/home/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
hadoop02 :/usr/local/flink-1.9.1/lib/
scp/home/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
hadoop03 :/usr/local/flink-1.9.1/lib/
再来启动集群:输入
start-cluster.sh
无法启动，在三个端口中都输入zkServer.sh start再进行启动
再在从中输入zkCli.sh查看可以使用，再输入quit
在主中输入start -all.sh
jps
查看可以使用后再输入start-cluster.sh
启动完毕
二、测试进程
检测每一台的 jps 进程
web 访问地址: http://hadoop01:8081
web 访问地址: http://hadoop02:8081
如图就是 web 的一个控制台
可以看到图中左侧有简介 overview，中间有 Available Task Slots 资源共享和Running jobs 正在运行的 job 数量，Running Job List 运行的 job 列表，Completed Job List 完成的 job
如下图也可以单独查看
可以查看 Task Managers、job Manager
以上证明 web 的页面测试没有问题
如果要关闭 standalone 模式：
./bin/stop-cluster.sh
三、监控输入数据
接下来介绍如何做实时的应用处理：
先安装 nc:
yum install -y nc
再来查看是否可以监听 nc 客户端:新建一个端口，登录 root 用户
然后在主中输入
nc -l 6666 监听到后在从中输入
cd /usr/local/flink-1.9.1/ 进入到后使用包监控该端口：
flink run examples/streaming/SocketWindoWordCount.jar--port 6666
接着在主中输入hello hello hello hi hi
可以看到从中已经开始实时监控，再新建一个端口登录 root用 户，输入cd /usr/local/flink-1.9.1/再来查看监控结果，输入
tail -f /usr/local/flink-1.9.1/log/flink-*-taskexecutor-* .out
结果显示：
hello:3
hi:2
可以在主中继续输入数据：
qianfeng qianfne qianfeng
可以看到刚才显示的结果新增显示：
qianfeng:2
qianfne:1
再在主中输入数据：
good lice nice good
结果显示：
good:2
nice:1
lice:1
以上就叫做 flink 的流式处理，不能显示状态：再输入数据 good 可以看到结果继续显示 good：1，并没有做累加
四、测试提交批次作业
再来测试批处理
flinkrun /usr/local/flink-1.9.1/examples/batch/WordCount.jar --input/home/words --output /home/out/fl00
结果显示报错，不存在该文件
输入cat /home/words
再输入
flinkrun /usr/local/flink-1.9.1/examples/batch/WordCount.jar --input/home/words --output /home/out/fl00
可以看到页面上也存在报错
再来输入
flinkrun /usr/local/flink-1.9.1/examples/batch/WordCount.jar --input/home/words --output /home/out/fl00
刷新页面显示成功
成功后可以来查看一下数据，输入
cat /home/out/fl00
结果显示：
flink 1 hello 3 hroe 1 jiayou 1 qianfeng 1 wuhan 3
再来查看源数据，输入
cat /home/words
结果显示：hello-qianfeng hello-flink wuhan jiayou hello wuhan wuhan hroe
hello-qianfeng hello-flink wuhan jiayou hello wuhan wuhan hroe
