四、 Flink初体验

1. 启动Flink集群

cd /export/server/flink
bin/start-cluster.sh

        

          
        
        
        

          

          AI 代码解读
        
      
      

2. 通过jps查看进程信息

3. flink整合hadoop

flink与hadoop整合的时候需要上传整合的jar包：flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar、commons-cli-1.4.jar，到flink安装目录的lib目录下
注意: 集群中每个节点都需要拷贝

4. 启动HDFS集群

如果你还不会启动HDFS集群，请查看我另一篇文章:【Hadoop技术篇】hadoop的使用

5. 在HDFS中创建/test/input目录, 上传wordcount.txt文件到HDFS /test/input目录

先把 wordcount.txt 文件上传到 /root 目录下

[root@node1 ~] hdfs dfs -mkdir -p /test/input
[root@node1 ~] hdfs dfs -put wordcount.txt /test/input
[root@node1 ~] hdfs dfs -ls /test/input
Found 1 items
-rw-r--r--   3 root supergroup        229 2022-01-01 15:55 /test/input/wordcount.txt

        

          
        
        
        

          

          AI 代码解读
        
      
      

6. 递交作业

bin/flink run /export/server/flink/examples/batch/WordCount.jar  \
--input hdfs://node1:8020/test/input/wordcount.txt \
--output hdfs://node1:8020/test/output/result.txt \
--parallelism 2

        

          
        
        
        

          

          AI 代码解读
        
      
      

7. 浏览Flink Web UI界面

8. 命令合集

#启动/停止jobmanager
./bin/start-cluster.sh
./bin/stop-cluster.sh
#如果集群中的jobmanager进程挂了，执行下面命令启动
bin/jobmanager.sh start
bin/jobmanager.sh stop
#添加新的taskmanager节点或者重启taskmanager节点
bin/taskmanager.sh start
bin/taskmanager.sh stop

        

          
        
        
        

          

          AI 代码解读