安装环境准备:
jdk1.8.0_281
scala-2.11.12
hadoop-2.8.5
flink-1.12.1-bin-scala_2.11.tgz
(1)Flink下载安装
Flink下载地址:
https://flink.apache.org/zh/downloads.html#section-9
选择第二个Binaries下载,然后选择对应的Scala版本,我这里使用的是Scala2.11.12,所以我下载flink对应Scala的版本。网上有的教程是安装的flink1.9版本,从flink1.9的官方文档看出需要Hadoop2.8.3编译Flink。
对比flink1.12的版本,1.12的官方文档和1.9的官方文档有差距,flink1.12不需要Hadoop编译!
(2)安装配置
Flink1.12官方文档安装部署:
对文件赋予权限
chmod u+x flink-1.12.1-bin-scala_2.11.tgz
解压软件
tar -zxvf flink-1.12.1-bin-scala_2.11.tgz -C /opt/modules/
创建软链接
ln -s flink-1.12.1/ flink
配置standalone集群模式,我配置一台master节点,三台worker节点。
修改conf/flink-conf.yaml
jobmanager.rpc.address: bigdata-pro-m07
配置conf/masters
bigdata-pro-m07:8081
配置conf/workers
bigdata-pro-m07 bigdata-pro-m08 bigdata-pro-m09
分发到其他节点
scp -r flink-1.12.1/ bigdata-pro-m08:/opt/modules/ scp -r flink-1.12.1/ bigdata-pro-m09:/opt/modules/ ln -s flink-1.12.1/ flink
(3)服务启动
集群模式服务启动:
bin/start-cluster.sh
Starting cluster. Starting standalonesession daemon on host bigdata-pro-m07. Starting taskexecutor daemon on host bigdata-pro-m07. Starting taskexecutor daemon on host bigdata-pro-m08. Starting taskexecutor daemon on host bigdata-pro-m09.
查看进程:
8721 StandaloneSessionClusterEntrypoint 9113 Jps 9018 TaskManagerRunner
访问WEB UI:
(4)运行测试
启动NC
nc -lk 9999
java java python java java hive hive hbase java java java hive hadoop java hive
运行官网demo
bin/flink run -jar examples/streaming/SocketWindowWordCount.jar --port 9999
查看运行结果
cd /opt/modules/flink/log cat flink-root-taskexecutor-0-bigdata-pro-m07.out java : 4 python : 1 hive : 2 hbase : 1 java : 3 hadoop : 1 hive : 1 java : 1 hive : 1
查看web监控
我们可以看出做的是每隔5秒做一次窗口聚合。