Centos7下Apache Flink1.12安装部署

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 笔记

安装环境准备:

jdk1.8.0_281

scala-2.11.12

hadoop-2.8.5

flink-1.12.1-bin-scala_2.11.tgz


(1)Flink下载安装


Flink下载地址:


https://flink.apache.org/zh/downloads.html#section-96.png

选择第二个Binaries下载,然后选择对应的Scala版本,我这里使用的是Scala2.11.12,所以我下载flink对应Scala的版本。网上有的教程是安装的flink1.9版本,从flink1.9的官方文档看出需要Hadoop2.8.3编译Flink。7.png


对比flink1.12的版本,1.12的官方文档和1.9的官方文档有差距,flink1.12不需要Hadoop编译!


(2)安装配置


Flink1.12官方文档安装部署:


https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/resource-providers/standalone/

对文件赋予权限

chmod u+x flink-1.12.1-bin-scala_2.11.tgz 

解压软件

tar -zxvf flink-1.12.1-bin-scala_2.11.tgz -C /opt/modules/

创建软链接

ln -s flink-1.12.1/ flink

配置standalone集群模式,我配置一台master节点,三台worker节点。

修改conf/flink-conf.yaml

jobmanager.rpc.address: bigdata-pro-m07

配置conf/masters

bigdata-pro-m07:8081

配置conf/workers

bigdata-pro-m07
bigdata-pro-m08
bigdata-pro-m09

分发到其他节点

scp -r flink-1.12.1/ bigdata-pro-m08:/opt/modules/
scp -r flink-1.12.1/ bigdata-pro-m09:/opt/modules/
ln -s flink-1.12.1/ flink


(3)服务启动


集群模式服务启动:

bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m08.
Starting taskexecutor daemon on host bigdata-pro-m09.

查看进程:

8721 StandaloneSessionClusterEntrypoint
9113 Jps
9018 TaskManagerRunner

访问WEB UI:1.jpeg

(4)运行测试

启动NC

nc -lk 9999
java java python 
java java
hive
hive
hbase
java java java hive hadoop
java hive

运行官网demo

bin/flink run -jar examples/streaming/SocketWindowWordCount.jar --port 9999

查看运行结果

cd /opt/modules/flink/log
cat flink-root-taskexecutor-0-bigdata-pro-m07.out 
java : 4
python : 1
hive : 2
hbase : 1
java : 3
hadoop : 1
hive : 1
java : 1
hive : 1

查看web监控

8.png

我们可以看出做的是每隔5秒做一次窗口聚合。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1月前
|
监控 Linux 应用服务中间件
centos7 部署zabbix5 踩坑笔记
centos7 部署zabbix5 踩坑笔记
|
2月前
|
Kubernetes 流计算 Perl
在Rancher K8s上部署Flink时,TaskManager连接不上并不断重启可能是由多种原因导致的
在Rancher K8s上部署Flink时,TaskManager连接不上并不断重启可能是由多种原因导致的
39 7
|
1天前
|
存储 关系型数据库 Linux
CentOS如何使用Docker部署Plik服务并实现公网访问本地设备上传下载文件
CentOS如何使用Docker部署Plik服务并实现公网访问本地设备上传下载文件
18 4
|
1天前
|
存储 安全 网络协议
云服务器 Centos7 部署 Elasticsearch 8.0 + Kibana 8.0 指南
云服务器 Centos7 部署 Elasticsearch 8.0 + Kibana 8.0 指南
8 0
|
15天前
|
运维 Apache 数据安全/隐私保护
CentOS6.5搭建SVN服务器(Apache+SVN)
CentOS6.5搭建SVN服务器(Apache+SVN)
|
15天前
|
Linux 数据库 开发者
Centos7安装docker并部署halo建站
Docker 是一个开源的应用容器引擎,它允许开发者将应用及其依赖打包到可移植的容器中,然后在任何支持 Docker 的平台上运行。Docker 的核心概念包括镜像(Image)、容器(Container)和仓库(Repository)。镜像是创建容器的基础,容器是镜像的运行实例,而仓库是存储和分发镜像的中心仓库。 Docker 的优势在于快速、一致地交付应用,实现响应式部署和扩展,以及更高效地利用硬件资源。它常用于简化配置、代码流水线管理、提
42 0
|
19天前
|
运维 安全 Linux
如何在CentOS部署JumpServer堡垒机并实现无公网ip环境远程访问
如何在CentOS部署JumpServer堡垒机并实现无公网ip环境远程访问
|
23天前
|
数据可视化 Linux Apache
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
|
23天前
|
JavaScript Linux 数据安全/隐私保护
如何在CentOS7部署Wiki.js知识库并实现分享好友公网远程使用【内网穿透】
如何在CentOS7部署Wiki.js知识库并实现分享好友公网远程使用【内网穿透】
|
29天前
|
存储 Linux Shell
centos 部署docker容器 安装 、基本使用方法(一)
centos 部署docker容器 安装 、基本使用方法(一)
38 0