Centos7下Apache Flink1.12安装部署

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 笔记

安装环境准备:

jdk1.8.0_281

scala-2.11.12

hadoop-2.8.5

flink-1.12.1-bin-scala_2.11.tgz


(1)Flink下载安装


Flink下载地址:


https://flink.apache.org/zh/downloads.html#section-96.png

选择第二个Binaries下载,然后选择对应的Scala版本,我这里使用的是Scala2.11.12,所以我下载flink对应Scala的版本。网上有的教程是安装的flink1.9版本,从flink1.9的官方文档看出需要Hadoop2.8.3编译Flink。7.png


对比flink1.12的版本,1.12的官方文档和1.9的官方文档有差距,flink1.12不需要Hadoop编译!


(2)安装配置


Flink1.12官方文档安装部署:


https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/resource-providers/standalone/

对文件赋予权限

chmod u+x flink-1.12.1-bin-scala_2.11.tgz 

解压软件

tar -zxvf flink-1.12.1-bin-scala_2.11.tgz -C /opt/modules/

创建软链接

ln -s flink-1.12.1/ flink

配置standalone集群模式,我配置一台master节点,三台worker节点。

修改conf/flink-conf.yaml

jobmanager.rpc.address: bigdata-pro-m07

配置conf/masters

bigdata-pro-m07:8081

配置conf/workers

bigdata-pro-m07
bigdata-pro-m08
bigdata-pro-m09

分发到其他节点

scp -r flink-1.12.1/ bigdata-pro-m08:/opt/modules/
scp -r flink-1.12.1/ bigdata-pro-m09:/opt/modules/
ln -s flink-1.12.1/ flink


(3)服务启动


集群模式服务启动:

bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m08.
Starting taskexecutor daemon on host bigdata-pro-m09.

查看进程:

8721 StandaloneSessionClusterEntrypoint
9113 Jps
9018 TaskManagerRunner

访问WEB UI:1.jpeg

(4)运行测试

启动NC

nc -lk 9999
java java python 
java java
hive
hive
hbase
java java java hive hadoop
java hive

运行官网demo

bin/flink run -jar examples/streaming/SocketWindowWordCount.jar --port 9999

查看运行结果

cd /opt/modules/flink/log
cat flink-root-taskexecutor-0-bigdata-pro-m07.out 
java : 4
python : 1
hive : 2
hbase : 1
java : 3
hadoop : 1
hive : 1
java : 1
hive : 1

查看web监控

8.png

我们可以看出做的是每隔5秒做一次窗口聚合。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
596 13
Apache Flink 2.0-preview released
|
1月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
68 3
|
1月前
|
Linux 网络安全 Apache
CentOS 7.2配置Apache服务httpd(上)
CentOS 7.2配置Apache服务httpd(上)
207 1
|
1月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
52 0
|
1月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
69 0
|
1月前
|
存储 消息中间件 druid
大数据-150 Apache Druid 安装部署 单机启动 系统架构
大数据-150 Apache Druid 安装部署 单机启动 系统架构
38 1
|
1月前
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
57 1
|
1月前
|
Linux PHP Apache
CentOS 7.2配置Apache服务httpd(下)
CentOS 7.2配置Apache服务httpd(下)
48 1
|
1月前
|
数据挖掘 物联网 数据处理
深入探讨Apache Flink:实时数据流处理的强大框架
在数据驱动时代,企业需高效处理实时数据流。Apache Flink作为开源流处理框架,以其高性能和灵活性成为首选平台。本文详细介绍Flink的核心特性和应用场景,包括实时流处理、强大的状态管理、灵活的窗口机制及批处理兼容性。无论在实时数据分析、金融服务、物联网还是广告技术领域,Flink均展现出巨大潜力,是企业实时数据处理的理想选择。随着大数据需求增长,Flink将继续在数据处理领域发挥重要作用。
|
1月前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
91 0