flink快速开始

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: flink快速开始

仿佛前世的密约,注定我们要在今生抵掌,然后一起创世,或者再次站成一排,慷慨赴死。——野夫

官网:https://flink.apache.org/zh/

安装jdk

yum list java*

然后安装

yum install java-1.8.0-openjdk* -y

查看版本

java -version

前往官网下载最新版,放进Centos,然后进入目录

cd /server/flink/

解压

tar -xzf flink-*.tgz

进入解压后的路径列出目录

cd flink-1.14.0
ls -l

这里bin目录包含了flink的二进制文件以及几个管理各种工作和任务的脚本

conf目录就是放配置文件的,包含了flink-conf.yaml

examples目录包含了一个包含使用Flink的简单的Demo

我们启动:

./bin/start-cluster.sh

顺便一提关闭命令为:

./bin/stop-cluster.sh

简单看一下进程

ps aux | grep flink

我们本地访问一下

curl localhost:8081

看来是防火墙问题

我们开放端口

firewall-cmd --zone=public --add-port=8080/tcp --permanent
systemctl restart firewalld

成功进入控制台

然后启动例子,这个例子是用来统计单词数的

./bin/flink run examples/streaming/WordCount.jar

查看运行输出的日志

tail log/flink-*-taskexecutor-*.out

来到控制台,可以看到我们刚刚执行完毕的这个任务

点进去可以查看详情:

对于这个任务,flink有两个操作,一个是(source operator),也就是源操作,用来从收集源读取数据

另一个是运算操作(transformation operator),它统计单词个数

你可以点击TimeLine查看时间线

可以看到它们几乎并行,这就是实时计算的最大特点,就是实时性!

其他的例子就不一一介绍了

ls examples/streaming -l
./bin/flink run examples/streaming/Iteration.jar
tail log/flink-*-taskexecutor-*.out
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
分布式计算 流计算 Spark
Flink - CountTrigger && ProcessingTimeTriger 详解
Flink 针对 window 提供了多种自定义 trigger,其中常见的有 CountTrigger 和 ProcessingTimeTrigger,下面通过两个 demo 了解一下两个 Trigger 的内部实现原理与窗口触发的相关知识。
822 0
Flink - CountTrigger && ProcessingTimeTriger 详解
|
分布式计算 Java 数据处理
Flink - TimeWindow And TimeWindowAll 详解
Flink 流处理用于处理源源不断的数据,之前介绍过 processFunction,该方法会对单个元素进行处理,除此之外,还有一种批量数据处理的方法就是 TimeWindow 以及 TimeWindowAll,Flink 时间窗口可以看作是对无线数据流设置的有限数据集。...
832 0
Flink - TimeWindow And TimeWindowAll 详解
|
2月前
|
SQL 数据挖掘 关系型数据库
初识Flink
阿里云实时计算Flink版是一款全托管Serverless的Flink云服务,基于Apache Flink构建一站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据【2月更文挑战第3天】
30 2
|
4月前
|
流计算
Flink Exactly-Once
Flink Exactly-Once
19 0
|
9月前
|
消息中间件 Kafka 流计算
flink的TimeCharacteristic
flink的TimeCharacteristic
78 0
|
11月前
|
SQL 存储 算法
深入解读 Flink 1.17
阿里云技术专家,Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 的分享。
6481 0
深入解读 Flink 1.17
|
存储 算法 测试技术
flink
flink
56 0
|
分布式计算 Java Apache
Flink介绍
Flink介绍
166 0
|
SQL 消息中间件 分布式计算
【Flink】(一)初识 Flink
【Flink】(一)初识 Flink
161 0
【Flink】(一)初识 Flink