KubeCon: Flink on K8s-阿里云开发者社区

开发者社区> 阿里云瓦力> 正文

KubeCon: Flink on K8s

简介: 目录 集群概况 BigData Manager简介 BigData on Kubernetes 部署过程 运维 Twinkle(开发者IDE) 玩转Flink on Kubernetes WindowJoin 简介 Example illustrating a windowed stream join between two data streams.
+关注继续查看

目录

  • 集群概况
  • 玩转Flink on Kubernetes

    • WindowJoin
    • SQL

集群概况

BigData Manager简介

BigData on Kubernetes
image

部署向导

image

运维管理

image

开发者IDE

image


玩转Flink on Kubernetes

WindowJoin

简介

Example illustrating a windowed stream join between two data streams.
The example works on two input streams with pairs (name, grade) and (name, salary) respectively. It joins the steams based on "name" within a configurable window. The example uses a built-in sample data generator that generates the steams of pairs at a configurable rate.

  • Source1:name, grade
  • Source2:name, salary
  • Result:name, grade, salary
    image

过程

创建Deployment

image
image

  1. 浏览器打开

  2. 创建Deployment
  3. Organization中输入用户名
  4. Configuration:

    • Intepreter选择Blink/JAR
    • Blink Version: 3.2.1 / blink-3.2-SNAPSHOT
    • Jar URI: hdfs:///example/flink-examples-WindowJoin.jar
    • entryClass: org.apache.flink.streaming.examples.join.WindowJoin
  5. 点击Create Deployment

启动job

image
image
如上图操作

查看结果

image
image

  1. 点击“Blink UI”,跳转到Apache Flink的dashboard
  2. Jobs -> Running Jobs -> Windowed Join Example
  3. 结果日志查看:Task Managers -> Path, ID -> Log

停止Job

  1. 回到Deployment页面,点击Cancel(集群资源有限,为了后续体验,请一定停掉此job)

SQL

简介

实时热门商品, 每隔5分钟输出最近一小时内点击量最多的前 N 个商品(例子详情,请移步http://wuchong.me/blog/2018/11/07/use-flink-calculate-hot-items/ ,天池大赛的数据)

列名称 说明
用户ID 整数类型,加密后的用户ID
商品ID 整数类型,加密后的商品ID
商品类目ID 整数类型,加密后的商品所属类目ID
行为类型 字符串,枚举类型,包括(‘pv’, ‘buy’, ‘cart’, ‘fav’)
时间戳 行为发生的时间戳,单位秒

image

过程

创建Deployment

image

  1. 创建Deployment
  2. Configuration:

    • Intepreter选择Blink/SQL
    • Execution Mode:STREAM
    • Blink Version: 3.2.1 / blink-3.2-SNAPSHOT
    • Artifact:HotItem
    • Runtime Configuration:

      • state.backend.type = rocksdb
      • state.backend.rocksdb.ttl.ms = 129600000

Job信息

image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
1
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载