JasonLee实时计算_社区达人页

2022年06月

• 06.10 20:16:51
  发表了文章 2022-06-10 20:16:51

  Flink on yarn 实时日志收集到 kafka 打造日志检索系统

  背景 在 Flink on yarn 的模式下,程序运行的日志会分散的存储在不同的 DN 上,当 Flink 任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过 Flink UI 上面的 logs 来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,生成的日志文件就非常多,这对于我们排查问题来说,就造成了很大的不便,所以,我们需要有一种统一的日志收集,检索,展示的方案来帮忙我们快速的分析日志,定位问题.
• 06.10 20:12:58
  发表了文章 2022-06-10 20:12:58

  Flink 任务实时监控最佳实践(Prometheus + Grafana)打造企业级监控方案

  我们都知道 Flink 任务是一个 7*24 小时不停运行的任务,所以对于任务的实时监控就显得尤为重要,因为任务运行的状态对于我们来说是一个黑盒,比如任务是否挂掉,是否存在反压,使用的内存,CPU 等情况我们是不知道的,虽然 Flink 的 UI 上面可以添加相关的 metrics 来查看,但是需要手动的一个一个添加,还是比较麻烦的,特别是在任务非常多的情况下.所以就需要有一种统一的监控方案来解决这个问题.Flink 本身提供了非常丰富的 Metric Reporters,比如 JMX InfluxDB Graphite Prometheus 等等,生产环境上用的比较多的是 InfluxDB

  
• 06.10 20:04:52
  发表了文章 2022-06-10 20:04:52

  Flink项目实战系列(Spark项目实战系列)

  初识Flink Flink读取Kafka源码解读 Flink的状态后端 Flink的runtime Flink系列之数据流编程模型 Flink系列之checkpoint Flink系列之savepoint Flink系列之checkpoint和savepoint的区别 Flink系列之部署Standalone模式 Flink系列之部署on yarn模式 Flink系列之state Flink系列之checkpoint的实现原理
• 06.10 20:01:50
  发表了文章 2022-06-10 20:01:50

  scala的模式匹配

  scala提供了一个非常强大的模式匹配机制,那什么是模式匹配呢?模式匹配是检查某个值（value）是否匹配某一个模式的机制，一个成功的匹配同时会将匹配值解构为其组成部分。它是Java中的switch语句的升级版，同样可以用于替代一系列的 if/else 语句。 语法
• 06.10 19:58:14
  发表了文章 2022-06-10 19:58:14

  hive2.2.0安装与配置(元数据保存在mysql中)

  Hive有3中运行模式,今天主要来介绍一下把元数据保存在mysql中的配置方法.mysql的详细安装步骤 (1)内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。
• 06.10 19:55:46
  发表了文章 2022-06-10 19:55:46

  centos7安装mysql5.6.38史上最详细的安装步骤

  最近由于要用到mysql,就想着装一个mysql,但是因为我的虚拟机是centos7的,centos7将默认数据库mysql替换成了Mariadb安装起来就比较的麻烦,遇到各种各样的问题,网上的教程很多,但是基本没有好使的,按照他们的步骤到最后没有一个成功的,搞了很长时间才装好,我记得之前在centos6.5上面安装也没那么复杂啊,但是在7上面不管是用yum方式,还是安装包的方式都搞了好几遍,最后用安装包的方式安装成功了,今天就来总结一下安装的过程.为了方便大家看整个过程,我又重新装了一遍.过程写的比较详细,建议大家先收藏在观看.
• 06.10 19:49:43
  发表了文章 2022-06-10 19:49:43

  carbondata1.5.1编译

  What is CarbonData? Apache CarbonData is an indexed columnar data format for fast analytics on big data platform, e.g. Apache Hadoop, Apache Spark, etc. 因为我的spark是2.3.1的版本,而最新版的carbondata1.5.1才支持,但是官网没有编译好的,需要我们自己编译,在编译的时候遇到一些问题,记录一下.

  
• 06.10 19:47:04
  发表了文章 2022-06-10 19:47:04

  hbase的常用命令

  现在做的项目用到了hbase,今天就记录一下hbase的一些常用的命令,只是一些比较常用的,当然还有很多命令. 1.进入hbase shell console 2.查看所有的表: list 3.创建表: create 't1', {NAME => 'f1', VERSIONS => 5, TTL => 2592000, BLOCKCACHE => true},创建表名为t1的表,有一个列族为f1,版本有5个版本,过期时间为2592000,开启缓存; 4.删除表: 先disable 't1',在drop 't1'
• 06.10 19:45:19
  发表了文章 2022-06-10 19:45:19

  【leetcode-141】环形链表

  解题思路 环形链表我们很容易想到用一个 Set 集合，遍历链表把每一个节点加入到集合里，如果某个节点已经存在集合中，说明链表有环，但是题目要求用 O(1) 的空间复杂度，如果用 Set 的话就引入了额外的空间，空间复杂度是 O(n) 不满足题目要求，另外一种常见的思路是快慢指针，慢指针一次走一步，快指针一次走两步，如果链表有环的话，快慢指针一定会相遇，如果没环的话，快慢指针一定不会相遇，可以想象成两个人在学校操场跑步，跑的快的人的速度是跑的慢的人速度的两倍，因为操场是圆形的，所以跑的快的人和跑的慢的人一定会再次相遇，也就是跑的快的人超了跑的慢的人一圈的时候。

  
• 06.10 19:43:12
  发表了文章 2022-06-10 19:43:12

  Flink 源码：广播流状态源码解析

  Broadcast State 是 Operator State 的一种特殊类型。它的引入是为了支持这样的场景: 一个流的记录需要广播到所有下游任务，在这些用例中，它们用于在所有子任务中维护相同的状态。然后可以在处理第二个流的数据时访问这个广播状态，广播状态有自己的一些特性。 必须定义为一个 Map 结构。

  
• 06.10 19:36:34
  发表了文章 2022-06-10 19:36:34

  IDEA 中使用 Big Data Tools 连接大数据组件

  简介 Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，数字开放空间，Microsoft Azure 和 Hadoop 分布式文件系统（HDFS）来监视和处理数据的特定功能。 下面来看一下 Big Data Tools 的安装和使用，主要会配置 Flink,Kafka 和 HDFS。

  
• 06.10 19:32:22
  发表了文章 2022-06-10 19:32:22

  【leetcode-235】面试题 02.02. 返回倒数第 k 个节点

  思路分析 这是一道简单的题目,主要是运用快慢指针的思想,初始化两个指针都指向 head,然后先让快指针向前走 k 步,然后再让快指针和慢指针一起往前面走,直到快指针为空,也就是走到了链表的尾结点,这时候慢指针刚好停在了倒数第 k 个节点.有了思路代码实现就比较简单了.

  
• 06.10 19:29:37
  发表了文章 2022-06-10 19:29:37

  【leetcode-235】二叉搜索树的最近公共祖先

  看到二叉树的题目,首先要想到递归,因为大多数的二叉树题目都是可以通过递归来解决的,再看这是一个二叉搜索树,立马就想到二叉搜索树的特质,左子树上所有节点的值都小于根节点的值,右子树上所有节点的值都大于根节点的值,它的左右子树也分别为二叉搜索树.那我们怎么能利用这个性质呢?

  
• 06.10 19:27:09
  发表了文章 2022-06-10 19:27:09

  Flink 通过 State Processor API 实现状态的读取和写入

  在 1.9 版本之前，Flink 运行时的状态对于用户来说是一个黑盒，我们是无法访问状态数据的，从 Flink-1.9 版本开始，官方提供了 State Processor API 这让用户读取和更新状态成为了可能，我们可以通过 State Processor API 很方便的查看任务的状态，还可以在任务第一次启动的时候基于历史数据做状态冷启动。从此状态对于用户来说是透明的。下面就来看一下 State Processor API 的使用。

  
• 06.10 17:42:25
  发表了文章 2022-06-10 17:42:25

  Apache Flink 1.14.4 Release Announcement

  这个版本修复了 51 个 bug 和漏洞，并对 Flink 1.14 进行了小的改进。下面是所有 bug 修复和改进的列表(不包括对构建基础结构和构建稳定性的改进)。有关所有更改的完整列表，请参阅: JIRA 我们强烈建议所有用户升级到 Flink 1.14.4。
• 06.10 17:39:02
  发表了文章 2022-06-10 17:39:02

  Flink 实现自定义滑动窗口

  背景 一般情况下 Flink 提供的窗口可以满足我们大部分的场景，但是有时候我们需要计算一个固定时间范围内的数据，比如实时计算每天凌晨到第二天凌晨的数据，或者每天上午 7 点到第二天上午 7 点。类似于这种情况 Flink 默认提供的窗口是不支持的，因为 Flink 计算窗口的开始时间和结束时间是根据数据本身携带的时间戳然后把数据划分到不同的窗口的，所以它不是一个固定的范围。这个时候就需要我们自己实现窗口划分的逻辑。Flink 提供了 WindowAssigner 抽象类，我们只需要实现 assignWindows 方法即可。
• 06.10 17:35:55
  发表了文章 2022-06-10 17:35:55

  【leetcode-34】在排序数组中查找元素的第一个和最后一个位置

  题目描述 给定一个按照升序排列的整数数组 nums，和一个目标值 target。找出给定目标值在数组中的开始位置和结束位置。 如果数组中不存在目标值 target，返回 [-1, -1]。 进阶： 你可以设计并实现时间复杂度为 O(log n) 的算法解决此问题吗？
• 06.10 17:32:57
  发表了文章 2022-06-10 17:32:57

  【leetcode-剑指 Offer 42】连续子数组的最大和

  题目 输入一个整型数组，数组中的一个或连续多个整数组成一个子数组。求所有子数组的和的最大值。 要求时间复杂度为O(n)。 示例1: 输入: nums = [-2,1,-3,4,-1,2,1,-5,4]
• 06.10 17:30:03
  发表了文章 2022-06-10 17:30:03

  【leetcode-剑指 Offer 55 - II】平衡二叉树

  题目 输入一棵二叉树的根节点，判断该树是不是平衡二叉树。如果某二叉树中任意节点的左右子树的深度相差不超过1，那么它就是一棵平衡二叉树。 示例 1: 给定二叉树 [3,9,20,null,null,15,7]

  
• 06.10 17:22:56
  发表了文章 2022-06-10 17:22:56

  【leetcode-剑指 Offer 34】二叉树中和为某一值的路径

  题目描述 给你二叉树的根节点 root 和一个整数目标和 targetSum ，找出所有 从根节点到叶子节点 路径总和等于给定目标和的路径。 叶子节点 是指没有子节点的节点。 示例 1： 输入：root = [5,4,8,11,null,13,4,7,2,null,null,5,1], targetSum = 22 输出：[[5,4,11,2],[5,8,4,5]]

  
• 06.10 17:17:19
  发表了文章 2022-06-10 17:17:19

  【leetcode-剑指 Offer 25】合并两个排序的链表

  题目描述 输入两个递增排序的链表，合并这两个链表并使新链表中的节点仍然是递增排序的。 示例1： 输入：1->2->4, 1->3->4 输出：1->1->2->3->4->4 1 2 限制： 0 <= 链表长度 <= 1000

  
• 06.09 17:25:10
  发表了文章 2022-06-09 17:25:10

  【leetcode-63】不同路径11

  题目描述 一个机器人位于一个 m x n 网格的左上角 （起始点在下图中标记为“Start” ）。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角（在下图中标记为“Finish”）。 现在考虑网格中有障碍物。那么从左上角到右下角将会有多少条不同的路径？

  
• 06.09 17:23:33
  发表了文章 2022-06-09 17:23:33

  【leetcode-236】二叉树的最近公共祖先

  给定一个二叉树, 找到该树中两个指定节点的最近公共祖先。 百度百科中最近公共祖先的定义为：“对于有根树 T 的两个节点 p、q，最近公共祖先表示为一个节点 x，满足 x 是 p、q 的祖先且 x 的深度尽可能大（一个节点也可以是它自己的祖先）。

  
• 06.09 17:21:11
  发表了文章 2022-06-09 17:21:11

  Flink SQL JSON Format 源码解析

  用 Flink SQL 解析 JSON 格式的数据是非常简单的,只需要在 DDL 语句中设置 Format 为 json 即可,像下面这样: CREATE TABLE kafka_source ( funcName STRING, data ROW<snapshots ARRAY<ROW<content_type STRING,url STRING>>,audio ARRAY<ROW<content_type STRING,url STRING>>>, resultMap ROW<`result` MAP<STRING,STRING>,isSuccess BOOLEAN
• 06.09 17:15:32
  发表了文章 2022-06-09 17:15:32

  Flink 1.14.0 消费 kafka 数据自定义反序列化类

  在最近发布的 Flink 1.14.0 版本中对 Source 接口进行了重构,细节可以参考 FLIP-27: Refactor Source Interface 重构之后 API 层面的改动还是非常大的,那在使用新的 API 消费 kafka 数据的时候如何自定义序列化类呢?
• 06.09 17:12:26
  发表了文章 2022-06-09 17:12:26

  Flink 1.14.0 全新的 Kafka Connector

  Apache Kafka Connector# Flink 提供了一个 Apache Kafka 连接器，用于从 Kafka Topic 读取数据和向 Kafka Topic 写入数据，并保证恰好一次次语义。 Dependency# Apache Flink 附带了一个通用的 Kafka 连接器，它试图跟踪最新版本的 Kafka 客户端。它使用的客户端版本可能会在 Flink 版本之间发生变化

  
• 06.09 17:02:22
  发表了文章 2022-06-09 17:02:22

  Flink 任务 Jackson 解析 JSON 使用不当引发的反压问题

  背景 最近业务方反馈线上一个 topic 的数据延迟比较大,然后我查看了这个 topic 的数据是由一个 Flink 任务产生的,于是就找到了这个任务开始排查问题,发现这个任务是一个非常简单的任务,大致的逻辑是 kafka source -> flatmap -> filter -> map -> sink kafka.中间没有复杂的操作,我在本地写了一个简单的程序模拟线上的任务.方便大家理解, 任务的 DAG 如下图所示

  
• 06.09 16:59:23
  发表了文章 2022-06-09 16:59:23

  Flink SQL 自定义 redis connector

  一般情况下,我们不需要创建新的 connector,因为 Flink SQL 已经内置了丰富的 connector 供我们使用,但是在实际生产环境中我们的存储是多种多样的,所以原生的 connector 并不能满足所有用户的需求,这个时候就需要我们自定义 connector,这篇文章的重点就是介绍一下如何实现自定义 Flink SQL connector ? 先来看一下官网的一张 connector 架构图:

  
• 06.08 15:57:29
  发表了文章 2022-06-08 15:57:29

  Flink 1.13.0 sql-client 新特性及源码分析

  在 Flink 1.13.0 版本中增加了很多新特征,具体可以参考前面一篇文章,其中很重要的一点是对 sql-client 功能做了加强,支持了初始化脚本和执行 SQL 文件,SQL 客户端是直接运行和部署 SQL 流和批处理作业的便捷方法，而无需从命令行或作为 CI 的一部分来编写任何代码,这个版本大大改进了 SQL 客户端的功能。现在，SQL 客户端和SQL 脚本都支持 Java 应用程序可用的几乎所有操作（通过编程方式从 TableEnvironment 启动查询时）。这意味着 SQL 用户在其 SQL 部署中需要粘贴的代码变的更少.由于篇幅的原因这篇文章只会介绍 SQL CLIENT

  
• 06.08 15:52:00
  发表了文章 2022-06-08 15:52:00

  Flink 1.13.0 反压监控的优化

  Flink 1.13.0 版本增加了很多新特征,具体可以参考前面一篇文章,在 Flink 1.13.0 版本之前,我们通常是通过 UI 上面的 BackPressure 或者 Metrics 里面的 inPoolUsage ,outPoolUsage 指标去分析反压出现的位置.在 Flink 1.13.0 版本中对反压监控新增了瓶颈检测,能够帮助我们快速定位反压的位置,因为性能分析的过程中第一个问题就是,哪个操作是瓶颈?为了帮助回答这个问题，Flink 公开了有关任务繁忙（正在执行工作）和反压（具有执行工作的能力，但不能执行任务的原因，因为其后继的算子无法接收更多数据）的度量标准。瓶颈的候选者

  
• 06.08 15:49:16
  发表了文章 2022-06-08 15:49:16

  Apache Flink 1.13.0 发布公告

  Apache Flink 社区很高兴宣布 Flink 1.13.0 的发布！200 多个贡献者为这个新版本处理了 1000 多个问题。 该版本使我们迈出了一大步：将流处理应用程序变得与其他任何应用程序一样自然且易于管理。新的反应式扩展模式意味着通过仅更改并行进程数，就可以像在任何其他应用程序中一样扩展和扩展流应用程序。

  
• 06.08 15:44:31
  发表了文章 2022-06-08 15:44:31

  Java SPI 机制在 Flink 中的应用(源码分析)

  我们在使用 Flink SQL 的时候是否有过这样的疑问? Flink 提供了各种各样的 connector 我们只需要在 DML 里面定义即可运行,那它是怎么找到要执行的代码呢? 它是怎么知道代码对应关系的呢? 其实 Flink 是通过 Java 的 SPI(并不是Flink发明创造的) 机制来实现的,下面就来深入源码分析一下其实现过程. 什么是 SPI ?

  
• 06.08 15:40:45
  发表了文章 2022-06-08 15:40:45

  Flink mysql-cdc connector 源码解析

  在 Flink 1.11 引入了 CDC 机制，CDC 的全称是 Change Data Capture，用于捕捉数据库表的增删改查操作，是目前非常成熟的同步数据库变更方案。Flink CDC Connectors 是 Apache Flink 的一组源连接器，是可以从 MySQL、PostgreSQL 数据直接读取全量数据和增量数据的 Source Connectors.

  
• 06.08 15:37:01
  发表了文章 2022-06-08 15:37:01

  【FlinkSQL实战系列】Flink SQL CDC 实时同步 Mysql 的 Binlog 数据到 kafka

  什么是 CDC ? CDC,Change Data Capture,变更数据获取的简称，使用 CDC 我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括 INSERT,DELETE,UPDATE 等. 要解决什么问题 ?
• 06.08 15:32:44
  发表了文章 2022-06-08 15:32:44

  Flink TaskManager 内存模型详解

  Apache Flink 通过严格控制其各个组件的内存使用，在 JVM 之上提供了高效的工作负载。虽然社区努力为所有配置提供合理的默认值，但不可能适用于用户在 Flink 上部署的所有应用程序。为了向我们的用户提供最大的生产价值，Flink 允许在集群内进行高级和细粒度的内存分配调优。

  
• 06.08 10:31:28
  发表了文章 2022-06-08 10:31:28

  Flink 1.11.x WatermarkStrategy 不兼容问题

  最近群里的一个同学问了这么一个问题,在 Scala 代码中使用了 WatermarkStrategy ,代码在编译的时候会抛出异常,具体的报错信息如下: Error:Error:line (31)Static methods in interface require -target:jvm-1.8 .assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness[String](Duration.ofSeconds(5))) 刚开始我以为是他的 JDK 版本设置的有问题,后来他说

  
• 06.08 10:27:20
  发表了文章 2022-06-08 10:27:20

  sun.jvm.hotspot.runtime.VMVersionMismatchException: Supported versions are 25.221-b11. Target VM

  今天在查看 JVM 堆内存具体使用情况的时候,执行 jmap 命令发现如下的报错信息,报错说的是虚拟机版本不匹配,感觉很奇怪因为我刚在另外一台机器上执行了这个命令,换了一台机器就执行报错,初步判断是机器环境的问题,最后对比了两个机器的 JDK 环境,发现报错的这台机器上有两个不同版本的 JDK 所以推测跟多个版本有关系.
• 06.08 10:25:30
  发表了文章 2022-06-08 10:25:30

  Flink WindowAssigner 源码解析

  Flink 窗口的时候有没有想过数据是怎么被划分到窗口里面的? 它是根据什么规则划分的? 相信看完这篇文章你就明白了. @PublicEvolving public <W extends Window> WindowedStream<T, KEY, W> window(WindowAssigner<? super T, W> assigner) { return new WindowedStream<>(this, assigner); }

  
• 06.08 10:22:19
  发表了文章 2022-06-08 10:22:19

  Flink SQL 如何实现列转行?

  在 SQL 任务里面经常会遇到一列转多行的需求,今天就来总结一下在 Flink SQL 里面如何实现列转行的,先来看下面的一个具体案例. 需求 原始数据格式如下: name data JasonLee [{"content_type":"flink","url":"111"},{"content_type":"spark","url":"222"},{"content_type":"hadoop","url":"333"}] data 格式化
• 06.08 10:16:09
  发表了文章 2022-06-08 10:16:09

  Flink SQL 结合 HiveCatalog 使用

  Flink 支持 HiveCatalog 作为表元数据持久化的介质，在生产环境我们一般采用 HiveCatalog 来管理元数据, 这样的好处是不需要重复使用 DDL 创建表,只需要关心业务逻辑的 SQL,简化了开发的流程,可以节省很多时间,下面就来介绍一下怎么配置和使用 HiveCatalog. sql-client-defaults.yaml 配置

  
• 06.08 10:11:38
  发表了文章 2022-06-08 10:11:38

  Flink SQL 解析嵌套的 JSON 数据

  在日常的开发中,最常用的数据格式是 JSON ,并且有的时候 JSON 的格式是非常复杂的(嵌套的格式),那在 Flink SQL 中进行解析的时候也会相当麻烦一点,下面将会演示如何在 DDL 里面定义 Map、Array、Row 类型的数据,以及在 SQL 里面如何获里面的值 数据格式如下: 以下数据完全是自己造的,没有任何实际含义

  
• 06.08 10:07:51
  发表了文章 2022-06-08 10:07:51

  Flink SQL 中动态修改 DDL 的属性

  Flink 支持使用 HiveCatalog 来管理 Flink 的元数据信息, HiveCatalog 通过授权用户仅创建一次表和其他元数据对象，这样就避免了重复创建 kafka 流表,节省了大量的时间, 对于不同的用户来说,可以直接使用表而不需要再去创建. 就拿消费 kafka 来说,经常会有下面的需求:

  
• 06.08 10:03:20
  发表了文章 2022-06-08 10:03:20

  Apache Flink 1.12.0 升级说明

  就在刚才 Apache Flink 社区宣布 Flink 1.12.0 版本正式发布了,从这个版本开始真正的流批一体又往前迈了一大步. Release Notes - Flink 1.12 这些发布说明讨论了在 Flink 1.11 和 Flink 1.12 之间发生变化的重要方面，比如配置、行为或依赖关系。如果您计划将 Flink 版本升级到 1.12，请仔细阅读这些说明。
• 06.07 21:11:46
  发表了文章 2022-06-07 21:11:46

  Flink 1.11.1 滚动日志配置

  Flink 1.11.1 版本对 UI 进行了优化,日志做了更加详细的分类,但是 jm 和 tm 的日志输出都在一个文件里面,任务跑时间长的话,日志文件会非常大,虽然目前 UI 已经优化的比较好了 ,但还是会出现卡顿的情况,所以可以对 Flink 的日志做一个滚动的配置,这样可以控制每个文件的大小. jm 和 tm 上用的 log 配置都依赖于 flink/conf/log4j.properties 配置文件,具体的配置如下:

  
• 06.07 21:09:22
  发表了文章 2022-06-07 21:09:22

  Flink-1.11 新的部署模型 application mode

  在 Flink-1.11 版本之前 Flink on yarn 有两种部署的模式, session 模式和 per-job 模式,但是这两种模式都存在一定的问题,所以在最新的 Flink-1.11 版本中引入了新的部署模式即 application 模式,支持 yarn 和 k8s,这篇文章主要来分析一下新旧模式的优缺点以及 application 模式的使用.

  
• 06.07 21:03:50
  发表了文章 2022-06-07 21:03:50

  Flink on zeppelin从checkpoint&savepoint自动恢复任务​

  在上一篇的文章中介绍了Flink on zeppelin怎么配置checkpoint,并且从指定的checkpoint恢复任务,但是这个过程还是相对复杂,对用户来说不是很友好,在最新的版本中,zeppelin支持了自动从checkpoint&savepoint恢复任务,只需要添加几个参数即可,下面就来介绍一下如何使用.

  
• 06.07 21:00:43
  发表了文章 2022-06-07 21:00:43

  Flink on zeppelin第五弹设置checkpoint

  概述 Flink的exactly-once语义实现是需要依赖checkpoint的,对于一个有状态的Flink任务来说如果想要在任务发生failover,或者手动重启任务的时候任务的状态不丢失是必须要开启checkpoint的,今天这篇文章主要分享一下Flink on zeppelin里面怎么设置checkpoint以及怎么从指定的checkpoint恢复任务.

  
• 06.07 20:57:18
  发表了文章 2022-06-07 20:57:18

  Flink on zeppelin 实时写入hive

  概述 随着Flink1.11.0版本的发布,一个很重要的特性就是支持了流数据直接写入到hive中,用户可以非常方便的用SQL的方式把kafka的数据直接写入到hive里面.这篇文章会给出Flink on zeppelin里面实现流式写入hive的简单示例以及遇到问题的解决方案

  
• 06.07 20:51:19
  发表了文章 2022-06-07 20:51:19

  Flink on zeppelin第三弹UDF的使用

  用户自定义函数是非常重要的一个特征，因为它极大地扩展了查询的表达能力。不管是在spark sql或者hive中都支持用户自定义UDF的使用,虽然Flink提供了很多内置的UDF可以直接使用,但是一些特定的场景可能需要我们自定义UDF去实现,这篇文章会主要介绍一下在Flink on zeppelin里面使用UDF的3种方法. 1, 开发scala代码并注册UDF

  
• 06.07 18:01:19
  发表了文章 2022-06-07 18:01:19

  Flink on zeppelin 结合kafka实时计算pv uv写入mysql

  上一篇文章主要介绍了Flink on zeppelin的安装和使用,配置了yarn的模式跑通了一个streaming wordcount的例子,本文主要介绍结合kafka的使用,实时计算一个简单的pv,uv把结果写入到mysql的例子. 添加依赖包 首先需要添加kafka以及mysql的jar包,有两种方式,第一种是直接把jar包添加到Flink的lib下面,如下所示: