Apache Flink 1.14.4 Release Announcement

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 这个版本修复了 51 个 bug 和漏洞,并对 Flink 1.14 进行了小的改进。下面是所有 bug 修复和改进的列表(不包括对构建基础结构和构建稳定性的改进)。有关所有更改的完整列表,请参阅: JIRA我们强烈建议所有用户升级到 Flink 1.14.4。

这个版本修复了 51 个 bug 和漏洞,并对 Flink 1.14 进行了小的改进。下面是所有 bug 修复和改进的列表(不包括对构建基础结构和构建稳定性的改进)。有关所有更改的完整列表,请参阅: JIRA


我们强烈建议所有用户升级到 Flink 1.14.4。


Release Artifacts
Maven Dependencies
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-java</artifactId>
  <version>1.14.4</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-java_2.11</artifactId>
  <version>1.14.4</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-clients_2.11</artifactId>
  <version>1.14.4</version>
</dependency>
Binaries


您可以在更新下载页面上找到二进制文件 Downloads page.


Docker Images


library/flink (official images)
apache/flink (ASF repository)


PyPi


apache-flink==1.14.4
Release Notes


Sub-task


[FLINK-21788] - Throw PartitionNotFoundException if the partition file has been lost for blocking shuffle
[FLINK-24954] - Reset read buffer request timeout on buffer recycling for sort-shuffle
[FLINK-25653] - Move buffer recycle in SortMergeSubpartitionReader out of lock to avoid deadlock
[FLINK-25654] - Remove the redundant lock in SortMergeResultPartition
[FLINK-25879] - Track used search terms in Matomo
[FLINK-25880] - Implement Matomo in Flink documentation


Bug


[FLINK-21752] - NullPointerException on restore in PojoSerializer
[FLINK-23946] - Application mode fails fatally when being shut down
[FLINK-24334] - Configuration kubernetes.flink.log.dir not working
[FLINK-24407] - Pulsar connector chinese document link to Pulsar document location incorrectly.
[FLINK-24607] - SourceCoordinator may miss to close SplitEnumerator when failover frequently
[FLINK-25171] - When the DDL statement was executed, the column names of the Derived Columns were not validated
[FLINK-25199] - StreamEdges are not unique in self-union, which blocks propagation of watermarks
[FLINK-25362] - Incorrect dependencies in Table Confluent/Avro docs
[FLINK-25407] - Network stack deadlock when cancellation happens during initialisation
[FLINK-25466] - TTL configuration could parse in StateTtlConfig#DISABLED
[FLINK-25486] - Perjob can not recover from checkpoint when zookeeper leader changes
[FLINK-25494] - Duplicate element serializer during DefaultOperatorStateBackendSnapshotStrategy#syncPrepareResources
[FLINK-25678] - TaskExecutorStateChangelogStoragesManager.shutdown is not thread-safe
[FLINK-25683] - wrong result if table transfrom to DataStream then window process in batch mode
[FLINK-25728] - Potential memory leaks in StreamMultipleInputProcessor
[FLINK-25732] - Dispatcher#requestMultipleJobDetails returns non-serialiable collection
[FLINK-25827] - Potential memory leaks in SourceOperator
[FLINK-25856] - Fix use of UserDefinedType in from_elements
[FLINK-25883] - The value of DEFAULT_BUNDLE_PROCESSOR_CACHE_SHUTDOWN_THRESHOLD_S is too large
[FLINK-25893] - ResourceManagerServiceImpl's lifecycle can lead to exceptions
[FLINK-25952] - Savepoint on S3 are not relocatable even if entropy injection is not enabled
[FLINK-26039] - Incorrect value getter in map unnest table function
[FLINK-26159] - Pulsar Connector: should add description MAX_FETCH_RECORD in doc to explain slow consumption
[FLINK-26160] - Pulsar Connector: stopCursor description should be changed. Connector only stop when auto discovery is disabled.
[FLINK-26187] - Chinese docs override english aliases
[FLINK-26304] - GlobalCommitter can receive failed committables
New Feature
[FLINK-20188] - Add Documentation for new File Source
[FLINK-21407] - Clarify which sources and APIs support which formats
Improvement
[FLINK-20830] - Add a type of HEADLESS_CLUSTER_IP for rest service type
[FLINK-24880] - Error messages "OverflowError: timeout value is too large" shown when executing PyFlink jobs
[FLINK-25160] - Make doc clear: tolerable-failed-checkpoints counts consecutive failures
[FLINK-25611] - Remove CoordinatorExecutorThreadFactory thread creation guards
[FLINK-25650] - Document unaligned checkpoints performance limitations (larger records/flat map/timers/...)
[FLINK-25767] - Translation of page 'Working with State' is incomplete
[FLINK-25818] - Add explanation how Kafka Source deals with idleness when parallelism is higher then the number of partitions
Technical Debt
[FLINK-25576] - Update com.h2database:h2 to 2.0.206
[FLINK-25785] - Update com.h2database:h2 to 2.0.210


相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
16天前
|
监控 大数据 Java
使用Apache Flink进行大数据实时流处理
Apache Flink是开源流处理框架,擅长低延迟、高吞吐量实时数据流处理。本文深入解析Flink的核心概念、架构(包括客户端、作业管理器、任务管理器和数据源/接收器)和事件时间、窗口、状态管理等特性。通过实战代码展示Flink在词频统计中的应用,讨论其实战挑战与优化。Flink作为大数据处理的关键组件,将持续影响实时处理领域。
124 5
|
30天前
|
数据处理 Apache 流计算
|
1月前
|
消息中间件 关系型数据库 MySQL
Apache Flink CDC 3.1.0 发布公告
Apache Flink 社区很高兴地宣布发布 Flink CDC 3.1.0!
585 1
Apache Flink CDC 3.1.0 发布公告
|
17天前
|
数据采集 关系型数据库 MySQL
使用Apache Flink实现MySQL数据读取和写入的完整指南
使用Apache Flink实现MySQL数据读取和写入的完整指南
116 0
使用Apache Flink实现MySQL数据读取和写入的完整指南
|
21天前
|
消息中间件 Kafka 数据处理
Apache Flink:流式数据处理的强大引擎
【6月更文挑战第8天】Apache Flink是开源的流处理框架,专注于高效、低延迟的无界和有界数据流处理。它提供统一编程模型,支持实时与批量数据。核心概念包括DataStreams、DataSets、时间语义和窗口操作。使用Flink涉及环境设置、数据源配置(如Kafka)、数据转换(如map、filter)、窗口聚合及数据输出。通过丰富API和灵活时间语义,Flink适于构建复杂流处理应用,在实时数据处理领域具有广阔前景。
|
4天前
|
消息中间件 分布式计算 Kafka
深度分析:Apache Flink及其在大数据处理中的应用
Apache Flink是低延迟、高吞吐量的流处理框架,以其状态管理和事件时间处理能力脱颖而出。与Apache Spark Streaming相比,Flink在实时性上更强,但Spark生态系统更丰富。Apache Storm在低延迟上有优势,而Kafka Streams适合轻量级流处理。选型考虑延迟、状态管理、生态系统和运维成本。Flink适用于实时数据分析、复杂事件处理等场景,使用时注意资源配置、状态管理和窗口操作的优化。
|
12天前
|
消息中间件 Oracle 关系型数据库
实时计算 Flink版操作报错合集之连接RabbitMQ时遇到Could not find any factory for identifier 'rabbitmq' that implements 'org.apache.flink.table.factories.DynamicTableFactory'错误,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
308 0
|
12天前
|
Kubernetes Oracle 关系型数据库
实时计算 Flink版操作报错合集之用dinky在k8s上提交作业,会报错:Caused by: org.apache.flink.table.api.ValidationException:,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
102 0
|
12天前
|
消息中间件 Java Kafka
实时计算 Flink版操作报错合集之从hudi读数据,报错NoSuchMethodError:org.apache.hudi.format.cow.vector.reader.PaequetColumnarRowSplit.getRecord(),该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
12天前
|
Oracle 关系型数据库 Shell
实时计算 Flink版操作报错合集之遇到报错:Error: Could not find or load main class org.apache.flink.cdc.cli.CliFrontend,是什么导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

推荐镜像

更多