版本发布｜实时计算 Flink 版（2023-08-21 版本）-阿里云开发者社区

版本发布｜实时计算 Flink 版（2023-08-21 版本）

2023-08-31 946

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

实时计算 Flink 版，1000CU*H 3个月

简介： 本文为您介绍 2023 年 8 月 21 日发布的 Flink 全托管版本的重大功能变更和主要缺陷修复。

概述

2023 年 8 月 21 日正式对外发布 Flink 全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。

引擎侧将正式对外发布 VVR 8.0.1 版本，该版本是基于 Apache Flink 1.17.1 的全新企业级 Flink 引擎。在该版本中，我们将包含 Apache Flink 1.17.1 的所有新功能、性能提升与缺陷修复。在 Apache Flink 1.17 中，通过通用增量Checkpoint（GIC）功能，提升了 Checkpoint 的处理速度和稳定性。同时，增强了 Unaligned Checkpoint（UC）在处理作业反压时的稳定性，现在已达到生产级可用性。此外，Batch 的性能也得到大幅度改进。

在这个版本中，我们对企业级状态后端核心架构进行了重构，在性能和稳定性方面都有大幅提升，主要体现在两个方面：

（1）采用了更紧凑的状态格式和文件存储，以及更高效的数据清理策略，显著降低了本地状态存储空间，并大幅提升了访问性能。对于状态瓶颈的作业，其平均性能可以提升 40%以上，状态大小可缩减约 30%。

（2）进一步提升了状态扩缩容和恢复机制，在大状态场景下（100G）可以让作业更新断流时间从分钟级降低到秒级。新版本企业级状态在 VVR 8.0.1 作为默认版本，无需您更改配置。

除引擎内核与状态后端升级外，本次发布进一步增强了Flink与阿里云各存储和计算产品间的互操作性，提供了更丰富的连接器功能，并提升了性能和稳定性。主要包括：

正式推出 MongoDB CDC 连接器，进入公测阶段，支持高效地从 MongoDB 数据库中（复本集或分片集群架构）捕获实时增量和历史数据同步到下游系统。MongoDB CDC 连接器实现了增量快照算法，在全量阶段支持并发读取海量历史数据，自动切换从全量读到增量读，同步过程提供数据不丢不重语义；在增量读取阶段，支持扫描完整变更事件流事件，对下游 Flink SQL 计算作业非常友好。同时 MongoDB CDC 提供多种启动位点模式，方便您按需灵活选择。
CDAS 功能支持了在对新增表等变更操作后，可以以有状态的方式重启作业并继续执行，这避免了重启带来的状态丢失与额外作业的管理成本。
新增 OceanBase 连接器，可以将 OceanBase 数据库作为结果表和维表使用。OceanBase 是阿里巴巴和蚂蚁集团 100% 自主研发的一款原生分布式关系型 HTAP 数据库，具有数据强一致、高可用、高性能、在线扩展、高度兼容 SQL 标准和主流关系型数据库、低成本等特点。
加强了 Tair 的企业级数据结构的更全面支持，您可以使用 Flink+TairTs 实时构建时序数据集，使用 Flink+TairVector 构建AI向量数据集，也可以通过 Flink+TairCpc 进行实时风控应用构建，或者采用 Flink+TairRoaring 实现实时客户画像系统。
新增对阿里云 SLS Catalog 结果表的支持，您可以使用持久表的方式进行 SLS 数据表的定义与写入。
作为一个预览功能，本次发布包含了 Apache Paimon 0.5-snapshot 的更新，并支持了 Flink CDC 写入 Paimon 时源表列类型变更应用。

我们将在两周内在全网进行分步骤的灰度，灰度完毕后的客户和区域平台能力将完成升级，并且可以在作业选择引擎的列表中看到新引擎版本，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！

主要功能介绍

特性	详情	相关文档
MongoDB CDC连接器开始公测	支持以源表形式读取MongoDB增量变化数据。	MongoDB CDC（公测中）
CDAS支持新增表后的有状态重启	在整库同步中，如果源库新增表，则作业重新启动后即可生效，对新增表进行数据同步。	CREATE DATABASE AS（CDAS）语句
双流Join支持不同流的State TTL分别设置	在部分涉及双流Join的业务场景中，两个不同的流可能需要设定不一样的长度。通常而言，某一个流或许需要长达15天的设置时间，与此同时，另一条流可能只需短至1天的设置时间，即可使业务需求得以满足。通过新加此项功能，一方面能提升作业稳定性，另一方面则能有效降低运行成本。	无。
新增OceanBase连接器	支持作为结果表和维表使用。	OceanBase（公测中）
SLS连接器支持查询下推	支持在源端进行数据过滤，提升读取效率。	日志服务SLS
SLS Catalog支持结果表	支持使用Catalog进行SLS的写入。	管理SLS Catalog
ADB PostgreSQL连接器支持ADB PostgreSQL 7.0版本	新增对云原生数据仓库AnalyticDB PostgreSQL版7.0版本的支持。	云原生数据仓库AnalyticDB PostgreSQL版
Tair连接器支持更多的数据类型写入	新增对TairTs、TairCpc、TairRoaring、TairVector和TairGis的支持。	云原生内存数据库Tair
Paimon升级，并支持Flink CDC写入Paimon时源表列类型变更应用	Paimon升级到0.5-snapshot版本，并支持了当通过Flink CDC写入Paimon数据时，如果源表发生了列变更，Paimon可以应用此变更。	Schema Change Evolution