阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来

简介: Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。

Apache Flink Agents:一项里程碑式合作,旨在构建可扩展、面向生产的事件驱动型流式智能体框架。

作者:宋辛童,Apache Flink PMC Member,阿里云高级技术专家

在 Flink Forward Barcelona 2025 大会上,我们宣布:阿里云、Ververica、Confluent 与 LinkedIn 四家数据流领域的领军企业正式携手,共同推进 Apache Flink Agents 的开发与共建 —— 这是 Apache Flink 社区推出的全新开源子项目,致力于将 AI 智能体(Agents)引入实时、事件驱动的系统世界。这一倡议标志着工业级 AI 应用迈出了关键一步:能够对实时数据流做出即时且自主的响应。

为何 Apache Flink Agents 至关重要?

尽管 AI 智能体在聊天机器人等交互式应用中已取得显著进展,但大多数仍运行在高吞吐、低延迟的实时数据处理体系之外。然而,在电商、金融、物联网和物流等工业场景中,关键决策必须基于实时事件迅速作出——例如支付失败、传感器异常或用户点击。这类工作负载不仅需要“智能”,更要求具备大规模处理能力、毫秒级延迟、容错机制和有状态协调能力,而这正是 Apache Flink 的核心优势。然而此前,业界一直缺乏一个统一框架,将智能体 AI 模式融入这一成熟的流处理生态。Apache Flink Agents 正是为了填补这一空白而生。

什么是 Apache Flink Agents?

Apache Flink Agents 是 Apache Flink 社区推出的全新开源子项目,是一个用于构建事件驱动型智能体的框架。它基于 Flink 经过大规模生产验证的流式引擎,继承了其分布式、可扩展、容错的结构化数据处理能力以及成熟的有状态管理机制,并在此基础上,为智能体 AI 的核心构建模块与功能——如大语言模型(LLMs)、提示词(prompts)、工具调用、记忆机制、动态编排、可观测性等——引入了原生支持与抽象。

该项目是由阿里云牵头、联合 Ververica、Confluent 和 LinkedIn 的开发者推动的,团队成员在大规模流处理与实时 AI 系统方面拥有深厚的技术积累。通过整合我们在生产级数据基础设施与智能系统方面的经验,我们正朝着一个共同愿景迈进:将智能体 AI 融入流式数据生态系统,使其具备可扩展性、高可靠性与真正的实时响应能力。

Apache Flink Agents 主要特性包括:

  • 大规模数据处理与毫秒级时延:依托 Flink 的分布式处理引擎,实时处理海量事件流。

  • 数据与 AI 的无缝集成:直接将 Flink 的 DataStream 和 Table API 作为智能体的输入和输出,实现 Flink 中结构化数据处理与 AI 文本处理能力的平滑集成。

  • Action 级别的精确一次一致性:通过将 Flink 的检查点机制与外部预写日志相结合,确保智能体的 Action 及其外部效应具备精确一次一致性语义。

  • 熟悉的智能体抽象:沿用业内常见的 AI 智能体概念,便于具有相关经验的开发者快速上手并在 Apache Flink Agents 上构建应用。

  • 多语言支持:同时提供原生的 Python 与 Java API,适配多样化开发环境,支持团队选择偏好的编程语言。

  • 丰富的生态系统:原生集成主流大语言模型(LLM)、来自不同提供商的向量存储,以及托管在 MCP 服务器上的工具与提示词,并支持自定义扩展。

  • 可观测性:采用以事件为中心的编排方式,所有智能体的 Action 均由事件连接与控制,可通过事件日志观察并理解智能体行为。

未来展望
Apache Flink Agents 首个公开版本 0.1.0 将于 10 月发布。该版本将包含核心智能体抽象、Flink DataStream 与 Table API 集成、基于 Kafka 的行动一致性保障、主流 LLM 与向量库支持、MCP 集成,以及基于事件日志的可观测能力。

这一里程碑标志着在 Apache Flink 上构建可扩展、事件驱动型 AI 智能体的新时代正式开启。欲了解更多信息,请访问 Apache Flink GitHub 仓库

详细路线图、设计讨论与社区反馈,请参见GitHub Discussions 页面——在这里跟踪和参与项目的演进。

如果你热衷于构建能够实时响应流事件的智能自主系统,那么 Apache Flink Agents 是一个值得密切关注并加入的项目。
我们诚挚邀请开发者、贡献者与 AI 爱好者积极参与,共同塑造基于 Apache Flink 的事件驱动 AI 未来。

了解更多

阅读技术博客:《Flink Agents:基于 Apache Flink 的事件驱动 AI 智能体框架
观看 Flink Forward Asia 新加坡 2025 演讲视频:《Flink Agents – The Agentic AI Framework based on Apache Flink
查看原始提案:FLIP-531: Initiate Flink Agents as a new Sub-Project

AI 的未来不仅是更聪明的模型,更是能在持续、可靠、大规模环境中行动的更智能的系统。借助 Apache Flink Agents,我们正在携手共建这一未来。

Apache®, Apache Flink®, Flink®, and the Flink logo are trademarks of the Apache Software Foundation in the United States and/or other countries. No endorsement by the Apache Software Foundation is implied by using these marks. All other trademarks are the property of their respective owners.


更多内容


活动推荐

复制下方链接或者扫描二维码
即可快速体验 “一体化的实时数仓联合解决方案”
了解活动详情:https://www.aliyun.com/solution/tech-solution/flink-hologres

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
386 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
4月前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
1483 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
|
4月前
|
SQL 人工智能 数据挖掘
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
Apache Doris 4.0 原生集成 LLM 函数,将大语言模型能力深度融入 SQL 引擎,实现文本处理智能化与数据分析一体化。通过十大函数,支持智能客服、内容分析、金融风控等场景,提升实时决策效率。采用资源池化管理,保障数据一致性,降低传输开销,毫秒级完成 AI 分析。结合缓存复用、并行执行与权限控制,兼顾性能、成本与安全,推动数据库向 AI 原生演进。
364 0
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
|
12月前
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
498 1
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
387 1
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
1330 9
|
消息中间件 监控 Kafka
实时计算 Flink版产品使用问题之处理Kafka数据顺序时,怎么确保事件的顺序性
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
消息中间件 负载均衡 Java
"Kafka核心机制揭秘:深入探索Producer的高效数据发布策略与Java实战应用"
【8月更文挑战第10天】Apache Kafka作为顶级分布式流处理平台,其Producer组件是数据高效发布的引擎。Producer遵循高吞吐、低延迟等设计原则,采用分批发送、异步处理及数据压缩等技术提升性能。它支持按消息键值分区,确保数据有序并实现负载均衡;提供多种确认机制保证可靠性;具备失败重试功能确保消息最终送达。Java示例展示了基本配置与消息发送流程,体现了Producer的强大与灵活性。
277 3
|
消息中间件 存储 Kafka
kafka 在 zookeeper 中保存的数据内容
kafka 在 zookeeper 中保存的数据内容
239 3

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多