阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来

简介: Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。

Apache Flink Agents:一项里程碑式合作,旨在构建可扩展、面向生产的事件驱动型流式智能体框架。

作者:宋辛童,Apache Flink PMC Member,阿里云高级技术专家

在 Flink Forward Barcelona 2025 大会上,我们宣布:阿里云、Ververica、Confluent 与 LinkedIn 四家数据流领域的领军企业正式携手,共同推进 Apache Flink Agents 的开发与共建 —— 这是 Apache Flink 社区推出的全新开源子项目,致力于将 AI 智能体(Agents)引入实时、事件驱动的系统世界。这一倡议标志着工业级 AI 应用迈出了关键一步:能够对实时数据流做出即时且自主的响应。

为何 Apache Flink Agents 至关重要?

尽管 AI 智能体在聊天机器人等交互式应用中已取得显著进展,但大多数仍运行在高吞吐、低延迟的实时数据处理体系之外。然而,在电商、金融、物联网和物流等工业场景中,关键决策必须基于实时事件迅速作出——例如支付失败、传感器异常或用户点击。这类工作负载不仅需要“智能”,更要求具备大规模处理能力、毫秒级延迟、容错机制和有状态协调能力,而这正是 Apache Flink 的核心优势。然而此前,业界一直缺乏一个统一框架,将智能体 AI 模式融入这一成熟的流处理生态。Apache Flink Agents 正是为了填补这一空白而生。

什么是 Apache Flink Agents?

Apache Flink Agents 是 Apache Flink 社区推出的全新开源子项目,是一个用于构建事件驱动型智能体的框架。它基于 Flink 经过大规模生产验证的流式引擎,继承了其分布式、可扩展、容错的结构化数据处理能力以及成熟的有状态管理机制,并在此基础上,为智能体 AI 的核心构建模块与功能——如大语言模型(LLMs)、提示词(prompts)、工具调用、记忆机制、动态编排、可观测性等——引入了原生支持与抽象。

该项目是由阿里云牵头、联合 Ververica、Confluent 和 LinkedIn 的开发者推动的,团队成员在大规模流处理与实时 AI 系统方面拥有深厚的技术积累。通过整合我们在生产级数据基础设施与智能系统方面的经验,我们正朝着一个共同愿景迈进:将智能体 AI 融入流式数据生态系统,使其具备可扩展性、高可靠性与真正的实时响应能力。

Apache Flink Agents 主要特性包括:

  • 大规模数据处理与毫秒级时延:依托 Flink 的分布式处理引擎,实时处理海量事件流。

  • 数据与 AI 的无缝集成:直接将 Flink 的 DataStream 和 Table API 作为智能体的输入和输出,实现 Flink 中结构化数据处理与 AI 文本处理能力的平滑集成。

  • Action 级别的精确一次一致性:通过将 Flink 的检查点机制与外部预写日志相结合,确保智能体的 Action 及其外部效应具备精确一次一致性语义。

  • 熟悉的智能体抽象:沿用业内常见的 AI 智能体概念,便于具有相关经验的开发者快速上手并在 Apache Flink Agents 上构建应用。

  • 多语言支持:同时提供原生的 Python 与 Java API,适配多样化开发环境,支持团队选择偏好的编程语言。

  • 丰富的生态系统:原生集成主流大语言模型(LLM)、来自不同提供商的向量存储,以及托管在 MCP 服务器上的工具与提示词,并支持自定义扩展。

  • 可观测性:采用以事件为中心的编排方式,所有智能体的 Action 均由事件连接与控制,可通过事件日志观察并理解智能体行为。

未来展望
Apache Flink Agents 首个公开版本 0.1.0 将于 10 月发布。该版本将包含核心智能体抽象、Flink DataStream 与 Table API 集成、基于 Kafka 的行动一致性保障、主流 LLM 与向量库支持、MCP 集成,以及基于事件日志的可观测能力。

这一里程碑标志着在 Apache Flink 上构建可扩展、事件驱动型 AI 智能体的新时代正式开启。欲了解更多信息,请访问 Apache Flink GitHub 仓库

详细路线图、设计讨论与社区反馈,请参见GitHub Discussions 页面——在这里跟踪和参与项目的演进。

如果你热衷于构建能够实时响应流事件的智能自主系统,那么 Apache Flink Agents 是一个值得密切关注并加入的项目。
我们诚挚邀请开发者、贡献者与 AI 爱好者积极参与,共同塑造基于 Apache Flink 的事件驱动 AI 未来。

了解更多

阅读技术博客:《Flink Agents:基于 Apache Flink 的事件驱动 AI 智能体框架
观看 Flink Forward Asia 新加坡 2025 演讲视频:《Flink Agents – The Agentic AI Framework based on Apache Flink
查看原始提案:FLIP-531: Initiate Flink Agents as a new Sub-Project

AI 的未来不仅是更聪明的模型,更是能在持续、可靠、大规模环境中行动的更智能的系统。借助 Apache Flink Agents,我们正在携手共建这一未来。

Apache®, Apache Flink®, Flink®, and the Flink logo are trademarks of the Apache Software Foundation in the United States and/or other countries. No endorsement by the Apache Software Foundation is implied by using these marks. All other trademarks are the property of their respective owners.


更多内容


活动推荐

复制下方链接或者扫描二维码
即可快速体验 “一体化的实时数仓联合解决方案”
了解活动详情:https://www.aliyun.com/solution/tech-solution/flink-hologres

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
3月前
|
存储 消息中间件 Kafka
Confluent 首席架构师万字剖析 Apache Fluss(三):湖流一体
原文:https://jack-vanlightly.com/blog/2025/9/2/understanding-apache-fluss 作者:Jack Vanlightly 翻译:Wayne Wang@腾讯 译注:Jack Vanlightly 是一位专注于数据系统底层架构的知名技术博主,他的文章以篇幅长、细节丰富而闻名。目前 Jack 就职于 Confluent,担任首席技术架构师,因此这篇 Fluss 深度分析文章,具备一定的客观参考意义。译文拆成了三篇文章,本文是第二篇。
527 25
Confluent 首席架构师万字剖析 Apache Fluss(三):湖流一体
|
3月前
|
存储 消息中间件 Kafka
Confluent 首席架构师万字剖析 Apache Fluss(二):核心架构
原文:https://jack-vanlightly.com/blog/2025/9/2/understanding-apache-fluss 作者:Jack Vanlightly 翻译:Wayne Wang@腾讯 译注:Jack Vanlightly 是一位专注于数据系统底层架构的知名技术博主,他的文章以篇幅长、细节丰富而闻名。目前 Jack 就职于 Confluent,担任首席技术架构师,因此这篇 Fluss 深度分析文章,具备一定的客观参考意义。译文拆成了三篇文章,本文是第二篇。
433 19
|
3月前
|
人工智能 API 数据处理
Flink Agents 0.1.0 发布公告
Apache Flink Agents 0.1.0 首发预览版上线!作为 Flink 新子项目,它在流处理引擎上构建事件驱动的 AI 智能体,融合 LLM、工具、记忆与动态编排,支持高吞吐、低延迟、精确一次语义,实现数据与 AI 无缝集成,助力电商、金融等实时场景智能决策。
431 39
|
3月前
|
存储 消息中间件 Kafka
Confluent 首席架构师万字剖析 Apache Fluss(一):核心概念
Apache Fluss是由阿里巴巴与Ververica合作开发的Flink表存储引擎,旨在提供低延迟、高效率的实时数据存储与变更日志支持。其采用TabletServer与CoordinatorServer架构,结合RocksDB和列式存储,实现主键表与日志表的统一管理,并通过客户端抽象整合湖仓历史数据,弥补Paimon在实时场景下的性能短板。
569 22
Confluent 首席架构师万字剖析 Apache Fluss(一):核心概念
|
4月前
|
SQL 人工智能 数据挖掘
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
Apache Doris 4.0 原生集成 LLM 函数,将大语言模型能力深度融入 SQL 引擎,实现文本处理智能化与数据分析一体化。通过十大函数,支持智能客服、内容分析、金融风控等场景,提升实时决策效率。采用资源池化管理,保障数据一致性,降低传输开销,毫秒级完成 AI 分析。结合缓存复用、并行执行与权限控制,兼顾性能、成本与安全,推动数据库向 AI 原生演进。
375 0
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
消息中间件 存储 传感器
271 0
|
4月前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
1531 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
|
12月前
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
500 1
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
392 1

热门文章

最新文章

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多