Flink 在人工智能领域的应用实践

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: Flink 机器学习进度几何?如何将 Flink 与 TensorFlow 等框架相结合?有哪些 Flink 在机器学习上的生产实践应用?为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。

人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生着日益重要的作用,它与大数据的发展相辅相成,不仅推动人类社会迈入更智慧的世界,也为数据的应用带来无可估量的价值。

FFA_

11 月 28 - 30 日,Flink Forward Asia 2019 人工智能专场将聚焦于 Flink 在机器学习上的新技术与新应用,内容包含:

  • Flink 机器学习进度几何?
  • 如何将 Flink 与 TensorFlow 等框架相结合?
  • 有哪些 Flink 在机器学习上的生产实践应用?

为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。

Deep Learning On Apache Flink

陈龙 | Tencent Engineer

本次演讲将介绍一个新的 Flink 项目 dlonflink。它能够使 Flink 具备运行分布式训练和实时更新模型服务的能力,用户不仅可以使用 Scala 开发,而且可以基于 Python,只需修改几行代码即可在 Flink 上运行 TensorFlow,同时也支持 PyToch 和 MXNet。我们将详细介绍 Java 和 Python 之间数据交换相关的设计以及框架管理的实现。

在 Flink 上使用 Analytics-Zoo 进行大数据分析与深度学习模型推理的架构与实践

史栋杰 | 英特尔资深软件架构师

英特尔资深软件架构师。多年从事企业级计算、风控、大数据分析、云计算容器编排、数据分析与人工智能领域的研发,英特尔开源框架 BigDL 与 Analytics-Zoo 的贡献者之一。主要分享内容如下:

  1. Analytics-Zoo 简介:基于 Apache Spark、Tensorflow、Keras 和 BigDL 的大数据分析+AI 平台。
  2. 将大数据上的深度学习应用部署到生产环境,Flink 流处理场景的支持及使用 OpenVINO 加速。
  3. 一种基于消息订阅和 Flink 流处理的 Cluster Serving 架构。

Apache Flink + TensorFlow,携程实时智能异常检测平台实践

潘国庆 | 携程大数据研发经理

随着近几年的发展,实时计算的技术日趋成熟,实时计算的场景也越来越繁多,Flink 也渐渐成为实时计算引擎的首选之一,从简单的实时 ETL 到复杂的 CEP 场景 Flink 都能够很好的驾驭。

本次分享主要介绍携程如何基于 Flink 与 Tensorflow 构建携程实时智能异常检测平台,用于解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题,实现业务指标毫秒级延迟与智能化检测,依托 Flink 实现了强大的容错机制。

基于 Apache Flink 的机器学习算法平台实践与开源

杨旭 | 阿里巴巴资深算法专家

阿里巴巴计算平台事业部正在与 Flink 社区合作,开源自研的机器学习算法库,基于该算法库,用户可以更方便地构建高性能的 Flink 机器学习作业。我们希望通过开源来促进 Flink 社区在机器学习领域的发展。同时也欢迎更多开发者与我们携手共进,建立更强大、更完整的 Flink 算法库。

本次分享主要围绕团队基于 Flink 研发高性能机器学习算法库过程中的技术积累与收获,以及开源的进展。

Apache Flink AI Ecosystem Effort

陈戊超 | 阿里巴巴技术专家
高赟 | 阿里巴巴技术专家

Flink 是一个分布式计算引擎,支持批流一体的数据处理。在实际生产中的人工智能使用场景中,Flink 在包括特征工程,在线学习,在线预测等方面都有一些独特优势,为了更好的支持人工智能的使用场景,社区以及各个生态厂商都做了一些工作,本演讲将几点介绍近期 Flink 在人工智能生态系统中的工作进展。

  1. Flink ML Pipline: 定义了在 Flink 上运行机器学习工作流程的 API 包括特征工程,模型训练,模型预测等。
  2. Alink:是基于 Flink的机器学习算法库。
  3. Flink ML Workflow:以 Flink 为基础,结合深度学习框架 TensorFlow / PyTorch 为用户提供了串联整个机器学习工作链路中各个阶段的 API,并且同时支持批和流的运行模式。
  4. Streaming-based mini-batch iteration architecture:Flink 在流运行模式下支持迭代的新架构设计。

点击下方链接可了解更多 Flink Forward Asia 2019 大会议程,最后一周,对大会心动的同学抓紧时间购票啦~
https://developer.aliyun.com/special/ffa2019-conference?spm=a2c6h.13239638.0.0.21f27955Rm9hx4

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
26天前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
361 29
|
1月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
411 24
|
2月前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
712 36
|
28天前
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
280 1
|
1月前
|
消息中间件 人工智能 安全
构建企业级 AI 应用:为什么我们需要 AI 中间件?
阿里云发布AI中间件,涵盖AgentScope-Java、AI MQ、Higress、Nacos及可观测体系,全面开源核心技术,助力企业构建分布式多Agent架构,推动AI原生应用规模化落地。
200 0
构建企业级 AI 应用:为什么我们需要 AI 中间件?
|
1月前
|
人工智能 算法 Java
Java与AI驱动区块链:构建智能合约与去中心化AI应用
区块链技术和人工智能的融合正在开创去中心化智能应用的新纪元。本文深入探讨如何使用Java构建AI驱动的区块链应用,涵盖智能合约开发、去中心化AI模型训练与推理、数据隐私保护以及通证经济激励等核心主题。我们将完整展示从区块链基础集成、智能合约编写、AI模型上链到去中心化应用(DApp)开发的全流程,为构建下一代可信、透明的智能去中心化系统提供完整技术方案。
211 3
|
1月前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
2月前
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。
381 12
|
26天前
|
人工智能 缓存 运维
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
本文介绍联调造数场景下的AI应用演进:从单Agent模式到多Agent协同的架构升级。针对复杂指令执行不准、响应慢等问题,通过意图识别、工具引擎、推理执行等多Agent分工协作,结合工程化手段提升准确性与效率,并分享了关键设计思路与实践心得。
337 20
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
|
1月前
|
人工智能 安全 中间件
构建企业级 AI 应用:为什么我们需要 AI 中间件?
阿里云发布AI中间件,推出AgentScope-Java、AI MQ、Higress网关、Nacos注册中心及可观测体系,全面开源核心技术,构建分布式多Agent架构基座,助力企业级AI应用规模化落地,推动AI原生应用进入新范式。
343 26

相关产品

  • 实时计算 Flink版