Flink 在人工智能领域的应用实践

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink 机器学习进度几何?如何将 Flink 与 TensorFlow 等框架相结合?有哪些 Flink 在机器学习上的生产实践应用?为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。

人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生着日益重要的作用,它与大数据的发展相辅相成,不仅推动人类社会迈入更智慧的世界,也为数据的应用带来无可估量的价值。

FFA_

11 月 28 - 30 日,Flink Forward Asia 2019 人工智能专场将聚焦于 Flink 在机器学习上的新技术与新应用,内容包含:

  • Flink 机器学习进度几何?
  • 如何将 Flink 与 TensorFlow 等框架相结合?
  • 有哪些 Flink 在机器学习上的生产实践应用?

为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。

Deep Learning On Apache Flink

陈龙 | Tencent Engineer

本次演讲将介绍一个新的 Flink 项目 dlonflink。它能够使 Flink 具备运行分布式训练和实时更新模型服务的能力,用户不仅可以使用 Scala 开发,而且可以基于 Python,只需修改几行代码即可在 Flink 上运行 TensorFlow,同时也支持 PyToch 和 MXNet。我们将详细介绍 Java 和 Python 之间数据交换相关的设计以及框架管理的实现。

在 Flink 上使用 Analytics-Zoo 进行大数据分析与深度学习模型推理的架构与实践

史栋杰 | 英特尔资深软件架构师

英特尔资深软件架构师。多年从事企业级计算、风控、大数据分析、云计算容器编排、数据分析与人工智能领域的研发,英特尔开源框架 BigDL 与 Analytics-Zoo 的贡献者之一。主要分享内容如下:

  1. Analytics-Zoo 简介:基于 Apache Spark、Tensorflow、Keras 和 BigDL 的大数据分析+AI 平台。
  2. 将大数据上的深度学习应用部署到生产环境,Flink 流处理场景的支持及使用 OpenVINO 加速。
  3. 一种基于消息订阅和 Flink 流处理的 Cluster Serving 架构。

Apache Flink + TensorFlow,携程实时智能异常检测平台实践

潘国庆 | 携程大数据研发经理

随着近几年的发展,实时计算的技术日趋成熟,实时计算的场景也越来越繁多,Flink 也渐渐成为实时计算引擎的首选之一,从简单的实时 ETL 到复杂的 CEP 场景 Flink 都能够很好的驾驭。

本次分享主要介绍携程如何基于 Flink 与 Tensorflow 构建携程实时智能异常检测平台,用于解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题,实现业务指标毫秒级延迟与智能化检测,依托 Flink 实现了强大的容错机制。

基于 Apache Flink 的机器学习算法平台实践与开源

杨旭 | 阿里巴巴资深算法专家

阿里巴巴计算平台事业部正在与 Flink 社区合作,开源自研的机器学习算法库,基于该算法库,用户可以更方便地构建高性能的 Flink 机器学习作业。我们希望通过开源来促进 Flink 社区在机器学习领域的发展。同时也欢迎更多开发者与我们携手共进,建立更强大、更完整的 Flink 算法库。

本次分享主要围绕团队基于 Flink 研发高性能机器学习算法库过程中的技术积累与收获,以及开源的进展。

Apache Flink AI Ecosystem Effort

陈戊超 | 阿里巴巴技术专家
高赟 | 阿里巴巴技术专家

Flink 是一个分布式计算引擎,支持批流一体的数据处理。在实际生产中的人工智能使用场景中,Flink 在包括特征工程,在线学习,在线预测等方面都有一些独特优势,为了更好的支持人工智能的使用场景,社区以及各个生态厂商都做了一些工作,本演讲将几点介绍近期 Flink 在人工智能生态系统中的工作进展。

  1. Flink ML Pipline: 定义了在 Flink 上运行机器学习工作流程的 API 包括特征工程,模型训练,模型预测等。
  2. Alink:是基于 Flink的机器学习算法库。
  3. Flink ML Workflow:以 Flink 为基础,结合深度学习框架 TensorFlow / PyTorch 为用户提供了串联整个机器学习工作链路中各个阶段的 API,并且同时支持批和流的运行模式。
  4. Streaming-based mini-batch iteration architecture:Flink 在流运行模式下支持迭代的新架构设计。

点击下方链接可了解更多 Flink Forward Asia 2019 大会议程,最后一周,对大会心动的同学抓紧时间购票啦~
https://developer.aliyun.com/special/ffa2019-conference?spm=a2c6h.13239638.0.0.21f27955Rm9hx4

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
打赏
0
0
0
0
36030
分享
相关文章
36.7K star!拖拽构建AI流程,这个开源LLM应用框架绝了!
`Flowise` 是一款革命性的低代码LLM应用构建工具,开发者通过可视化拖拽界面,就能快速搭建基于大语言模型的智能工作流。该项目在GitHub上线不到1年就斩获**36.7K星标**,被开发者誉为"AI时代的乐高积木"。
AI职场突围战:夸克应用+生成式人工智能认证,驱动“打工人”核心竞争力!
在AI浪潮推动下,生成式人工智能(GAI)成为职场必备工具。文中对比了夸克、豆包、DeepSeek和元宝四大AI应用,夸克以“超级入口”定位脱颖而出。同时,GAI认证为职场人士提供系统学习平台,与夸克结合助力职业发展。文章还探讨了职场人士如何通过加强学习、关注技术趋势及培养合规意识,在AI时代把握机遇。
AI-ClothingTryOn:服装店老板连夜下架试衣间!基于Gemini开发的AI试衣应用,一键生成10种穿搭效果
AI-ClothingTryOn是基于Google Gemini技术的虚拟试衣应用,支持人物与服装照片智能合成,可生成多达10种试穿效果版本,并提供自定义提示词优化功能。
57 17
AI-ClothingTryOn:服装店老板连夜下架试衣间!基于Gemini开发的AI试衣应用,一键生成10种穿搭效果
多模态AI核心技术:CLIP与SigLIP技术原理与应用进展
近年来,多模态表示学习在人工智能领域取得显著进展,CLIP和SigLIP成为里程碑式模型。CLIP由OpenAI提出,通过对比学习对齐图像与文本嵌入空间,具备强大零样本学习能力;SigLIP由Google开发,采用sigmoid损失函数优化训练效率与可扩展性。两者推动了多模态大型语言模型(MLLMs)的发展,如LLaVA、BLIP-2和Flamingo等,实现了视觉问答、图像描述生成等复杂任务。这些模型不仅拓展了理论边界,还为医疗、教育等领域释放技术潜力,标志着多模态智能系统的重要进步。
62 13
多模态AI核心技术:CLIP与SigLIP技术原理与应用进展
从零开始即刻拥有 DeepSeek-R1 满血版并使用 Dify 部署 AI 应用
本文介绍了如何使用阿里云提供的DeepSeek-R1大模型解决方案,通过Chatbox和Dify平台调用百炼API,实现稳定且高效的模型应用。首先,文章详细描述了如何通过Chatbox配置API并开始对话,适合普通用户快速上手。接着,深入探讨了使用Dify部署AI应用的过程,包括选购云服务器、安装Dify、配置对接DeepSeek-R1模型及创建工作流,展示了更复杂场景下的应用潜力。最后,对比了Chatbox与Dify的输出效果,证明Dify能提供更详尽、精准的回复。总结指出,阿里云的解决方案不仅操作简便,还为专业用户提供了强大的功能支持,极大提升了用户体验和应用效率。
1239 19
从零开始即刻拥有 DeepSeek-R1 满血版并使用 Dify 部署 AI 应用
帮你整理好了,AI 网关的 8 个常见应用场景
通过 SLS 还可以汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据汇总,从而建设完整统一的可观测方案。
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
本文总结了阿里妈妈数据技术专家陈亮在Flink Forward Asia 2024大会上的分享,围绕广告业务背景、架构设计及湖仓方案演进展开。内容涵盖广告生态运作、实时数仓挑战与优化,以及基于Paimon的湖仓方案优势。通过分层设计与技术优化,实现业务交付周期缩短30%以上,资源开销降低40%,并大幅提升系统稳定性和运营效率。文章还介绍了阿里云实时计算Flink版的免费试用活动,助力企业探索实时计算与湖仓一体化解决方案。
404 3
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
【AI落地应用实战】大模型加速器2.0:基于 ChatDoc + TextIn ParseX+ACGE的RAG知识库问答系统
本文探讨了私有知识库问答系统的难点及解决方案,重点分析了企业知识管理中的痛点,如信息孤岛、知识传承依赖个人经验等问题。同时,介绍了IntFinQ这款知识管理工具的核心特点和实践体验,包括智能问答、深度概括与多维数据分析等功能。文章还详细描述了IntFinQ的本地化部署过程,展示了其从文档解析到知识应用的完整技术闭环,特别是自研TextIn ParseX引擎和ACGE模型的优势。最后总结了该工具对企业和开发者的价值,强调其在提升知识管理效率方面的潜力。
阿里云AI Stack,加速大模型创新应用
阿里云AI Stack作为面向企业级客户的轻量化、极致性价比、软硬一体AI解决方案,顺利通过了中国信通院《AI大模型一体机技术能力要求》测评。
AI程序员:通义灵码 2.0应用VScode前端开发深度体验
AI程序员:通义灵码 2.0应用VScode前端开发深度体验,在软件开发领域,人工智能技术的融入正深刻改变着程序员的工作方式。通义灵码 2.0 作为一款先进的 AI 编程助手,与广受欢迎的代码编辑器 Visual Studio Code(VScode)相结合,为前端开发带来了全新的可能性。本文将详细分享通义灵码 2.0 在 VScode 前端开发环境中的深度使用体验。
165 2

相关产品

  • 实时计算 Flink版