Flink 在人工智能领域的应用实践

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink 机器学习进度几何?如何将 Flink 与 TensorFlow 等框架相结合?有哪些 Flink 在机器学习上的生产实践应用?为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。

人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生着日益重要的作用,它与大数据的发展相辅相成,不仅推动人类社会迈入更智慧的世界,也为数据的应用带来无可估量的价值。

FFA_

11 月 28 - 30 日,Flink Forward Asia 2019 人工智能专场将聚焦于 Flink 在机器学习上的新技术与新应用,内容包含:

  • Flink 机器学习进度几何?
  • 如何将 Flink 与 TensorFlow 等框架相结合?
  • 有哪些 Flink 在机器学习上的生产实践应用?

为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。

Deep Learning On Apache Flink

陈龙 | Tencent Engineer

本次演讲将介绍一个新的 Flink 项目 dlonflink。它能够使 Flink 具备运行分布式训练和实时更新模型服务的能力,用户不仅可以使用 Scala 开发,而且可以基于 Python,只需修改几行代码即可在 Flink 上运行 TensorFlow,同时也支持 PyToch 和 MXNet。我们将详细介绍 Java 和 Python 之间数据交换相关的设计以及框架管理的实现。

在 Flink 上使用 Analytics-Zoo 进行大数据分析与深度学习模型推理的架构与实践

史栋杰 | 英特尔资深软件架构师

英特尔资深软件架构师。多年从事企业级计算、风控、大数据分析、云计算容器编排、数据分析与人工智能领域的研发,英特尔开源框架 BigDL 与 Analytics-Zoo 的贡献者之一。主要分享内容如下:

  1. Analytics-Zoo 简介:基于 Apache Spark、Tensorflow、Keras 和 BigDL 的大数据分析+AI 平台。
  2. 将大数据上的深度学习应用部署到生产环境,Flink 流处理场景的支持及使用 OpenVINO 加速。
  3. 一种基于消息订阅和 Flink 流处理的 Cluster Serving 架构。

Apache Flink + TensorFlow,携程实时智能异常检测平台实践

潘国庆 | 携程大数据研发经理

随着近几年的发展,实时计算的技术日趋成熟,实时计算的场景也越来越繁多,Flink 也渐渐成为实时计算引擎的首选之一,从简单的实时 ETL 到复杂的 CEP 场景 Flink 都能够很好的驾驭。

本次分享主要介绍携程如何基于 Flink 与 Tensorflow 构建携程实时智能异常检测平台,用于解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题,实现业务指标毫秒级延迟与智能化检测,依托 Flink 实现了强大的容错机制。

基于 Apache Flink 的机器学习算法平台实践与开源

杨旭 | 阿里巴巴资深算法专家

阿里巴巴计算平台事业部正在与 Flink 社区合作,开源自研的机器学习算法库,基于该算法库,用户可以更方便地构建高性能的 Flink 机器学习作业。我们希望通过开源来促进 Flink 社区在机器学习领域的发展。同时也欢迎更多开发者与我们携手共进,建立更强大、更完整的 Flink 算法库。

本次分享主要围绕团队基于 Flink 研发高性能机器学习算法库过程中的技术积累与收获,以及开源的进展。

Apache Flink AI Ecosystem Effort

陈戊超 | 阿里巴巴技术专家
高赟 | 阿里巴巴技术专家

Flink 是一个分布式计算引擎,支持批流一体的数据处理。在实际生产中的人工智能使用场景中,Flink 在包括特征工程,在线学习,在线预测等方面都有一些独特优势,为了更好的支持人工智能的使用场景,社区以及各个生态厂商都做了一些工作,本演讲将几点介绍近期 Flink 在人工智能生态系统中的工作进展。

  1. Flink ML Pipline: 定义了在 Flink 上运行机器学习工作流程的 API 包括特征工程,模型训练,模型预测等。
  2. Alink:是基于 Flink的机器学习算法库。
  3. Flink ML Workflow:以 Flink 为基础,结合深度学习框架 TensorFlow / PyTorch 为用户提供了串联整个机器学习工作链路中各个阶段的 API,并且同时支持批和流的运行模式。
  4. Streaming-based mini-batch iteration architecture:Flink 在流运行模式下支持迭代的新架构设计。

点击下方链接可了解更多 Flink Forward Asia 2019 大会议程,最后一周,对大会心动的同学抓紧时间购票啦~
https://developer.aliyun.com/special/ffa2019-conference?spm=a2c6h.13239638.0.0.21f27955Rm9hx4

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1月前
|
开发框架 人工智能 Java
破茧成蝶:阿里云应用服务器让传统 J2EE 应用无缝升级 AI 原生时代
本文详细介绍了阿里云应用服务器如何助力传统J2EE应用实现智能化升级。文章分为三部分:第一部分阐述了传统J2EE应用在智能化转型中的痛点,如协议鸿沟、资源冲突和观测失明;第二部分展示了阿里云应用服务器的解决方案,包括兼容传统EJB容器与微服务架构、支持大模型即插即用及全景可观测性;第三部分则通过具体步骤说明如何基于EDAS开启J2EE应用的智能化进程,确保十年代码无需重写,轻松实现智能化跃迁。
250 41
|
20天前
|
人工智能 数据挖掘
🔔阿里云百炼智能体和工作流可以发布为组件了,AI应用变成“搭积木”
本文介绍了如何通过智能体组件化设计快速生成PPT。首先,创建一个“PPT大纲生成”智能体并发布为组件,该组件可根据用户输入生成结构清晰的大纲。接着,在新的智能体应用中调用此组件与MCP服务(如ChatPPT),实现从大纲到完整PPT的自动化生成。整个流程模块化、复用性强,显著降低AI开发门槛,提升效率。非技术人员也可轻松上手,满足多样化场景需求。
🔔阿里云百炼智能体和工作流可以发布为组件了,AI应用变成“搭积木”
|
1月前
|
人工智能 数据挖掘 大数据
“龟速”到“光速”?算力如何加速 AI 应用进入“快车道”
阿里云将联合英特尔、蚂蚁数字科技专家,带来“云端进化论”特别直播。
78 11
|
2月前
|
开发框架 人工智能 Java
破茧成蝶:传统J2EE应用无缝升级AI原生
本文探讨了技术挑战和解决方案,还提供了具体的实施步骤,旨在帮助企业顺利实现从传统应用到智能应用的过渡。
破茧成蝶:传统J2EE应用无缝升级AI原生
|
2月前
|
存储 监控 数据挖掘
京东物流基于Flink & StarRocks的湖仓建设实践
本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享,聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程,解决复杂业务场景下的数据分析挑战,如多维OLAP分析、大屏监控等。同时,文章详细介绍了基于StarRocks的湖仓一体方案,优化存储成本并提升查询效率,以及存算分离的应用实践。最后,对未来数据服务的发展方向进行了展望,计划推广长周期数据存储服务和原生数据湖建设,进一步提升数据分析能力。
227 1
京东物流基于Flink & StarRocks的湖仓建设实践
|
20天前
|
数据采集 机器学习/深度学习 人工智能
代理IP:企业AI应用的隐形加速器与合规绞索
代理IP作为企业AI应用的重要基础设施,既是效率提升的加速器,也可能成为合规风险的来源。它通过技术演进重塑数据采集、模型训练与安全防护等核心环节,如智能路由、量子加密和边缘计算等创新方案显著优化性能。然而,全球法规(如GDPR)对数据流动提出严格要求,促使企业开发自动化合规审计系统应对挑战。未来,代理IP将向智能路由3.0、PaaS服务及量子网络方向发展,成为连接物理与数字世界的神经网络。企业在享受其带来的效率增益同时,需构建技术、法律与伦理三位一体的防护体系以规避风险。
42 0
|
2月前
|
数据采集 人工智能 大数据
演讲实录:中小企业如何快速构建AI应用?
AI时代飞速发展,大模型和AI的应用创新不断涌现,面对百花齐放的AI模型,阿里云计算平台大数据AI解决方案总监魏博文分享如何通过阿里云提供的大数据AI一体化平台,解决企业开发难、部署繁、成本高等一系列问题,让中小企业快速搭建AI应用。
|
2月前
|
人工智能 搜索推荐 API
AI赋能大学计划·大模型技术与应用实战学生训练营——华东师范大学站圆满结营
4月24日,由中国软件行业校园招聘与实习公共服务平台携手阿里魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行大模型应用实战学生训练营——华东师范大学站圆满结营。
103 2
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能应用领域有哪些
本文全面探讨了人工智能(AI)的应用领域和技术核心,涵盖医疗、交通、金融、教育、制造、零售等多个行业,并分析了AI技术的局限性及规避策略。同时,介绍了生成式人工智能认证项目的意义与展望。尽管AI发展面临数据依赖和算法可解释性等问题,但通过优化策略和经验验证,可推动其健康发展。未来,AI将在更多领域发挥重要作用,助力社会进步。
|
11天前
|
资源调度 Kubernetes 流计算
Flink在B站的大规模云原生实践
本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享,围绕Flink On K8S的实践展开。内容涵盖五个部分:背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战,包括资源池统一、环境一致性改进及隔离性提升,并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外,还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向,为Flink云原生化提供了全面的技术参考。
Flink在B站的大规模云原生实践

相关产品

  • 实时计算 Flink版
  • 下一篇
    oss创建bucket