新场景 + 新应用,Flink 在机器学习领域的生产落地

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 12月13日-15日,Flink Forward Asia 2020 机器学习专场,聚焦 Apache Flink 在机器学习领域的新技术、新场景、新应用。大会邀请了来自微博、小米、bilibili、阿里巴巴、英特尔等多位一线技术专家,分享 Flink 机器学习的具体应用实践与实战案例。

人工智能与机器学习被称为未来十大科技之一。随着全球移动互联网和物联网的发展,机器学习和 AI 相关技术的应用范围越来越广,而这背后都离不开数据与算力的强大支撑。企业如何借助 Apache Flink 强大算力为机器学习应用赋能?业界有哪些 Flink 机器学习的落地实践?

1.jpg


12月13日-15日,Flink Forward Asia 2020 机器学习专场,聚焦 Apache Flink 在机器学习领域的新技术、新场景、新应用。大会邀请了来自微博、小米、bilibili、阿里巴巴、英特尔等多位一线技术专家,分享 Flink 机器学习的具体应用实践与实战案例。

▼ 扫码了解完整大会议程 ▼

d8a70687c48a41fcbf57fe388e48e4c2.jpg

(大会官网)

Alink 在微博机器学习平台中的实践

高霖 | 新浪微博资深算法工程师

微博机器学习平台介绍
Alink 在微博的应用场景
Alink 在微博机器学习平台中的实践经验和改进

Flink 在小米广告业务中的实践

王曦伟 | 小米在线广告业务特征平台、实时化平台负责人

本次分享主要向大家介绍小米广告算法实时化体系的基本设计,以及 Flink 在这一体系上的应用场景和实践经验。

Apache Flink 在 bilibili 的多元化探索与实践

郑志升 | bilibili 大数据实时平台负责人

bilibili 实时体系从17年底雏形开始的实时传输架构(基于 Flume)和实时计算架构(Spark Streaming),逐渐演进至目前基于 Flink 构建而起的一整套完善的实时平台。历经3年的技术沉淀,传输平台随着体量逼近万亿规模,出现了很多基于 Flume 无法很好根治的痛点,例如导入数据无法满足准实时查询要求,以及不同数据流传输链路中的隔离要求,而基于 Flink 的流式分发架构很好地解决这些问题。

而计算平台则针对早期过高的个性化定制编程模式提供了一套通用的 BSQL 方案,广泛应用于实时数仓、报表、BI 分析、AI 工程等领域,特别是 AI 方向重点突破解决了流批场景统一的特征计算工程。

本次分享核心讲解万亿级传输分发架构的落地,以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。更多内容详见本次分享。

· B站实时的前世与今生
· 万亿级数据分发架构的落地
· 模型训练预处理 Pipeline 的实时化
· 未来的展望与思考

Alink 使机器学习应用更简单

杨旭 | 阿里巴巴资深算法专家

Alink 是在去年的Flink Forward Asia上宣布开源的。在过去的一年中,Alink仍在快速迭代发展中,推出了2个大版本和4个小版本。

在本次分享中,着重介绍在易用性方面的工作,简化安装过程、解决常见的问题;提升使用体验,在参数检查方面更加智能;支持 Kafka 数据源、Hive 数据源;支持多文件系统;推出 AK 格式读取、导出组件,简化文件数据的操作;支持模型信息摘要、输出等。

基于 Flink 的在线机器学习系统架构探讨

秦江杰 | Apache Flink & Kafka PMC Member,阿里巴巴 Flink 生态团队负责人
陈戊超 | 阿里巴巴技术专家

近年来随着机器学习的广泛应用,传统的离线机器学习在包括推荐、搜索、广告等场景下逐渐被实时机器学习的架构所替代,形成了机器学习实时化的趋势,在此过程中 Flink 扮演了越来越重要的作用。本演讲从机器学习工程的角度出发,对以下问题进行探讨:

1、如何从传统离线机器学习架构迁移到在线离线融合的机器学习架构?
2、Flink 的流批统一,支持 retraction 的机制在实时机器学习架构中有何优势?
3、如何整合并简化机器学习应用的开发部署。

听众将了解 Flink AI 的发展方向以及如何基于 Flink 搭建一个在线机器学习系统。

Cluster Serving: Distributed and Automated Model Inference on Big Data Streaming Frameworks

宋佳明 | 英特尔机器学习工程师

随着深度学习在生产环境的应用,大规模深度学习、实时分布式推理的需求不断增加,为了满足机器学习 Pipeline 中对极低延迟模型服务的需求,我们开发了集群服务:英特尔 Analytics Zoo 自动分布式服务解决方案。

在本次分享中,我们将介绍 Cluster Serving 如何利用 Flink 的流式 Runtime、低延迟、高吞吐的优势,Cluster Serving 的架构设计和底层设计,以及如何部署和管理分布式深度学习模型,并分享生产环境中使用大数据和统一数据处理的案例。

除此之外,本次分享还将介绍如何使用群集服务轻松集成 Flink 运算符,以及如何在 Flink 新功能“Stateful Function”实现更灵活的服务。

以上为 Flink Forward Asia 2020 在线峰会机器学习专场内容节选,了解更多大会详情及大会预约可点击「阅读原文」。12月13日,全球 38+ 一线厂商,70+ 优质议题,我们在 Flink Forward Asia 在线峰会等你~

▼ FFA 2020 交流群 ▼

大会实时提问及嘉宾分享PPT都将在交流群公布~

ffa 交流群

3.jpg


相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
16天前
|
机器学习/深度学习 人工智能 物联网
通义灵码在人工智能与机器学习领域的应用
通义灵码不仅在物联网领域表现出色,还在人工智能、机器学习、金融、医疗和教育等领域展现出广泛应用前景。本文探讨了其在这些领域的具体应用,如模型训练、风险评估、医疗影像诊断等,并总结了其提高开发效率、降低门槛、促进合作和推动创新的优势。
通义灵码在人工智能与机器学习领域的应用
|
16天前
|
机器学习/深度学习 传感器 自动驾驶
探索机器学习在图像识别中的创新应用
本文深入分析了机器学习技术在图像识别领域的最新进展,探讨了深度学习算法如何推动图像处理技术的突破。通过具体案例分析,揭示了机器学习模型在提高图像识别准确率、效率及应用场景拓展方面的潜力。文章旨在为读者提供一个全面的视角,了解当前机器学习在图像识别领域的创新应用和未来发展趋势。
|
26天前
|
机器学习/深度学习 人工智能 自然语言处理
思通数科AI平台在尽职调查中的技术解析与应用
思通数科AI多模态能力平台结合OCR、NLP和深度学习技术,为IPO尽职调查、融资等重要交易环节提供智能化解决方案。平台自动识别、提取并分类海量文档,实现高效数据核验与合规性检查,显著提升审查速度和精准度,同时保障敏感信息管理和数据安全。
85 11
|
26天前
|
机器学习/深度学习 数据采集 运维
智能化运维:机器学习在故障预测和自动化响应中的应用
智能化运维:机器学习在故障预测和自动化响应中的应用
51 4
|
27天前
|
机器学习/深度学习 TensorFlow API
机器学习实战:TensorFlow在图像识别中的应用探索
【10月更文挑战第28天】随着深度学习技术的发展,图像识别取得了显著进步。TensorFlow作为Google开源的机器学习框架,凭借其强大的功能和灵活的API,在图像识别任务中广泛应用。本文通过实战案例,探讨TensorFlow在图像识别中的优势与挑战,展示如何使用TensorFlow构建和训练卷积神经网络(CNN),并评估模型的性能。尽管面临学习曲线和资源消耗等挑战,TensorFlow仍展现出广阔的应用前景。
55 5
|
2月前
|
机器学习/深度学习 数据采集 人工智能
R语言是一种强大的编程语言,广泛应用于统计分析、数据可视化、机器学习等领域
R语言是一种广泛应用于统计分析、数据可视化及机器学习的强大编程语言。本文为初学者提供了一份使用R语言进行机器学习的入门指南,涵盖R语言简介、安装配置、基本操作、常用机器学习库介绍及实例演示,帮助读者快速掌握R语言在机器学习领域的应用。
69 3
|
2月前
|
机器学习/深度学习 并行计算 数据挖掘
R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域
【10月更文挑战第21天】R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域。本文将介绍R语言中的一些高级编程技巧,包括函数式编程、向量化运算、字符串处理、循环和条件语句、异常处理和性能优化等方面,以帮助读者更好地掌握R语言的编程技巧,提高数据分析的效率。
47 2
|
2月前
|
机器学习/深度学习 API 计算机视觉
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(下)
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(下)
28 2
|
21天前
|
机器学习/深度学习 人工智能 安全
人工智能与机器学习在网络安全中的应用
人工智能与机器学习在网络安全中的应用
48 0
|
2月前
|
机器学习/深度学习 存储 算法
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(上)
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(上)
35 1

相关产品

  • 实时计算 Flink版