新场景 + 新应用,Flink 在机器学习领域的生产落地

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 12月13日-15日,Flink Forward Asia 2020 机器学习专场,聚焦 Apache Flink 在机器学习领域的新技术、新场景、新应用。大会邀请了来自微博、小米、bilibili、阿里巴巴、英特尔等多位一线技术专家,分享 Flink 机器学习的具体应用实践与实战案例。

人工智能与机器学习被称为未来十大科技之一。随着全球移动互联网和物联网的发展,机器学习和 AI 相关技术的应用范围越来越广,而这背后都离不开数据与算力的强大支撑。企业如何借助 Apache Flink 强大算力为机器学习应用赋能?业界有哪些 Flink 机器学习的落地实践?

1.jpg


12月13日-15日,Flink Forward Asia 2020 机器学习专场,聚焦 Apache Flink 在机器学习领域的新技术、新场景、新应用。大会邀请了来自微博、小米、bilibili、阿里巴巴、英特尔等多位一线技术专家,分享 Flink 机器学习的具体应用实践与实战案例。

▼ 扫码了解完整大会议程 ▼

d8a70687c48a41fcbf57fe388e48e4c2.jpg

(大会官网)

Alink 在微博机器学习平台中的实践

高霖 | 新浪微博资深算法工程师

微博机器学习平台介绍
Alink 在微博的应用场景
Alink 在微博机器学习平台中的实践经验和改进

Flink 在小米广告业务中的实践

王曦伟 | 小米在线广告业务特征平台、实时化平台负责人

本次分享主要向大家介绍小米广告算法实时化体系的基本设计,以及 Flink 在这一体系上的应用场景和实践经验。

Apache Flink 在 bilibili 的多元化探索与实践

郑志升 | bilibili 大数据实时平台负责人

bilibili 实时体系从17年底雏形开始的实时传输架构(基于 Flume)和实时计算架构(Spark Streaming),逐渐演进至目前基于 Flink 构建而起的一整套完善的实时平台。历经3年的技术沉淀,传输平台随着体量逼近万亿规模,出现了很多基于 Flume 无法很好根治的痛点,例如导入数据无法满足准实时查询要求,以及不同数据流传输链路中的隔离要求,而基于 Flink 的流式分发架构很好地解决这些问题。

而计算平台则针对早期过高的个性化定制编程模式提供了一套通用的 BSQL 方案,广泛应用于实时数仓、报表、BI 分析、AI 工程等领域,特别是 AI 方向重点突破解决了流批场景统一的特征计算工程。

本次分享核心讲解万亿级传输分发架构的落地,以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。更多内容详见本次分享。

· B站实时的前世与今生
· 万亿级数据分发架构的落地
· 模型训练预处理 Pipeline 的实时化
· 未来的展望与思考

Alink 使机器学习应用更简单

杨旭 | 阿里巴巴资深算法专家

Alink 是在去年的Flink Forward Asia上宣布开源的。在过去的一年中,Alink仍在快速迭代发展中,推出了2个大版本和4个小版本。

在本次分享中,着重介绍在易用性方面的工作,简化安装过程、解决常见的问题;提升使用体验,在参数检查方面更加智能;支持 Kafka 数据源、Hive 数据源;支持多文件系统;推出 AK 格式读取、导出组件,简化文件数据的操作;支持模型信息摘要、输出等。

基于 Flink 的在线机器学习系统架构探讨

秦江杰 | Apache Flink & Kafka PMC Member,阿里巴巴 Flink 生态团队负责人
陈戊超 | 阿里巴巴技术专家

近年来随着机器学习的广泛应用,传统的离线机器学习在包括推荐、搜索、广告等场景下逐渐被实时机器学习的架构所替代,形成了机器学习实时化的趋势,在此过程中 Flink 扮演了越来越重要的作用。本演讲从机器学习工程的角度出发,对以下问题进行探讨:

1、如何从传统离线机器学习架构迁移到在线离线融合的机器学习架构?
2、Flink 的流批统一,支持 retraction 的机制在实时机器学习架构中有何优势?
3、如何整合并简化机器学习应用的开发部署。

听众将了解 Flink AI 的发展方向以及如何基于 Flink 搭建一个在线机器学习系统。

Cluster Serving: Distributed and Automated Model Inference on Big Data Streaming Frameworks

宋佳明 | 英特尔机器学习工程师

随着深度学习在生产环境的应用,大规模深度学习、实时分布式推理的需求不断增加,为了满足机器学习 Pipeline 中对极低延迟模型服务的需求,我们开发了集群服务:英特尔 Analytics Zoo 自动分布式服务解决方案。

在本次分享中,我们将介绍 Cluster Serving 如何利用 Flink 的流式 Runtime、低延迟、高吞吐的优势,Cluster Serving 的架构设计和底层设计,以及如何部署和管理分布式深度学习模型,并分享生产环境中使用大数据和统一数据处理的案例。

除此之外,本次分享还将介绍如何使用群集服务轻松集成 Flink 运算符,以及如何在 Flink 新功能“Stateful Function”实现更灵活的服务。

以上为 Flink Forward Asia 2020 在线峰会机器学习专场内容节选,了解更多大会详情及大会预约可点击「阅读原文」。12月13日,全球 38+ 一线厂商,70+ 优质议题,我们在 Flink Forward Asia 在线峰会等你~

▼ FFA 2020 交流群 ▼

大会实时提问及嘉宾分享PPT都将在交流群公布~

ffa 交流群

3.jpg


相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
7月前
|
存储 运维 监控
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
本文总结了阿里妈妈数据技术专家陈亮在Flink Forward Asia 2024大会上的分享,围绕广告业务背景、架构设计及湖仓方案演进展开。内容涵盖广告生态运作、实时数仓挑战与优化,以及基于Paimon的湖仓方案优势。通过分层设计与技术优化,实现业务交付周期缩短30%以上,资源开销降低40%,并大幅提升系统稳定性和运营效率。文章还介绍了阿里云实时计算Flink版的免费试用活动,助力企业探索实时计算与湖仓一体化解决方案。
858 3
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
|
7月前
|
存储 运维 BI
万字长文带你深入广告场景Paimon+Flink全链路探索与实践
本文将结合实时、离线数据研发痛点和当下Paimon的特性,以实例呈现低门槛、低成本、分钟级延迟的流批一体化方案,点击文章阅读详细内容~
|
7月前
|
SQL 弹性计算 DataWorks
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
321 6
|
7月前
|
机器学习/深度学习 传感器 数据采集
基于机器学习的数据分析:PLC采集的生产数据预测设备故障模型
本文介绍如何利用Python和Scikit-learn构建基于PLC数据的设备故障预测模型。通过实时采集温度、振动、电流等参数,进行数据预处理和特征提取,选择合适的机器学习模型(如随机森林、XGBoost),并优化模型性能。文章还分享了边缘计算部署方案及常见问题排查,强调模型预测应结合定期维护,确保系统稳定运行。
749 0
|
10月前
|
消息中间件 JSON 数据库
探索Flink动态CEP:杭州银行的实战案例
本文由杭州银行大数据工程师唐占峰、欧阳武林撰写,介绍Flink动态CEP的定义、应用场景、技术实现及使用方式。Flink动态CEP是基于Flink的复杂事件处理库,支持在不重启服务的情况下动态更新规则,适应快速变化的业务需求。文章详细阐述了其在反洗钱、反欺诈和实时营销等金融领域的应用,并展示了某金融机构的实际应用案例。通过动态CEP,用户可以实时调整规则,提高系统的灵活性和响应速度,降低维护成本。文中还提供了具体的代码示例和技术细节,帮助读者理解和使用Flink动态CEP。
1161 2
探索Flink动态CEP:杭州银行的实战案例
|
10月前
|
流计算 开发者
【开发者评测】实时计算Flink场景实践和核心功能体验测评获奖名单公布!
【开发者评测】实时计算Flink场景实践和核心功能体验测评获奖名单公布!
203 1
|
11月前
|
运维 数据挖掘 网络安全
场景实践 | 基于Flink+Hologres搭建GitHub实时数据分析
基于Flink和Hologres构建的实时数仓方案在数据开发运维体验、成本与收益等方面均表现出色。同时,该产品还具有与其他产品联动组合的可能性,能够为企业提供更全面、更智能的数据处理和分析解决方案。
|
12月前
|
消息中间件 监控 数据可视化
实时计算Flink场景实践和核心功能体验
本文详细评测了阿里云实时计算Flink版,从产品引导、文档帮助、功能满足度等方面进行了全面分析。产品界面设计友好,文档丰富实用,数据开发和运维体验优秀,具备出色的实时性和动态扩展性。同时,提出了针对业务场景的改进建议,包括功能定制化增强、高级分析功能拓展及可视化功能提升。文章还探讨了产品与阿里云内部产品及第三方工具的联动潜力,展示了其在多云架构和跨平台应用中的广阔前景。
307 9
|
12月前
|
运维 监控 安全
实时计算Flink场景实践和核心功能体验
实时计算Flink场景实践和核心功能体验
|
11月前
|
数据采集 运维 搜索推荐
实时计算Flink场景实践
在数字化时代,实时数据处理愈发重要。本文分享了作者使用阿里云实时计算Flink版和流式数据湖仓Paimon的体验,展示了其在电商场景中的应用,包括数据抽取、清洗、关联和聚合,突出了系统的高效、稳定和低延迟特点。
233 0

相关产品

  • 实时计算 Flink版