机器学习+运筹优化=?

简介: 本文主要从机器学习和运筹优化两个方面介绍了其在生产管理和商业运营中的应用。通过农业、养殖业和新零售的案例,深入讲解了应用场景和原理。


演讲嘉宾简介:谭剑,阿里巴巴达摩院MIT资深算法专家。


数十款阿里云产品限时折扣中,赶紧点击这里,领劵开始云上实践吧!


本次直播视频精彩回顾,戳这里! 

 

简介

本次分享主要围绕机器学习和运筹优化两个方面。它们在学术角度存在很大的重合,也有各自的侧重点。为了更好地帮助大家理解,这里借用心理学教授DANIEL KAHNEMAN的表达。


e4b4eed06f9cd340c83b21913d4194612806a8ed


人有两个系统,System1System2,分别负责快思考和慢思考。所谓快思考,即普通人在12秒之内能做出的决定,反之,如果需要一定的专注和专业,则为慢思考。在过去的六七年中,业界逐渐取得了在机器学习技术上的突破。而在很多传统行业中,关注的更多的是运筹学的内容。在复杂的生产管理和商业运营中,往往需要人在System1System2之间进行反复的迭代,以取得更优的解。下面将围绕机器学习和运筹优化分享三个具体的实例。

 

案例介绍

第一个案例是智能农业。主要涉及养殖和种植。背后涉及的知识点是深度学习模型压缩与加速。 第二个案例是计算资源优化。它是运筹学比较关注的问题。第三个案例是新零售。本文将从算法和架构的角度,提供一些新的视角。我们的最终目的是希望通过机器学习使感知模型自动化,同时通过运筹优化使决策过程智能化。

 3ac11328096fc1b2c32f03778df56c250d5f9838


智能农业

下图展示了深度学习模型压缩与加速在应用集团内外的一些落地项目。


88175c67793e29f3b2c8b6d63f0c1a2d2015dabe


下面主要介绍在种植和养殖方面的实际应用。下图展示了“天蓬计划”这个项目是真实的部署在养殖场中的。从右侧这张图展示的是实时监控猪的数量。左侧这张图是用以确定猪的身份的,比如来源、成长曲线等一系列关键的参数信息。


1ff7bd993e69779262079990270130bc62ce7866


智能农业

通过无人机技术,我们希望能准确地获取农作物的生长状态信息。为承保、理赔提供参考信息,为实时监管提供有利的帮助。

 

b9ce3f033548c42598698d1be90fe8ef5b43f441


下图展示的也是一个实时部署系统。在下图中,我们识别出了玉米大多正处在开花期。不仅如此,还识别出了数量信息。

 

6c4ae57043313fd3c8cddb4e554a63db539b0bdd


下图展示了在烟草种植行业中的应用。左边的图,准确的识别出了棵树,为政府补贴和保险提供关键的信息。右图,烟草种植面积评估,对生产规划有着很重要的参考价值。

 

38a756d88b6a87b1b60c8c8a80b27f2c89bd9bcf


相关算法

这些应用的背后都需要强大的算法支持。在云端,我们有自己的训练平台,在移动端有嵌入式系统。但应用时还是存在一些问题亟待解决。

 

9fced9bc575fc794551a0a062d132f04859bab4c


为此我们提出了Gauss作为解决方案。


fe1580325e81f47e87dc8d7152348015b01e6b5d


在服务器端,有Gauss训练平台,集合了目前业界比较先进的算法进行模型的加速。并且,在过程中,我们也在自行开发新的技术,比如模型离散技术。在部署时也进行了优化,比如智能盒子。在之前提到的养猪实例中,就有智能盒子支持的摄像头。

 

下图列出了高效前向推理中的主要技术要点。

 

ddd18c9e05c7f12d9f8e3687acb778dfe090edf8

 

下面介绍有关计算资源优化的内容。由于我们内部管理了大量的数据中心,和海量的服务器,其中有极端复杂的技术。我们的目标是通过数据和算法得到最优的策略。主要的应用有三个。第一,优化预测。即根据趋势,在物体被分配之前,有针对性的找到可能的关注点。第二,优化配置。比如容器资源分配,不能多也不能少。第三,异常检测。在智能运维中有比较重要的应用。

 

5c4c02eca2cea2f82a4bf786b99eddb4077d3e6b


下面给大家详细介绍一下资源调度的问题。它的基本模型非常简单,但在实际应用上是不可行的。主要的问题在于实际应用中异常复杂的约束关系。

 

fe3744f2b2c2759d5aec3e57639e447c0464f021


下图给出了三个真实的计算资源优化实例。每张图的左边和右边都展示了上线前和上线后的区别。

 

715f61d2d40497bb8e4812efd035e72acb6aa451


新零售

下面介绍新零售方面的应用。关键点在于。下面主要从算法架构的角度来讲述对新零售的理解。一个非常成功的案例就是盒马新零售。盒马是一个线上线下合一的自营体系。每一个店面分为两个部分。一部分是前台实体店面,另一个部分是仓储。前台主要服务的是线下的客户,仓储主要服务的是线上的客户。一个盒马店面实际上只有30%左右线下用户,有超过70%的用户是线上的。这种生态系统与传统的电商,比如淘宝,不一样。在线下的角度,它与菜鸟等,也不一样。在算法的角度,线上,不仅要关注用户的偏好,还要关注库存,也就是说线上对线下的库存起到导入的作用。在线下库存的角度,做库存和运营配送时也要考虑线上的作用。线上线下实际上是一个有机的整体,它跟菜鸟、淘宝这样的重量级系统是不太一样的。同时,这也造成了一系列的算法挑战。

 

 0b6ed4b3da218af99216b10dec1ba56cdcf5d820

 

第一,线上部分,用户行为偏好问题。我们可以从三个层次来理解这个问题。一,线下活跃但线上沉睡的客户。第二,新用户。第三,活跃用户个性化。

 

e79d726c7b20cc12879888ed1227f2681c5f8b74


第二个问题是,线上精准营销的匹配问题,如下图。

 

10d641164673d4e9b87eea91c5131fae4543236e


第三,是线下配送问题。线上会源源不断的产生订单。订单都会有各自的配送时间和地点。这个问题的解决方案就是合批集单。

 

394a4f525794968181004ca5461779b7909b4d49


关于线下集单优化问题,如下图。

 

0fc5ebaefb1391fcce9883e0a1f27994ab1d7d22


最后,从算法角度介绍一下新零售。除了之前提到的线上线下。还有一个问题就是运营。运营可以实时地获取新闻、交通、天气,并输入到线上和线下以起到调控的作用。

 

283ef21e6a1dfd954b97160dc8b272f5d4fb8800


最后回归到人,技术最终是为了服务于人。希望能通过机器学习和运筹优化在更多行业起到助力的作用。


0f23202aff6e6458f4e6bc4a0bff452b11b2e55f

本文由云栖志愿小组马JY整理

相关文章
|
15天前
|
机器学习/深度学习 传感器 数据采集
机器学习赋能制造业:预测性维护、质量控制和智能物流优化
制造业借助机器学习和深度学习提升效率,通过预测性维护避免设备故障,利用质量控制模型检测产品缺陷,及运用智能物流优化降低运输成本。示例代码包括基于LSTM的设备故障预测和随机森林分类器的质量控制模型。这些技术革新生产流程,提高效率,降低成本,增强企业竞争力。
|
15天前
|
机器学习/深度学习 存储 数据采集
利用机器学习优化数据中心冷却系统
【4月更文挑战第26天】 在数据中心管理和运营中,冷却系统的能效是关键成本因素之一。随着能源价格的上涨和对环境可持续性的关注增加,开发智能、高效的冷却策略显得尤为重要。本文将探讨如何应用机器学习(ML)技术来优化数据中心的冷却系统。通过收集和分析温度、湿度、服务器负载等多维数据,我们构建了预测模型来动态调整冷却需求,实现节能并保持最佳的操作条件。实验结果表明,使用ML优化后的冷却系统能够在不牺牲性能的前提下显著降低能耗。
|
14天前
|
机器学习/深度学习 数据挖掘 物联网
【专栏】机器学习如何通过预测性维护、负载预测、动态冷却管理和能源效率优化提升数据中心能效
【4月更文挑战第27天】随着信息技术发展,数据中心能耗问题日益突出,占全球电力消耗一定比例。为提高能效,业界探索利用机器学习进行优化。本文讨论了机器学习如何通过预测性维护、负载预测、动态冷却管理和能源效率优化提升数据中心能效。然而,数据质量、模型解释性和规模化扩展是当前挑战。未来,随着技术进步和物联网发展,数据中心能效管理将更智能自动化,机器学习将在实现绿色高效发展中发挥关键作用。
|
14天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型:从数据预处理到模型优化
【4月更文挑战第27天】在机器学习领域,构建一个高效的模型并非易事。本文将详细阐述从数据预处理、特征选择、模型训练到模型优化的全过程,帮助读者掌握构建高效机器学习模型的关键步骤和方法。文章将结合实例,深入探讨如何通过数据清洗、特征工程、交叉验证等技术提高模型的性能和泛化能力。
|
6天前
|
机器学习/深度学习 算法 大数据
利用机器学习优化数据中心的能源效率
【5月更文挑战第5天】 在本文中,我们探索了如何通过应用机器学习技术来改善数据中心的能源效率。传统的数据中心能源管理依赖于静态阈值和规则,这限制了它们在动态环境中优化能效的能力。我们提出了一个基于机器学习的框架,该框架能够实时分析数据中心的能耗模式,并自动调整资源分配以降低功耗。我们的方法结合了历史数据学习和实时预测模型,以实现更精细化的能源管理策略。实验结果表明,我们的机器学习模型相比传统方法在能源节约方面取得了显著的提升。
|
11天前
|
机器学习/深度学习 算法 算法框架/工具
【Python机器学习专栏】深度学习中的正则化与优化技术
【4月更文挑战第30天】本文探讨了深度学习中的正则化和优化技术,以提升模型的泛化能力和训练效率。正则化包括L1和L2正则化以及Dropout,防止过拟合。优化技术涵盖梯度下降法、动量法和Adam优化器,加速模型收敛。Python示例展示了如何在Keras中应用这些技术,如L2正则化、Dropout及Adam优化器。
|
11天前
|
机器学习/深度学习 数据采集 算法
【Python机器学习专栏】自动化特征选择与优化的实践
【4月更文挑战第30天】特征选择在机器学习中至关重要,能降低模型复杂度,提高泛化能力和避免过拟合。本文介绍了自动化特征选择的三种方法:过滤法(如SelectKBest)、包装法(如RFE)和嵌入法(如随机森林)。通过结合这些方法,可实现特征优化,包括数据预处理、初步筛选、模型训练与评估、特征优化和结果验证。自动化特征选择能提升模型性能,适应不同数据集和任务需求,为机器学习项目提供坚实基础。
|
11天前
|
机器学习/深度学习 存储 资源调度
利用机器学习优化数据中心的能效
【4月更文挑战第30天】 在本文中,我们将探讨如何运用机器学习技术来提高数据中心的能源效率。通过分析历史能耗数据和服务器负载信息,构建预测模型,并基于这些模型实施智能调度策略,以减少不必要的电力消耗。本研究的创新点在于开发了一种新的算法框架,该框架能够实时调整资源分配,确保在满足性能要求的前提下最小化能耗。
|
11天前
|
机器学习/深度学习 运维 算法
利用机器学习优化数据中心的能效管理
【4月更文挑战第30天】在数据中心的运营成本中,能源消耗占据了一个显著的比例。随着能源价格的上升和环境保护意识的增强,如何降低能源消耗成为数据中心管理者们面临的一个重要挑战。本文探讨了一种基于机器学习的方法来优化数据中心的能效管理,通过分析历史数据和实时监测数据,动态调整资源分配和冷却策略,以实现能源消耗的最小化。
|
12天前
|
机器学习/深度学习 数据采集 人工智能
构建高效机器学习模型:从数据预处理到模型优化
【4月更文挑战第29天】 在机器学习的实践中,模型构建是一个多步骤、迭代的过程,涉及数据准备、算法选择、模型训练及评估等关键环节。本文将详细探讨如何通过有效的数据预处理和智能特征工程提升模型性能,同时介绍先进的机器学习算法和深度学习网络,并讨论模型调优策略以实现最佳泛化能力。文中还将展示实际案例分析,以证明所提方法的有效性。

热门文章

最新文章