机械师实时调度示例(I) - OptaPlanner实时规划(实时调度)

简介: OptaPlanner创办人Geoffrey De Smet及其团队,在Red Hat 技术峰会上主题会场上,演示了一个通过OptaPlanner实现实时规划与调度的示例。Geoffrey及其团队专门为此分三篇博文描述了该程序。该程序及其相关博文是OptaPlanner在VRP领域极之经典之作。本系列也分三篇对博文进行翻译,以飨各位ORer, APSer和Planner.

今年,我和我的团队在Red Hat技术峰会上作了主旨演讲。在7000人面前,我们演示了一个实时调度程序,该程序可以实现对现场观众通过手机App的输入进行实时反应。在过去两个月里,我们的团队和其它中间件的团队一起协同,在Burr Sutter的出色指导下,创建了这个实时调度程序。这个程序集成了多种技术,例如Android/iPhone的加速感应器,还有OpenShift / Kubernetes, Quarkus, KNative, TensorFlow, Kafka/Strimzi, Camel, Node.js, Godot, Infinispan, Drools等,当然少不了主角OptaPlanner.

我们写了一个模拟器,模拟一个典型的地板生产场景,场景中涉及装配线上的机械。当我第一次向我和妻子展示这个程序时,引发了一个有趣的对话:

"看,亲爱的,这是在主旨演讲上的示例程序,我们过去两周时间一直在努力(构建它)"

"看起来像小游戏,那些是Mario和Luigi在到处跑吗?"

"注意,(这些是机器维修师)它演示了OptaPlanner是如何优化他们的行走时间,使他们可以花更多的时候在维修机械上。"

"你打算就把这玩艺展示给7000多个商务客呀?"

"当然,展示将会非常精彩."

程序运行的效果如下:
RHSummit2019OptaPlanner2MechanicsDance.gif

现有10台机器(编号从A到J)运行过程中会出现磨损,并通过传感器检查发现磨损情况。(现场观众安装和我们的APP)在现场观众的帮忙下,我们通过获取他们手机上的加速感应器的数据,来模拟传感器。正所谓当事物变得越摇摇欲坠时,它就变更脆弱。当观众拼命摇晃,或用手机做出其它晃动的动作时,程序中对应的机器就会收到损坏信息。(由于人数众多),现场的每一部分观众通过晃动手机,就会向对应的一台机器发送损害信息为,对应机器的健康值就会减少。如果有一台机器的健康值降到0,那就表示这台机器崩溃了。

此时,那些受损的机器在它们崩溃之前安排维修,这就是OptaPlanner用武之地了。程序中有2到3名机械师来修复这些受损的机器,与机械师们在机器之间穿梭,及在修复机器的同时,所有机器都在持续地降低健康值(现场观众正在持续拼命地晃动他们的手机)。在安排机器时工作时,决定各个机器的维修次序是很困难的,因为损坏无时无刻地发生着。幸亏,OptaPlanner为帮我们调度这些机械师,它会实时地对机台健康的变化作出反映,如视频所示:
翻译后的讲解视频

示例视频
(下面讨论一下规划程序的具体设计)

这个规划问题的挑战
规划目标只有一个:不能让做任意一个机台的健康值掉到0%,这看起来是一个简单的约束,但事实上它存在两个冲突的约束:

  1. 优先修复健康值最低的机器,因为最低健康值的机器,其崩溃的风险最高。
  2. 通过让机械师走最短的穿梭路径,让机械师尽量快的时间修复就近的机器。原因如下:
    a. 机器时需要进行修复机器之外,还需要在机器之间到处到动,通过减少他们的穿梭时间,提高他们的生产力。
    b. 若只考虑最短路径一个约束,这就是一个TSP问题(旅行商问题)。

上述两个约束存在竞争的,它们各自会偏向输出以下不同的解决方案:
image.png

这两种约束对完成时间的影响差别不太明显,即如何影响机械师一次修复所有有故障机器的所需时间。维修的时间越长,将会降低生产力:
image.png

因此,我们最终需要权衡这两种约束。我们通过对每台损坏的机器评定惩罚性分数,将损坏量乘以持续时间,直到该机器被修复为止。因此,OptaPlanner规划出来的方案中,将会尽可能地避免让机器的损坏程度增大,或尽可能将机器处于损坏状态的时间减少。

这只是一个车辆路线规划问题(VRP)
在运筹学的学术界,此类问题也被称为车辆路线规则问题(Vehicle Routing Problem - VRP), 在该类问题中,我们需要一些车辆(例如货车)发送到多个目的地。
image.png

通过上图可以看出,这些只是存在一些约束差别的相同问题。

目前OptaPlanner确实擅长于求解车辆路线规划问题的优化:通过对整个车辆运行时间达到15%甚至更多的时间减少,我们每年为一些客户节省了数亿美元。同时也大大地减少了车辆的能源消耗,从而减少了碳排放,因此对环保也相当有益。

了解更多关于OptaPlanner在VRP问题的优化
Vehicle Routing Problem

或看一下Jiri(OptaPlanner项目另一位成员)在VRP问题的最新Demo,
[
optaweb-vehicle-routing](https://github.com/kiegroup/optaweb-vehicle-routing)

(机械师调度程序中)现实的挑战
首先,实现这种车辆路线规划的变种问题其实并不复杂,但要让程序的交互与演示运行得足够流畅,我们面临着更大的挑战。毕竟,我们不能冒着在演示期间,在观众与老板,包括我们的CEO Jim Whitehurst 面前程序崩溃的险。

要了解有关我们的架构以及与所有其他技术的集成的更多信息,请阅读Musa的文章(第2部分)。
要了解有关扩展挑战以及我们运行的模拟和负载测试的基准的更多信息,请阅读Radovan的文章(第3部分)。
如果想自己调试这个程序,可以从这里下载并根据readme的介绍进行调度。

目录
相关文章
|
4月前
|
消息中间件 监控 Cloud Native
如何使用观测云监测 AutoMQ 集群状态
观测云 [1] 是一款专为云平台、云原生、应用及业务相关需求设计的统一实时监测应用,集成了指标、日志和追踪三大信号,覆盖测试、预发和生产环境,实现对软件开发全生命周期的可观测性。通过观测云,企业能够构建完整的应用全链路可观测性,提升整体 IT 架构的透明度和可控性。作为一个强大的数据分析平台,观测云包括多个核心模块,如 DataKit [2] 统一数据采集器和 DataFlux Func 数据处理开发平台。
49 2
如何使用观测云监测 AutoMQ 集群状态
|
2月前
|
编解码 Linux 调度
实时组调度 【ChatGPT】
实时组调度 【ChatGPT】
|
4月前
|
存储 数据可视化 数据挖掘
实时数据分析系统的构建与优化
【7月更文挑战第29天】实时数据分析系统的构建与优化是一个复杂而细致的过程,需要从需求分析、数据源确定、数据采集与传输、数据处理与分析、数据存储、数据可视化、系统部署与配置、监控与优化等多个方面进行综合考虑。通过选择合适的技术栈和优化策略,可以构建出高效、稳定的实时数据分析系统,为企业决策提供强有力的支持。
|
5月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之如何控制周期业务流程的并发执行
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
46 1
|
6月前
|
调度
基于目标级联法的微网群多主体分布式优化调度(已更新)
基于目标级联法的微网群多主体分布式优化调度(已更新)
|
6月前
|
调度
【核心完整复现】基于目标级联法的微网群多主体分布式优化调度
【核心完整复现】基于目标级联法的微网群多主体分布式优化调度
|
资源调度 分布式计算 Kubernetes
给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度
飞天伏羲作为有着十多年历史的调度团队,在服务好 MaxCompute 大数据平台的过程中,一直在不断通过自我革新赶超业界先进水平,我们经历了 Fuxi 2.0 的这样的大规模升级,今天通过 K8s 统一调度项目又再次实现了系统架构的蜕变,将大数据平台强大的调度能力赋予 K8s 系统,同时去拥抱 K8s 周边丰富的生态。除了集团弹内集群,将来我们在公共云、专有云等多个场景,也会以 K8s 统一调度的方式进行输出,以更好地服务云上的用户,敬请期待!
1720 13
给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度
|
分布式计算 大数据 Java
Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流
Apache Spark Meetup | 1 月线上直播报名通道已开启,赶快报名预约吧!
545 0
Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流
EMQ
|
存储 数据采集 边缘计算
支持高频数采、实时流计算的储能可预测维护系统方案
通过EMQ云边一体化方案,可实现数据高频率的数万点位采集,为边缘端赋予实时分析和预测储能系统运行状态的能力,使云端具备大数据分析能力。
EMQ
357 0
支持高频数采、实时流计算的储能可预测维护系统方案
|
运维 资源调度 监控
Dataphin运行诊断,提升运行异常分析效率的利器
Dataphin V3.5版本上线了自动化的实例运行诊断的能力,从上游依赖、定时时间、限流规则、调度资源及实例执行 5 个阶段分析实例运行过程中可能产生的问题,从此运维人员再也不怕异常分析啦!
Dataphin运行诊断,提升运行异常分析效率的利器
下一篇
无影云桌面