MindOpt Tuner调参器,提升求解速度、性能(二)

简介: MindOpt Tuner是达摩院决策智能实验室基于mindopt优化求解器研发的调参器,超参自动优化工具,它可以帮助运筹优化工程师在使用求解器时自动搜索最佳参数组合,尝试不同的参数组合,评估每组参数的性能,然后基于这些结果来确定最佳参数。这样可以大大减少手动调整参数的时间和精力,并且可以帮助提升求解性能。

Python调用


上一篇中讲解了如何使用命令行来调用和查询结果。里面的接口都有封装为Python接口,我们可以输入如下指令引入文件,也可以再输入help指令来查看对应的Python API说明:

import mtunerpy as mtuner
#help(mtuner)
OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k

这里我们可以如下方式来提交任务:

scenario_dict = {
    'solver': 'cbc',
    'problem': ['./model/nl_train_1.nl'],
    'max_tuning_time': 600
}
mtuner.create_task(scenario_dict)
Problem file "nl_train_1.nl" uploaded successfully.
Task #438397484918644736 created succesfully.

这里小编得到任务ID:438394637284024320

类似地,我们还可以提交一组优化问题算例mps_train_oss.txt进行调参。

如下,得到任务ID 438394766997069824

scenario_dict = {
    'solver': 'cbc',
    'problem': ['./model/mps_train_oss.txt'],
    'max_tuning_time': 3600
}
mtuner.create_task(scenario_dict)
Task #438397553394851840 created succesfully.

运行成功后,我们可以通过如下方式获取结果。可以看到和命令行的结果一样,都可以得到比较多的求解效率提升。

import mtunerpy as mtuner
#print("----调参状态和文件---")
#mtuner.task_status(['438394637284024320','438394766997069824'])
print("----nl_train_1.nl调参效果---")
mtuner.fetch_result('438394637284024320','result/performance.txt')
print("----一组3个问题调参效果---")
mtuner.fetch_result('438394766997069824','result/performance.txt', False)
----nl_train_1.nl调参效果---
Tuning finished, the best wallclock_time is 0.09 [** 36.33x improvement **]
----一组3个问题调参效果---
Tuning finished, the best avg_wallclock_time is 3.83 [** 33.32x improvement **]

调参的进阶用法


前面主要讲解调参的基础用法。提交任务的时候,通过选择了求解器后,由MindOpt Tuner来给出调参任务的默认设置来进行调参。比如页面提交,可以不用参数填写的格子,直接使用。


除此之外,我们还可以设置调参的任务。详情我们可以查看用户文档的调参任务配置


这里我们先-h一下查看接口的说明:

!mindopt-tuner create-task -h
OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k
MindOpt Tuner v0.9.0 (Build: 20230404)
Usage: mindopt-tuner create-task [-h] --solver {cbc,cplex} --problem <problem> [<problem> ...]
                                 [--parameters <parameters> [<parameters> ...]] [--log-level {info,debug,error}]
                                 [--verbose {0,1,2}] [--tuning-objective {wallclock_time,cpu_time}]
                                 [--max-distinct-para-combos <number>] [--max-tuning-time <seconds>]
                                 [--max-eval-time <seconds>]
Create a new tuning task, and then start it.
Arguments:
  -h, --help                                    Show help information.
  --solver {cbc,cplex}                          (Required) Specify the solver to tune.
  --problem <problem> [<problem> ...]           (Required) Path to the optimization problem file(s), separated by space.
  --parameters <parameters> [<parameters> ...]  Specify the solver's tunable parameters (see documentation), separated
                                                by space.
  --log-level {info,debug,error}                Log detail level.
  --verbose {0,1,2}                             Set verbosity level.
  --tuning-objective {wallclock_time,cpu_time}  Select the tuning objective.
  --max-distinct-para-combos <number>           Tuning will be terminated after the number of distinct parameter
                                                combinations reach this number.
  --max-tuning-time <seconds>                   Tuning will be terminated after surpassing this time (in seconds) 1, 2,
                                                ..., 3600000.
  --max-eval-time <seconds>                     Maximum time allowed for a single evaluation in seconds 1, 2, ...,
                                                144000).

这里我们自定义这些参数。

这里可以举个cbc相关的例子。比如默认参数定义文件内容是test_cbc_params.txt


cuts {off, on, root, ifmove, forceOn}[on] # Switches all cut generators on or off. cat
preprocess {off, on, save, equal, sos, trysos, equalall, strategy, aggregate, forcesos}[sos] # Whether to use integer preprocessing. cat
heuristics [0, 1][1]i # Switches most primal heuristics on or off. boolean
strongBranching [0, 5][5]i # Number of variables to look at in strong branching. int
trustPseudoCosts [-3, 100][10]i # Number of branches before we trust pseudocosts. int

这里是遵循 参数名 取值范围 默认值的格式来,最后面的[10]i指的是整型变量。


特别提醒 :无特殊需求不需要动这个参数,取值错误等都会导致调参任务异常。


这里,我们可以将这个参数、里面选取部分参数来条,比如:我们可以通过如下指令来自定义自己的调参范围,只调2个参数,还可以减少调参时间


!mindopt-tuner create-task --solver cbc --problem './model/nl_train_1.nl' --max-tuning-time 400 --parameters cuts preprocess
OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k
Problem file "nl_train_1.nl" uploaded successfully.
Task #438413495201964032 created succesfully.

小编这里得到taskID438413495201964032

求解完后,我们可以通过如下方式获取结果,也可以直接访问页面端作业列表。

image.png

从结果看,缩小调参的范围,也会有提升结果!提速了32倍!

#图中结果提速了12.6倍。

#print("-------查看状态和results文件链接--------")
#!mindopt-tuner task-status --task-id 438413495201964032
print("-------本地的提交结果--------")
! mindopt-tuner fetch-result --task-id 438413495201964032 --file result/performance.txt
-------本地的提交结果--------
OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k
Tuning finished, the best wallclock_time is 0.1 [** 32.00x improvement **]
相关文章
|
4月前
|
人工智能 算法 调度
优化问题之如何选择合适的优化求解器
优化问题之如何选择合适的优化求解器
|
存储 算法 对象存储
MindOpt Tuner调参器,提升求解速度、性能(一)
优化求解器往往拥有很多配置参数,例如启发式方法的开关、割平面方法的开关、预处理的配置以及各种误差容忍度等等。MindOpt Tuner会尝试不同的参数组合,评估每组参数的性能,然后基于这些结果来确定最佳参数。这样可以大大减少手动调整参数的时间和精力,并且可以帮助提升求解性能。
MindOpt Tuner调参器,提升求解速度、性能(一)
|
算法 Ubuntu 测试技术
内测邀请!达摩院 MindOpt Tuner 调参器新功能
最近阿里巴巴达摩院的MindOpt团队开发了一款优化调参器,叫做MindOpt Tuner。它是一种自动优化工具,可帮助运筹优化工程师在使用求解器时自动搜索最佳参数组合。我们非常重视用户反馈和测试,因此希望能够邀请您成为MindOpt Tuner的测试用户之一。我们在 MIPLIB2017 Benchmark Set 上进行了测试。测试结果显示,经过调参后的Cbc求解器的速度可以有显著的提升:使用默认参数需要几十分钟解出的问题,调参后可以在1分钟内解出。
318 0
内测邀请!达摩院 MindOpt Tuner 调参器新功能
|
6月前
|
达摩院 开发者 容器
「达摩院MindOpt」优化形状切割问题(MILP)
在制造业,高效地利用材料不仅是节约成本的重要环节,也是可持续发展的关键因素。无论是在金属加工、家具制造还是纺织品生产中,原材料的有效利用都直接影响了整体效率和环境影响。
「达摩院MindOpt」优化形状切割问题(MILP)
|
6月前
|
人工智能 自然语言处理 达摩院
MindOpt 云上建模求解平台:多求解器协同优化
数学规划是一种数学优化方法,主要是寻找变量的取值在特定的约束情况下,使我们的决策目标得到一个最大或者最小值的决策。
|
1月前
|
机器学习/深度学习 算法 数据可视化
如果你的PyTorch优化器效果欠佳,试试这4种深度学习中的高级优化技术吧
在深度学习领域,优化器的选择对模型性能至关重要。尽管PyTorch中的标准优化器如SGD、Adam和AdamW被广泛应用,但在某些复杂优化问题中,这些方法未必是最优选择。本文介绍了四种高级优化技术:序列最小二乘规划(SLSQP)、粒子群优化(PSO)、协方差矩阵自适应进化策略(CMA-ES)和模拟退火(SA)。这些方法具备无梯度优化、仅需前向传播及全局优化能力等优点,尤其适合非可微操作和参数数量较少的情况。通过实验对比发现,对于特定问题,非传统优化方法可能比标准梯度下降算法表现更好。文章详细描述了这些优化技术的实现过程及结果分析,并提出了未来的研究方向。
26 1
|
4月前
|
调度 决策智能
优化问题之优化求解器有哪些主要的评估特性
优化问题之优化求解器有哪些主要的评估特性
|
达摩院 调度
使用达摩院MindOpt优化交通调度_最大化通行量—线性规划问题
在数学规划中,网络流问题是指一类基于网络模型的流量分配问题。网络流问题的目标是在网络中分配资源,使得网络的流量满足一定的限制条件,并且使得某些目标函数最小或最大化。网络流问题通常涉及一个有向图,图中每个节点表示一个资源,每条边表示资源之间的关系。边上有一个容量值,表示该边上最多可以流动的资源数量。流量从源节点开始流出,经过一系列中间节点,最终到达汇节点。在这个过程中,需要遵守一定的流量守恒和容量限制条件。
|
6月前
|
存储 达摩院 调度
「达摩院MindOpt」优化FlowShop流水线作业排班问题
在企业在面临大量多样化的生产任务时,如何合理地安排流水线作业以提高生产效率及确保交货期成为了一个重要的问题。
「达摩院MindOpt」优化FlowShop流水线作业排班问题
MindOpt V1.0优化种植计划问题,新的建模方法
种植计划是指农业生产中针对不同农作物的种植时间、面积和种植方式等方面的规划安排。根据具体情况进行合理的规划和安排,以实现农作物的高产、优质和可持续发展。
MindOpt V1.0优化种植计划问题,新的建模方法