超参数调优河伯、组合优化器CompBO,华为诺亚开源贝叶斯优化库

简介: 超参数调优河伯、组合优化器CompBO,华为诺亚开源贝叶斯优化库

贝叶斯优化可以说是一种黑盒优化算法,该算法用于求解表达式未知函数的极值问题。因其具有极强的样本有效性,近年来被广泛使用,研究者只需较少地迭代次数,即可得到一个较好的结果,因此可用于机器学习模型算法调参。

近日,华为诺亚开源了一个新的关于贝叶斯优化的库,该库可用于低维和高维领域的贝叶斯优化,主要包含:

  • 河伯(Heteroscedastic Evolutionary Bayesian Optimization,HEBO):异方差演化贝叶斯优化,可用于超参数调优,华为诺亚凭借该算法赢得 NeurIPS BBO 竞赛冠军;
  • T-LBO:一种将深度度量学习与潜在空间贝叶斯优化相结合以实现高维优化的算法,该算法可以减少 97% 的数据需求;
  • CompBO:使用组合优化器进行贝叶斯优化。



项目地址:https://github.com/huawei-noah/HEBO

河伯


河伯算法是华为诺亚方舟决策与推理(DMnR)实验室开发的贝叶斯优化库。该算法击败了 NVIDIA、IBM、Jetbrain 等,以 93.519 得分赢得了 AI 国际顶会 NeurIPS 2020 的黑盒优化竞赛冠军。

HEBO 是与前 5 名竞争对手之间差异最大的算法,以非常大的优势获胜。下面是比赛结果的截图:


完整榜单:https://bbochallenge.com/leaderboard/

T-LBO 算法

该算法出自论文《High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning》,全篇 42 页,研究者来自华为诺亚方舟实验室。


论文地址:https://arxiv.org/pdf/2106.03609.pdf

研究者提出了一种基于深度度量学习的方法,以使用变分自编码器(VAE)在高维结构化空间中执行贝叶斯优化。通过扩展监督深度度量学习的想法,他们解决了高维 VAE 贝叶斯优化中长期存在的一个问题,即如何将判别式隐空间作为归纳偏置来执行。重要的是,研究者仅使用以往工作的 1% 的标记数据就实现了这种归纳偏置,显示出了所提方法面向样本的高效性。

在实验中,研究者展示了在真实世界高维黑盒优化问题(包括属性引导的分子生成)上的 SOTA 结果。他们希望,本文展示的结果可以作为实现高效高维贝叶斯优化的指导原则。


利用组合优化器做贝叶斯优化(CompBO)

这是一篇发表在机器学习研究杂志 JMLR 2021 上的论文,标题为《Are We Forgetting about Compositional Optimisers in Bayesian Optimisation?》,全篇共 78 页。研究者来自华为英国研发中心。



贝叶斯优化为全局优化提供了一种面向样本高效的方法。在这个框架内,采集函数(acquisition function)的最大化是决定性能的关键因素。但是,由于采集函数往往是非凸的,因此不容易优化,导致其最大化变得复杂。

华为的这篇论文对最大化采集函数的方法进行了全面的实证研究。此外,通过为流行的采集函数推导出全新但数学上等效的组合形式,研究者将采集函数的最大化任务重新定义为组合优化问题,从而能够从领域大量文献中获益。他们特别强调了 3,958 个单独实验中采集函数最大化组合方法的实证优势,这些实验包括组合优化任务和贝叶斯任务。

鉴于采集函数最大化方法的通用性,研究者认为采用组合优化器有可能在当前贝叶斯优化应用的所有领域内实现性能提升。



苏黎世联邦理工DS3Lab:构建以数据为中心的机器学习系统


苏黎世联邦理工学院(ETH Zurich) DS3Lab实验室由助理教授张策以及16名博士生和博士后组成,主要致力于两大研究方向,Ease.ML项目:研究如何设计、管理、加速以数据为中心的机器学习开发、运行和运维流程,ZipML项目:面向新的软硬件环境设计实现高效可扩展的机器学习系统。

相关文章
|
6月前
|
达摩院 开发者 容器
「达摩院MindOpt」优化形状切割问题(MILP)
在制造业,高效地利用材料不仅是节约成本的重要环节,也是可持续发展的关键因素。无论是在金属加工、家具制造还是纺织品生产中,原材料的有效利用都直接影响了整体效率和环境影响。
「达摩院MindOpt」优化形状切割问题(MILP)
|
6月前
|
人工智能 自然语言处理 达摩院
MindOpt 云上建模求解平台:多求解器协同优化
数学规划是一种数学优化方法,主要是寻找变量的取值在特定的约束情况下,使我们的决策目标得到一个最大或者最小值的决策。
|
1月前
|
机器学习/深度学习 算法 数据可视化
如果你的PyTorch优化器效果欠佳,试试这4种深度学习中的高级优化技术吧
在深度学习领域,优化器的选择对模型性能至关重要。尽管PyTorch中的标准优化器如SGD、Adam和AdamW被广泛应用,但在某些复杂优化问题中,这些方法未必是最优选择。本文介绍了四种高级优化技术:序列最小二乘规划(SLSQP)、粒子群优化(PSO)、协方差矩阵自适应进化策略(CMA-ES)和模拟退火(SA)。这些方法具备无梯度优化、仅需前向传播及全局优化能力等优点,尤其适合非可微操作和参数数量较少的情况。通过实验对比发现,对于特定问题,非传统优化方法可能比标准梯度下降算法表现更好。文章详细描述了这些优化技术的实现过程及结果分析,并提出了未来的研究方向。
27 1
|
4月前
|
人工智能 算法 调度
优化问题之如何选择合适的优化求解器
优化问题之如何选择合适的优化求解器
|
4月前
|
调度 决策智能
优化问题之优化求解器有哪些主要的评估特性
优化问题之优化求解器有哪些主要的评估特性
|
达摩院 调度
使用达摩院MindOpt优化交通调度_最大化通行量—线性规划问题
在数学规划中,网络流问题是指一类基于网络模型的流量分配问题。网络流问题的目标是在网络中分配资源,使得网络的流量满足一定的限制条件,并且使得某些目标函数最小或最大化。网络流问题通常涉及一个有向图,图中每个节点表示一个资源,每条边表示资源之间的关系。边上有一个容量值,表示该边上最多可以流动的资源数量。流量从源节点开始流出,经过一系列中间节点,最终到达汇节点。在这个过程中,需要遵守一定的流量守恒和容量限制条件。
|
6月前
|
存储 达摩院 调度
「达摩院MindOpt」优化FlowShop流水线作业排班问题
在企业在面临大量多样化的生产任务时,如何合理地安排流水线作业以提高生产效率及确保交货期成为了一个重要的问题。
「达摩院MindOpt」优化FlowShop流水线作业排班问题
MindOpt V1.0优化种植计划问题,新的建模方法
种植计划是指农业生产中针对不同农作物的种植时间、面积和种植方式等方面的规划安排。根据具体情况进行合理的规划和安排,以实现农作物的高产、优质和可持续发展。
MindOpt V1.0优化种植计划问题,新的建模方法
|
6月前
|
达摩院 自然语言处理 Java
MindOpt APL:一款适合优化问题数学建模的编程语言
本文将以阿里达摩院研发的MindOpt建模语言(MindOpt Algebra Programming Language, MindOptAPL,简称为MAPL)来讲解。MAPL是一种高效且通用的代数建模语言,当前主要用于数学规划问题的建模,并支持调用多种求解器求解。
|
达摩院 供应链 JavaScript
网络流:优化仓储物流调度问题-达摩院MindOpt
仓储物流调度是指在物流供应链中,对仓储和运输(运输路线、成本)进行协调和安排的过程。主要包含物流计划、运输调度、运发管理、库存管理等重要环节。随着网络、电商行业的迅速发展,仓储物流调度对于企业来说也非常重要,优秀的调度方案可以帮助降低库存成本、物流配送的效率、成本等等等,从而给企业带来降本增效。
网络流:优化仓储物流调度问题-达摩院MindOpt