将强化学习用于深度学习选模型+调参:谷歌AutoML背后的技术解析

简介:


AutoML 是 Google 最新的产品,能够根据问题自动确定最优参数和网络结构。本文章就关注解析 AutoML 背后的技术,由于 AutoML 缺乏技术文档,我们的解析有不到之处,还请多多更正。

罗马不是一天建成的。AutoML 并非一蹴而就,而是 Google 的研究者在过去几年不断思考中产生的理论与实践结合的完美产物。下图是 Google 的 AutoML 探索之路。

8E33D316715D0D09402946953DEF2F250F6E5700


人工网络结构搜索(Inception-ResNet 与 Inception V4)


Alexnet 在 IMAGENET 取得冠军之后,Google 意识到了深度学习是未来的趋势,于是投入巨资进行神经网络的研究。从 Deepmind 被收购,Hinton 加入 Google,Tensorflow 的开源中可见 Google 对于 Deep Learning 的重视与远见。Google 在不断的调参数中发现了著名的 Inception 网络,并且结合 ReNet,发现了 Inception-ResNet,V4 和 Xception。这些发现让 Google 注意到了神经网络结构会对结构产生巨大影响,但是找到最优的结构需要耗费大量的人力和物力,并且对于一个新的数据集还需要投入同样的资源搜索合适的结构,这样的人工搜索是不能够 scalable 的。Inception-ResNet 的网络结构请参考论文:https://arxiv.org/pdf/1602.07261.pdf。Inception 系列网络跟 ResNet 的结果比较。

CB72A0D038D2F23694EB82B812D1695392F1F639

神经网络搜索初探:Neural Architecture Search with Reinforcement Learning(ICLR 2017 Best Paper)

为了增加网络结构搜索的 scalability,Google Residency Program 的成员 Barrret Zoph 在 Quoc Le 的带领下开始了神经网络自动调参的尝试,Neural Architecture Search with Reinforcement Learning 就是对这一工作的总结。该论文获得了 ICLR 2017 的 Best Paper。Barret Zoph 的工作成功在 CIFAR 和 PTB 上面搜索到了 state-of-the-art 的 CNN 和 LSTM 结构,最优 CNN 与 LSTM 结构对比如下:


EDA8056B67A79702A0AB06E10CF509BCA45805CF


Barret Zoph 使用强化学习进行网络结构搜索,网络框架图如下图:

F9148B9376CD61C6D49EF708CB9C90BD7AAEE422


Controller 是由 RNN 构成能够产生每层网络的 Kernel 大小和 skip connection 的连接,产生了网络结构之后,使用网络结构的准确率作为 Reward function。Controller 会根据 reward function 的反馈进行网络结构调节,最后会得到最优的网络结构。Controller 生成网络结构预测如下图:

FD21552E985B407AAC0E577A06B6F5A149BBDCCA


本篇论文会对 controller 预测的网络进行 SGD 学习,网络收敛之后的准确率为 Reward,然后使用 reinforcement learning 的 policy gradient 进行 controller 权值更新,policy gradient 公式如下:


期望值用下面的公式进行近似:


为了保证训练稳定,引入了 baseline,公式如下:


为了保证收敛速度,作者引入了 asynchronous 权值更新,在每个 GPU 中分配多个网络结构进行训练,跟 asynchronous reinforcement learning 的 idea 类似。该论文的 distribution 结构如下图:

574AA7F0ACA9D9A0F510CC2639363EF126A9B40F

本篇论文能够避免手动调参数,但是得到网络搜索需要 800GPU 搜索几个月的时间,最近 Google 使用 P100 可以在一周左右训练出模型,本论文仅仅在 CIFAR 上面进行实验,在大规模数据集 IMAGENET 上面的使用受限。

Large Scale Evolution of Image Classifiers(ICML 2017)


本篇论文通过 large scale evolution 的办法来搜索最优的神经网络,由于本人能力有限,我们不对这篇论文进行技术解析。该论文的结构搜索过程如下图:

391B43E7E8A57A9D22D47C902F9BE91A53906C69


有趣的现象是,evolution 搜索偏向于没有 skip connection 的神经网络。通过 evolution 办法搜索到的神经网络比 ResNet 结果好,但是低于 DenseNet,如下图:

66D26541C7BF72FA2850E491BCC24C5F3B319AF0


神经网络搜索技术实用之路探索


为了让结构搜索的工作能够实用,Google 的研究者从 progressive Search,Transferable architecture 和 Bayesian 的角度进行探索,并且取得了进展。

Progressive Neural Architecture Search(PNAS)


本篇论文提出了通过 progressive 的办法进行网络搜索,会比 RL 方法快 2 倍,比 evolution 方法快 5 倍。


与之前的方法不同,本篇论文是在一个网络的基础上面加上新的 cell,然后使用类似与 A*搜索(Branch and Bound)的办法,搜索到最优的网络结构。Progressive 方法示意图如下:

1E1ECEED3F9CCDB6E5039BC38A64FD5A4B2C40D9


PNAS 所使用的 Cell 结构如下:

80AF3F0E3572E68AD9E6848F9E5573113ABC8899

Learning Transferable Architecture for Scalable Image Recognition

本篇论文是集大成者,Barret Zoph 在之前全部技术的基础上面,成功地将自动结构搜索在 IMAEGNET,COCO 等实用性的物体分类和检测任务上面成功运用。结果太 AMAZING 啦。竟然超过了 ResNet-FPN,COCO 物体检测结果如下:

AEEFDDE6013671665A571881C7DE18EABCDB38C6

1DAA4ADC84263AF289550DA7A8EF5D6B63CB2B3D

Barret Zoph 首先在 CIFAR 上面使用之前的方法搜索出最优 cell,然后将 cell 重复的运用在 IMAGENET 上面(真的就是这么简单有效 >_<)。最优单个 cell 的结构如下图:

2796F35CB38262B8970D9DBA4FCF5755C0CAB384


可能 AutoML 用的就是这种技术吧。

总结

Google 在大规模的调参中发现了手动调参不能够适应大数据时代的需求。于是进行从 reinforcement learning 和 evolution 两个角度进行了自动调参的初探。为了改进网络结构搜索的时间,Google 提出了 Progressive Search 和 Transferable Architecture 的办法。从中我们可以感受到 Google 一步一个脚印的做事方法,希望 AI 公司和个人都能够从中获得一些收益 >_<。


from:http://tech.ifeng.com/a/20180202/44868903_0.shtml



目录
相关文章
|
3天前
|
机器学习/深度学习 自然语言处理 监控
利用深度学习技术实现自然语言处理中的情感分析
本文将深入探讨如何利用深度学习技术,特别是神经网络模型,来实现自然语言处理领域中的情感分析任务。通过结合深度学习算法和大规模文本数据集,可以实现更准确和高效的情感分析,为情感识别和情感推断提供更好的解决方案。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据分析的技术和方法:从深度学习到机器学习
大数据时代的到来,让数据分析成为了企业和组织中不可或缺的一环。如何高效地处理庞大的数据集并且从中发现潜在的价值是每个数据分析师都需要掌握的技能。本文将介绍大数据分析的技术和方法,包括深度学习、机器学习、数据挖掘等方面的应用,以及如何通过这些技术和方法来解决实际问题。
27 2
|
1月前
|
存储 缓存 NoSQL
作者推荐 | 企业级缓存技术解析,你必须知道的“9“大技术问题与常见误区
本文将深入剖析导致上述问题的九大根源,并提供相应的解决方案。请注意,本文以Java为例进行代码演示,但同样适用于其他技术平台的朋友。只需根据相应技术平台替换相关代码即可!
437 0
作者推荐 | 企业级缓存技术解析,你必须知道的“9“大技术问题与常见误区
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习技术的发展与前景
深度学习技术的发展与前景
|
2天前
|
机器学习/深度学习 算法 计算机视觉
利用深度学习算法实现图像风格转换技术探究
本文将通过深入分析深度学习算法在图像处理领域的应用,探讨如何利用神经网络实现图像风格转换技术。通过研究不同风格迁移算法的原理和实现方式,揭示其在艺术创作、图像编辑等领域的潜在应用和挑战。
|
6天前
|
机器学习/深度学习 JSON 自然语言处理
python自动化标注工具+自定义目标P图替换+深度学习大模型(代码+教程+告别手动标注)
python自动化标注工具+自定义目标P图替换+深度学习大模型(代码+教程+告别手动标注)
22 0
|
10天前
|
机器学习/深度学习 自然语言处理 大数据
深度学习中的卷积神经网络优化技术探析
【2月更文挑战第4天】在深度学习领域,卷积神经网络(CNN)一直扮演着重要角色,但其训练和推理过程中存在许多挑战。本文将从优化角度出发,探讨卷积神经网络中的权重初始化、损失函数设计、学习率调整等优化技术,旨在为深度学习爱好者提供一些实用的技术感悟和分享。
13 3
|
11天前
|
Java 应用服务中间件 API
深入解析Java Servlet技术在Web开发中的应用
深入解析Java Servlet技术在Web开发中的应用
192 1
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习技术在自然语言处理中的应用与思考
【2月更文挑战第3天】 传统的自然语言处理技术在处理复杂语义和语法问题时存在诸多限制,而深度学习技术的崛起为解决这一难题提供了新的可能性。本文将探讨深度学习技术在自然语言处理领域的应用现状及未来发展趋势,以及对技术发展的思考和展望。
|
13天前
|
机器学习/深度学习 PyTorch TensorFlow
深度学习模型加速:Pytorch模型转TensorRT模型
深度学习模型加速:Pytorch模型转TensorRT模型
51 0

相关产品

推荐镜像

更多