AI异构_个人页

2020年07月

• 07.30 10:40:57
  发表了文章 2020-07-30 10:40:57

  神经网络架构搜索——可微分搜索（SGAS）

  KAUST&Intel发表在CVPR 2020上的NAS工作，针对现有DARTS框架**在搜索阶段具有高验证集准确率的架构可能在评估阶段表现不好**的问题，提出了分解神经网络架构搜索过程为**一系列子问题**，SGAS使用**贪婪策略选择并剪枝候选操作**的技术，在搜索CNN和GCN网络架构均达到了SOTA。 - Paper: SGAS: Sequential Greedy Architecture Search - Code: https://github.com/lightaime/sgas

  
• 07.28 11:05:27
  发表了文章 2020-07-28 11:05:27

  神经网络架构搜索——可微分搜索（DARTS）

  神经网络架构搜索之前主流的方法主要包括：强化学习，进化学习。他们的搜索空间都是不可微的，Differentiable Architecture Search 这篇文章提出了一种可微的方法，可以用梯度下降来解决架构搜索的问题，所以在搜索效率上比之前不可微的方法快几个数量级。可以这样通俗的理解：之前不可微的方法，相当于是你定义了一个搜索空间（比如3x3和5x5的卷积核），然后神经网络的每一层你可以从搜索空间中选一种构成一个神经网络，跑一下这个神经网络的训练结果，然后不断测试其他的神经网络组合。这种方法，本质上是从很多的组合当中尽快的搜索到效果很好的一种，但是这个过程是黑盒，需要有大量的验证