Differentiable Architecture Search

Abstract：

将离散域的结构搜索问题转化为连续域的搜索问题，将计算速度提升了几个量级。

Contribution:

• 提出了一种基于双层优化的可微网络结构搜索算法，该算法适用于卷积和递归结构。

DARTS流程：(a)边上的操作最初是未知的。(b)通过在每条边上混合放置候选操作来松弛搜索空间。(c)通过求解双层优化问题来联合优化混合概率和网络权重。(d)从学习到的混合概率中得到最终的网络结构。

• 效果很好，PTB上达到了SOTA

• 将 NAS 的搜索时间降到 GPU*day 的级别

• 在 CIFAR、PTB 上搜索到的网络架构可以移植到其它数据集。

标签：论文,PTB,笔记,混合,搜索,DARTS,网络结构,优化
来源： https://www.cnblogs.com/SethDeng/p/15388378.html