Contributions

1、Propose a novel algorithm for differentiable network architecture search.

2、The novel argorithm achieves highly competitive performance.

3、Improve the efficiency remarkably.

4、The architectures are transferable.

Algorithm

Relaxation

Optimization

这里有一点难理解。w和a的关系有一点像P(w|a)。weight是给定alpha之后得到的weight。

对a进行求导可以得到：

对上式应用链式法则：

对上式使用the finite difference approximation，降低复杂度：

要注意，如果使用一阶近似的话，效果会相对差一些。

Integrate

思路要点

1、整个推导过程，有时间的话最好参考着代码来看。 代码实现：github.com/quark0/dart…