面向硬件性能的神经网络规模调整一种新的卷积神经网络通道配置优化方法，能在满足特定硬件延迟约束的同时，自动搜索最优的网络通

面向硬件性能的神经网络规模调整

一种确定卷积神经网络“通道配置”的新方法，在保持运行效率的同时提高了精度。

在计算机视觉任务中，为卷积神经网络（CNN）的每一层确定最优的通道数是一项挑战。传统的神经架构搜索方法通常先训练一个包含大量通道的网络，然后逐层贪婪地剪枝掉对精度影响不大的通道。然而，这种方法可能导致次优的网络配置。

在IEEE计算机视觉与模式识别会议（CVPR）上，研究人员提出了一种新的方法。该方法在训练过程中同时优化网络所有层的通道数，从而在每层的计算量与最终精度之间实现更好的平衡。

核心方法：

随机变异：在训练初期，对于每个训练样本，随机改变网络某一层的通道宽度（从原始值的20%到150%）。这允许网络探索通道宽度在不同层之间相互依赖的可能性。
经验延迟估计：为了在不实际测量每层延迟的情况下进行全局优化，研究人员采用经验分析法。通过在不同通道配置下反复运行相同数据，并求解由此产生的线性方程组，可以非常准确地估算出不同网络层在各种通道宽度下的延迟。这些估算值被存入一个表中，以便在训练期间高效查找。
马尔可夫随机场优化：利用马尔可夫随机场这一标准统计模型，来建模在网络连续层中组合不同通道宽度所产生的效果。基于精度损失测量和延迟估算，求解出在给定延迟约束下能产生最佳性能的通道宽度组合。

实验以MobileNet (v1)为基础网络进行。结果表明，与使用贪婪通道宽度搜索的基线方法相比，该方法在相同延迟下实现了4%的相对精度提升。此外，通过逐步缩小模型可探索的配置范围，精度又获得了1%的相对提升。

该方法的核心优势在于能够更早地在训练过程中确定通道宽度，使每个通道的设置更好地适应最终的通道配置，并捕获所有网络层之间通道宽度的相互依赖关系。