深度可分离卷积

164 阅读1分钟

开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第二十五天,点击查看活动详情

总结:此文为12月更文计划第二十五天第四十篇。

深度可分离卷积

深度可分离卷积结构,我们把 3 个块的图,替换为 6 个块的图,就完成了深度可分离的卷积 神经网络

image.png

谷歌在 15-16 年引入的 inception V3 模型,这样可以有不同的视野域 由上图可以看出,深度可分离卷积相对于传统卷积,多了 3 层,1x1 Conv,BN 和 ReLU

3x3 的深度可分离卷积(Depthwise Conv)来源于谷歌下图 的 V3

image.png

不同的模型提供的视野域是不一样的,针对提升效率是因为前面3个节点不需要 再搞到最后的一个里边去再次计算(图中红色的线是不需要做的)

image.png

5x5和3x3的视野域是不一样的

深度可分离卷积分支结构

也是一种分支的网络结构,只是不同的分支建立在不同的通道之上,如下图所示:

image.png

上图的输出的通道,只跟某一个通道有关系,从而相对于最初的卷积来说,计算量就变小了 对比计算量 模型结构

◆普通卷积计算量

Dk.Dk.M.N.DF.DF

加法操作,复杂度小,忽略掉

DKDK是输入和卷积核相乘,DFDF是滑动次数,为什么乘以M,M是通道数目,N是卷

积核的数目(可以理解M是输入通道数目,N是输出通道数目)

◆深度可分离卷积计算量

◆深度可分离

image.png