迁移学习

64 阅读2分钟

开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第十一天,点击查看活动详情

总结:此文为12月更文计划第十一天第十六篇。

迁移学习

是属于机器学习的一种研究领域。它专注于存储已有问题的解决模型,并将 其利用在其他不同但相关问题上。比如说,用来辨识汽车的知识(或者是模型)也可以 被用来提升识别卡车的能力。计算机领域的迁移学习和心理学常常提到的学习迁移在概 念上有一定关系,但是两个领域在学术上的关系非常有限 迁移学习的领域很大,它不是深度学习的一个子领域,而是与深度学习有交叉的领域。 一般来说,迁移学习包括基于样本的迁移,基于特征的迁移,基于模型的迁移,以及基于关 系 的 迁 移 。 我 们 这 里 只 讲 了 基 于 模 型 的 迁 移 。

image.png

网络结构

网络结构层次更深

多使用 3x3 的卷积核

2 个 3x3 的卷积层可以看做一层 5x5 的卷积层

3 个 3x3 的卷积层可以看做一层 7x7 的卷积层

1x1 的卷积层可以看做是非线性变换

每经过一个 pooling 层,通道数目翻倍 ---因为经过 pooling 某些信息有所丢失,所以提 取更多的特征出来

视野域:2 个 3x3=1 个 5x5

2 层比 1 层更多一次非线性变换

参数降低 28% 55-33-3*3=7

7/25=28%,参数量降低 28%

image.png

如果我们把上图的 55 改为 11,发现最终得到的是 32321,相当于在纵向上做的压缩

image.png

网络结构变换

从 11 层增至 19 层

LRN 是局部做归一化

为什么都在后面加层,因为前面经过 maxpooling 后,后面参数没那么多,加层的计算量没

那么大

总体参数数目基本保持不变