携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第2天，点击查看活动详情
4. 迁移学习背景分类！
前提：任务和域：任务是指要做什么事情，域是指数据的特征空间。
一个很重要的图
inductive transfer learning
源域和目标域的任务不同，领域知识无所谓是否相同；目标域有标签；源域可能有，也可能无标签；
目标域的标签已经知道的；根据源域的标签是否已知：
1）source domain are available. 在这种情况下，迁移学习和多任务学习十分接近！！！显著区别是：迁移学习致力于提高目标域的表现！！而多任务学习同时提高目标域和源阈的表现！
2）source domain are unavailable. 和自我学习类似，这种设定意味着源域的信息不能直接用到目标域里；
transductive transfer learning
源域和目标域的任务相同，领域知识无所谓是否不同；有标签数据只在源域；
进一步可以分成2类：
1）源域和目标域特征空间不同；
2）源域和目标域特征空间相同；这种设定 和领域适应的模型的基本假设一样；
unsupervised transfer learning
和inductive transfer learning 的背景一样，不同点在于 该分类下关注于无监督的任务！
5.inductive transfer learning
4个比较重要的方法；基于实例的，基于特征表示的，基于参数的，基于关系的；
\
迁移实例的知识（Transferring Knowledge of Instances ）
将在source domain中的数据挑挑拣拣，选择符合Target domain约束空间的数据，让这些挑出来的数据和target domain中数据一块训练。
经典的一个是TrAdaBoost ；它尝试迭代地重新加权源域数据以减少“坏”源数据的影响
同时鼓励“好的”源数据贡献更多对于目标域。对于每一轮迭代，TrAdaBoost 在加权源上训练基础分类器和目标数据。
迁移特征空间的知识 （Transferring Knowledge of Feature Representations）
旨在找到“好的”特征表示以最小化域之间的分布差异和分类或回归模型错误。对于不同类型的源域数据，寻找“好的”特征表示的策略是不同的。如果源域中有大量标记数据可用，则可以使用监督学习方法来构建特征表示。这类似于多任务学习领域的“common feature learning “。如果源域中没有可用的标记数据，则提出无监督学习方法来构建特征表示。
监督特征构造
监督特征构造的设置思想和迁移学习用的一样，基本思想是学习一个低维的跨领域的特征空间，学习的表示可以减少模型误差；如下公式所示：用一个映射函数A，把不同域的映射到一个特征空间进行分类。
无监督特征的构造
用重构误差去重建特征；
参数的迁移
假定相关任务共享一些先验模型参数。多任务学习里2个领域的损失权重一样的，迁移学习不一样，对于目标域给更大的权重；
本质就是共享部分的参数~
关系的迁移
把不同领域间的关系进行迁移，迁移对象是关系；和我关系不大；
6.TRANSDUCTIVE transfer learning
源域和目标域的任务是一样的！！即使domain可能不一样；
这里的TRANSDUCTIVE 表达的含义是：源域和目标域任务必须是一样；
迁移实例的知识（Transferring Knowledge of Instances ）
目标域的知识是不知道的；怎么做？
直接去拟合源域的数据，同时为了衡量分布差异，进行了一个分布的估计；
迁移特征空间的知识 （Transferring Knowledge of Feature Representations）
大多数特征表示迁移方法的转导式迁移学习设置在无监督学习框架下；一个经典的转导式子迁移学习方法：SCL(Structural Correspondence Learning):这个方法的目标就是我们说的，找到两个领域公共的那些特征。作者将这些公共的特征叫做Pivot feature。找出来这些Pivot feature，就完成了迁移学习的任务。
除此之外，还有通过聚类进行标签跨领域传播；通过维度缩减保持一致性；
7. UNSUPERVISED TRANSFER LEARNING
经典代表：self-taught clustering 其目标是将一小部分未标记的数据聚集在借助大量的目标域源域中未标记的数据。STC 努力学习跨域的共同特征空间，这有助于在目标域中进行聚类。看下目标函数就懂了~
8. 收获
- 这是一种根据 "领域知识以及任务"进行分类的综述，在inductive和tranductive 迁移学习的类别中，都包含基于实例的，基于特征的模型；因此后续有些综述其实从实例，特征，参数的角度进行综述；
- 与迁移学习的区别懂了；任务的效果追求不一样，迁移学习追求target！
- 什么时候选择哪种迁移学习方向？即how to transfer; 通过对任务的划分进行选择深入研究方向；例如后期在黄牛与羊毛场景的基线模型，我们应该选择是多任务学习，而不是迁移学习！
