携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第1天,点击查看活动详情 Hello,非常感谢你的关注~ 我是机器学习与风控,一名末流985的本硕,无顶会、无大厂核心部门实习,拥有多个比赛的竞赛经历,秋招刷了leetcode500题,在秋招提前批中收获字节跳动,腾讯,阿里,美团等大厂offer,最终选择入职字节风控,从事与黑产对抗的工作。我会定期分享我的春招、秋招亲身求职体验;算法岗日常工作;数据挖掘比赛,经典图模型等日常学习等有料也有趣的内容~秋招到了,欢迎各位私信找我内推!
一直对迁移学习都有个模糊的概念,对于多任务学习,迁移学习的界定十分模糊,是包含关系还是独立的关系?因为工作需要,对技术进行深入学习一下~ 希望最后了解明确界限\
以下大多内容来自对 A Survey on Transfer Learning ieeexplore.ieee.org/stamp/stamp…
1. 什么是迁移学习,迁移学习要做什么
许多机器学习和数据挖掘算法的一个主要假设是,训练和未来的数据必须是,在相同的特征空间中,具有相同的分布。然而,在许多实际应用中,这一假设可能并不成立。例如,我们有时在一个感兴趣的领域中有一个分类任务,但在另一个领域中我们只有足够的训练数据,感兴趣的领域,其中后一数据可能位于不同的特征空间或遵循不同的数据分布。在这种情况下,如果成功进行知识转移,可以避免昂贵的数据标注,从而大大提高效率;
2. 与传统的机器学习的区别是什么?
\
我们可以看到,传统的机器学习技术试图学习每一个从头开始任务,而迁移学习技术试图将知识从一些先前的任务转移到目标后者的高质量训练数据较少时的任务。
迁移学习的形式化定义:
给定源阈和学习任务,目标阈和学习任务,迁移学习致力于使用任务s的相关知识去帮助目标函数t的学习;
3.迁移学习中有3个重要问题:
What to transfer
迁移学习首先要知道 知识的哪一部分可以转移跨域或任务转移。有些知识是特定于各个领域或任务,并且某些知识可能在不同领域之间是共同的,例如它们可能有助于提高目标域的性能或任务。在发现哪些知识可以迁移之后,需要开发学习算法来迁移知识,对应“如何转移”的问题
How to transfer
在知道迁移什么后,就会有一些知识去做迁移;各种技术~
When to transfer
这个是指 ”何时需要迁移;在什么情况下,迁移学习应该做。“ 同样,我们对知道在哪些情况下,知识不应该转移。在某些情况下,当源域和目标域彼此不相关,甚至出现负向迁移;目前关于迁移学习的大部分工作都集中在“转移什么”和“如何转移”,隐含地假设源域和目标域与彼此。然而,如何避免负迁移是一个吸引越来越多的重要未决问题今后注意。