Prompt
简介
是将大的预训练模型运用在下游任务的一种范式
-
pre-train+prompt
-
人工设计一些提示语
-
nlp中在模型输入前加上可训练的embedding，
优势
相比fine-tune的优势
- 计算代价较低
- 节省计算空间
本质解读
让我们的下游数据分布向我们训练的数据分布去靠拢。 可尝试的操作：
- 对输入x进行线性变换
- 对输入x加上某一个向量
why does it work
加入的prompt embedding相当于在tsfm里提供一种注意力的指导机制。实现描述任务特性。 因此具有全局特征的任务，容易work； 对于探索词与词之间特征的任务，不容易work，例如抽取式问答；
展望
能否在cv中形成另一个风口？
局限
依赖大的预训练模型
现状
在多模态中有应用，例如 ActionClip
nlp中有一定的发展
