NLP-Prompt综述(1)

201 阅读1分钟

朋友们,chatgpt和gpt4最近火出圈了,这是NLP的一大进步,这里面涉及到的技术少不了prompt,为了把这个东西讲清楚,我将把综述全部读一遍《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》,然后每天把读的内容做总结,方便大家学习,今天是第一部分。

总结:

(1)本文主要介绍NLP新范式称之为基于提示的学习

(2)它和传统学习不一样,它直接把文本概率了,它是把模版嵌入到文本中,通过概率去填充模版中缺失的变量

总结:

(1)NLP共经历四个范式:特征工程、深度学习、预训练+微调、prompt

(2)当我们把prompt作为控制模型行为的一个变量以后,就拥有了不同具体任务的模型,可以选择不同的prompt来对具体任务进行预测,而不需要进行下游训练

总结:

(1)如上图,特征工程和深度学习阶段没区别,文本分类、序列标注、文本生成都需要全部监督训练,语言模型需要非监督(word2vec),但是预训练+微调阶段除了文本分类和序列标注半监督外,基本上都可以非监督,而prompt阶段都是文本模式,也就是原来的先训练模型再具体到任务的逻辑变成了我直接训练出各种人物,然后应用到语言模型上面了