plaxw

GPT-1论文提出了一种基于Transformer的生成式预训练方法，通过无监督预训练加下游任务微调的“生成式预训练+监督微调”范式，显著提升了NLP任务的理解能力，开启了预训练模型新时代。