论文阅读

本文提出了PERT，它主要用于NLU任务，且是一个基于全排列的自编码语言模型。主要思路是对输入文本的一部分进行全排列，训练目标是预测出原始字符的位置，同时也使用了WWM(全词掩码)与N-gram掩码去