XLNet 采用了 PLM (Permutation Language Model) ，将句子随机排列，然后用自回归的方法训练，从而获得双向信息并且可以学习 token 之间的依赖关系。

什么叫做主成分分析法，我们先看一张图椭圆的图，如果让你找一条线，使得椭圆上所有点在该线上映射的点最分散，保留下来的信息最多，你会怎么选择这条线？若是下图，会选择水平线，这是用一维的方式去尽可能多的表示二维的数据，那么多维的数据呢，是否可以用较低维的数据尽可能表示。 主成分分析法…