自 BERT 起，预训练语言模型沿着海量训练数据和庞大网络结构的方向在不断发展着。在 12 月落幕的 NeurIPS 2020 会议上，最新语言模型 GPT-3 荣膺最佳论文奖。OpenAI 的研究人员使用了多达 45TB 的文本数据来训练它的 1750 亿个参数。GPT-3 …