1,GAN:Generative Model和Discriminative Model架构解析
2,为什么说ELECTRA是NLP领域轻量级训练模型明星级别的Model?
3,使用replaced token detection机制规避BERT中的MLM的众多问题解析
4,以Generator-Discriminator实现的ELECTRA预训练架构解析
5,ELECTRTA和GAN的在数据处理、梯度传播等五大区别
6,ELECTRA数据训练全生命周期数据流
7,以Discriminator实现Fine-tuning架构解析
8,ELECTRA的Generator数学机制及内部实现详解
9,Generator的Loss数学机制及实现详解
10,Discriminator的Loss数学机制及实现详解
11,Generator和Discriminator共享Embeddings数据原理解析
12,Discriminator网络要大于Generator网络数学原理及工程架构
13,Two-Stage Training和GAN-style Training实验及效果比较
14,ELECTRA数据预处理源码实现及测试
15,Tokenization源码完整实现及测试
16,Embeddings源码实现
17,Attention源码实现
18,借助Bert Model实现Transformer通用部分源码完整实现
19,ELECTRA Generator源码实现
20,ELECTRA Discriminator源码实现
21,Generator和Discriminator相结合源码实现及测试
22,pre-training训练过程源码完整实现
23,pre-training数据全流程调试分析
24,聚集于Discriminator的ELECTRA的fine-tuning源码完整实现
25,fine-tuning数据流调试解析
26,ELECTRA引发Streaming Computations在Transformer中的应用思考