StarSpaceNLP

1，作为Autoregressive语言模型的XLNet何以能够在发布时在20个语言任务上都能够正面挑战作为Autoencoding与训练领域霸主地位的BERT？ 2，XLNet背后Permutati

1，GAN：Generative Model和Discriminative Model架构解析 2，为什么说ELECTRA是NLP领域轻量级训练模型明星级别的Model？ 3，使用replaced

1，Corpus数据分析 2，Pre-training参数设置分析 3，BasicTokenizer源码实现 4，WordpieceTokenizer源码实现 5，ALBERT的Tokenizatio

1，从数学原理和工程实践的角度阐述BERT中应该设置Hidden Layer的维度高于(甚至是高几个数量级)Word Embeddings的维度背后的原因 2，从数学的角度剖析Neural Netwo

1，数据预处理训练集、测试集源码 2，文本中的Token、Mask、Padding的预处理源码 3，数据的Batch处理实现源码及测试 4，加载Pre-training模型的BertModel及Ber

1，词典Vocabulary库构建多层级源码实现及测试 2，Dataset加载及数据处理源码完整实现及测试和调试 3，Next Sentence Prediction机制源码完整实现及测试 4，Mas

1，Auto-encoding Language Models通用数学原理详解 2，为何要放弃采用Feature-Based语言模型ELMo而使用Fine-tuning模型？ 3，双向语言模型：bot

1，Task-aware的人工智能Language model + Pre-training + Fine-tuning时代 2，Decoder-Only Stack数学原理及架构解析 3，训练材料标

1，人工智能中最重要的公式之一MLE数学本质剖析及代码实战 2，Language Model的数学原理、Chain Rule剖析及Sparsity问题 3，Markov Assumption

1，Transformer源码训练及预测整体效果展示 2，模型训练model_training.py代码完整实现 3，数据预处理data_preprocess.py代码完整实现 4，Input端Emb

1，基于Bayesian Theory，融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transforme

One Architecture， One Course，One Universe 本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需