整个课程针对 NLP 中最复杂最具有学习价值的机器阅读理解 MRC 展开：
[if !supportLists]1， [endif]以Transformer为基础，涵盖M RC 算法、架构、源码、和案例的全生命周期
[if !supportLists]2， [endif]共计1 5 章节，每章节3- 5 小时
[if !supportLists]3， [endif]授课内容强调算法和调试
以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。
课程特色：
101章围绕Transformer而诞生的NLP实用课程
5137个围绕Transformers的NLP细分知识点
大小近1200个代码案例落地所有课程内容
10000+行纯手工实现工业级智能业务对话机器人
在具体架构场景和项目案例中习得AI相关数学知识
以贝叶斯深度学习下Attention机制为基石架构整个课程
五大NLP大赛全生命周期讲解并包含比赛的完整代码实现
北京时间每天晚21点，NLP逐行解密：算法、数学、源码。
知乎-B站搜索StarSpaceNlp加入直播。
YouTube搜索 StarSpace NLP加入直播。
所有直播永久免费！
以往直播课程回放地址：https://search.bilibili.com/all?keyword=%E6%AE%B5%E6%99%BA%E5%8D%8E&from_source=webtop_search&spm_id_from=333.851
\
第1章 : 贝叶斯理论下的 Transformer 揭 秘
1，基于Bayesian Theory，融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transformer架构
2，为什么说抛弃了传统模型（例如RNN、 LSTM、CNN等）的Transformer拉开了非序列化模型时代的序幕？
3，为什么说Transformer是预训练领域底层通用引擎？
4，Transformer的Input-Encoder-Decoder-Output模型组建逐一剖析
5，Transformer中Encoder-Decoder模型进行Training时候处理Data的全生命周期七大步骤揭秘
6，Transformer中Encoder-Decoder模型进行Inference时候处理Data的全生命周期六大步骤详解
7，Teacher Forcing数学原理及在Transformer中的应用
8，穷根溯源：为何Scaled Dot-Product Attention是有效的？
9，透视Scaled Dot-Product Attention数据流全生命周期
10，穷根溯源：Queries、Keys、Values背后的Trainable矩阵揭秘
11，当Transformer架构遇到Bayesian理论：multi-head attention
12，End-to-end Multi-head attention的三种不同实现方式分析
13，透视Multi-head attention全生命周期数据流
14，Transformer的Feed-Forward Networks的两种实现方式：Linear Transformations和Convolutions
15，Embeddings和Softmax参数共享剖析
16，Positional Encoding及Positional Embedding解析
17，Sequence Masking和Padding Masking解析
18，Normal distribution、Layer Normalization和Batch Normalization解析
19，Transformer的Optimization Algorithms数学原理、运行流程和最佳实践
20，Learning rate剖析及最佳实践
21，从Bayesian视角剖析Transformer中的Dropout及最佳实践
22，Label Smoothing数学原理和工程实践解析
23，Transformer背后的驱动力探讨
\
第 2 章 : 通过 30+ 个细分模块完整实现 Transformer 论文源码及项目调 试
1，Transformer源码训练及预测整体效果展示
2，模型训练model_training.py代码完整实现
3，数据预处理data_preprocess.py代码完整实现
4，Input端Embeddings源码完整实现
5，Attention机制attention.py代码完整实现
6，Multi-head Attention机制multi_head_attention.py代码完整实现
7，Position-wise Feed-forward源码完整实现
8，Masking 在Encoder和Decoder端的源码完整实现0
9，SublayerConnection源码完整实现
10，Encoder Layer源码完整实现
11，LayerNormalization源码完整实现
12，DecoderLayer源码完整实现
13，Encoder Stack源码完整实现
14，Decoder Stack源码完整实现
15，由Memory链接起来的EncoderDecoder Module源码完整实现
16，Batch操作完整源码实现
16，Optimization源码完整实现
17，Loss计算数学原理及完整源码实现
18，Output端Generator源码完整实现
19，Transformer模型初始化源码及内幕揭秘
20， Label Smoothing源码完整实现
21，Training源码完整实现
22，Greedy Decoding源码及内幕解析
23，Tokenizer源码及调试
24，Multi-GPU训练完整源码
27，使用自己实现的Transformer完成分类任务及调试
28，Transformer翻译任务代码完整实现及调试
29，BPE解析及源码实现
30，Shared Embeddings解析及源码实现
31，Beam Search解析及源码实现
32，可视化Attention源码实现及剖析
第 3 章 : Autoencoding Language Models 数学原理及模型架构解 析
1，Auto-encoding Language Models通用数学原理详解
2，为何要放弃采用Feature-Based语言模型ELMo而使用Fine-tuning模型？
3，双向语言模型：both left-to-right and right-to-left不同实现及数学原理解析
4，深度双向语言模型背后的数学原理及物理机制
5，Unsupervised Fine-tuning训练模型架构及数学原理解析
6，Transfer Learning数学原理及工程实现详解
7，MLM(Masked Language Models)数学原理及工程架构解析
8，MLM问题解析及解决方案分析
9，Pre-training + Fine-tuning的BERT分层架构体系及组件解析
10，BERT的三层复合Embeddings解析
11，BERT不同模块的参数复杂度分析
12，BERT在进行Masking操作中采用10%随机选取词库的内容进行替换masked位置的内容的数学原理剖析
13，BERT在进行Masking操作中采用10%的内容维持不变的数学原理揭秘
14，BERT的Masking机制五大缺陷及其解决方案分析
15，BERT的Masking机制在Data Enchancement方面的妙用
16，BERT的Masking机制在处理智能对话系统中不规范用语甚至是错误语法及用词的妙用
17，BERT的NSP(Next Sentence Prediction)机制及其实现
18，BERT的NSP三大问题及解决方案剖析
19，BERT的CLS剖析及工程实现
20，BERT的CLS三个核心问题及解决方案
21，Knowledge Distillation for BERT数学原理贝叶斯及KL散度解析及案例实战
22，使用BERT进行Classification架构及案例实战
23，使用BERT进行NER(Named Entity Recognition)架构及案例实战
24，使用BERT实现文本Similarity任务的架构及案例实战
25，使用BERT实现Question-Answering任务的架构及案例实战
\
第 4 章 : BERT Pre-training 模型源码完整实现、测试、调试及可视化分 析
1，词典Vocabulary库构建多层级源码实现及测试
2，Dataset加载及数据处理源码完整实现及测试和调试
3，Next Sentence Prediction机制源码完整实现及测试
4，Masked Language Model机制中80%词汇Masking源码实现
5，Masked Language Model机制中10%词汇随机替换和10%词汇保持不变源码实现
6，Masked Language Model机制下的Output Label操作源码实现
7，加入CLS、SEP 等Tokens
8，Segment Embeddings源码实现
9，Padding源码实现及测试
10，使用DataLoader实现Batch加载
11，BERT的初始化init及forward方法源码实现
12，PositionalEmbeddings源码实现详解
13，TokenEmbeddings源码
14，SegmentEmbeddings源码
15，BERTEmbeddings层源码实现及调试
16，基于Embeddings之多Linear Transformation操作
17，Queries、Keys、Values操作源码
18，Attention机制源码实现
19，Multi-head Attention源码实现
20，Layer Normalization数学原理及源码实现
21，Sublayer Connection源码实现
22，Position-wise Feedforward层源码实现
23，Dropout数学机制及源码实现
24，基于Embeddings之上的Linear Transformation及其不同源码实现方式
25，TransformerBlock源码完整实现及测试
26，BERT模型训练时候多二分类和多分类别任务数学原理和实现机制
26，BERT Training Task之MLM源码完整实现及测试
27，BERT Training Task之NSP源码完整实现及测试
28，Negative Sampling数学原理及实现源码
29，MLM和NSP的Loss计算源码实现
30，BERT模型的训练源码实现及测试
31，使用小文本训练BERT模型源码、测试和调试
32，使用特定领域的(例如医疗、金融等)来对BERT进行Pre-training最佳实践
33，BERT加速训练技巧：动态调整Attention的Token能够Attending的长度
34，BERT可视化分析
\
第 5 章 : BERT Fine-tuning 源码完整实现、调试及案例实 战
1，数据预处理训练集、测试集源码
2，文本中的Token、Mask、Padding的预处理源码
3，数据的Batch处理实现源码及测试
4，加载Pre-training模型的BertModel及BertTokenizer
5，模型Config配置
6，Model源码实现、测试、调试
7，BERT Model微调的数学原理及工程实践
8，BERT Model参数Frozen数学原理及工程实践
9，BertAdam数学原理及源码剖析
10，训练train方法源码详解
11，fully-connected neural network层源码详解及调试
12，采用Cross-Entropy Loss Function数学原理及代码实现
13，Evaluation 指标解析及源码实现
14，Classification任务下的Token设置及计算技巧
15，适配特定任务的Tokenization解析
16，BERT + ESIM(Enhanced Sequential Inference Model)强化BERT模型
17，使用BERT + LSTM整合强化BERT 模型
18，基于Movie数据的BERT Fine-tuning案例完整代码实现、测试及调试
第 6 章： NLP 阅读理解 MRC(Machine Reading Comprehension) 数学原理、技术本质及常见算 法
1，以一篇119个Words的GRE(Graduate Record Examinations)文章及2个相应的阅读理解题目为例来剖析阅读理解的过程及其背后的机制
2，MRC在智能客服、机器问答、搜索引擎等等广泛应用背后的原因：规模化价值复制
3，信息的本质及信息理解的本质数学机制剖析
4，MRC三元素：Question-Context-Answer数学模型及技术本质剖析
5，MRC的核心：Attention Computations
6，MRC对信息理解三大层次解析及背后对应的数学模型
7，MRC实现方法之传统特征工程解析
8，MRC实现方法之深层语意图匹配解析
9，MRC实现方式之神经网络及Attention机制解析
10，MRC数据之Single-Document和Multiple-Document解析
11，MRC的四大核心任务之Cloze Tests数据集、数学原理和技术本质剖析
12，MRC的四大核心任务之Multiple Choice数据集、数学原理和技术本质剖析
13，MRC的四大核心任务之Span Extraction数据集、数学原理和技术本质剖析
14，MRC的四大核心任务之Free Answering数据集、数学原理和技术本质剖析
15，Cloze Tests数据集分析：CNN&Daily Mail、CBT等
16，Multiple Choice数据集分析：MC Test、RACE等
17，Span Extraction数据集分析：SQuAD、NewsQA等
18，Free Answering数据集分析：MS MARCO、DuReader等
19，MRC的测试集解析：In-domain、Over-sensitivity、Over-stability、Generalization等
20，MRC的可回答问题及无答案问题数学原理剖析及BERT实现
21，MRC的Feature extraction数学原理及算法分析
22，传统Machine Learning Algorithms对MRC 算法解析
23，BiDAF (Bi-Directional Attention Flow)下的MRC算法解析
24，QANet下的MRC算法解析
25，Transformer架构下的BERT及ALBERT下的MRC 解析
26，Transformer架构下的XLNET下的MRC 解析
\
第 7 章： MRC 通用架构双线模型内核机制、数学原理、及组件内 幕
1，双线模型架构解析：Multiple Encoders、Interaction
2，双线模型中为何Interaction环节是实现信息理解的关键？
3，双线模型底层数学原理剖析
4，Embeddings下的One-hot Representation及多层One-hot机制解析
5，Embeddings下的Word2vec的CBOW模型解析及源码实现
6，Embeddings下的Word2vec的Skipgram模型解析及源码实现
7，MRC下GloVe: Global Vectors for Word Representation架构解析及源码实现
8，MRC 下解决一次多义Elmo架构解析及源码实现
9，使用BERT进行Embeddings架构及最佳实践解析
10，Feature Extraction下的CNN模型解析及源码实现
11，Feature Extraction下的RNN模型解析及源码实现
12，Feature Extraction下的Transformer Encoder或者Decoder的架构解析及源码实现
13，MRC灵魂：Context-Question Interaction及Question-Context Interaction
14，Answer Prediction之Word Predictor数学原理及源码实现剖析
15，Answer Prediction之Option Predictor数学原理及源码实现剖析
16，Answer Prediction之Span Extractor数学原理及源码实现剖析
17，Answer Prediction之Answer Generator数学原理及源码实现剖析
18，MRC中的Negative Sampling数学机制及具体实现
19，BERT对MRC中无答案问题处理剖析及实现
20，MRC on Knowledge Graph解析
21，对MRC进行Evaluation Metrics之Accuracy、Precision、Recall、F1解析
22，对MRC进行Evaluation Metrices之Rouge-L解析
23，对MRC进行Evaluation Metrics之BLEU解析
24，提升MRC能力的7大方法详解
第 8 章：基于 Bayesian Theory 的 MRC 文本理解基础经典模型算法详 解
1，Bayesian prior在模型训练时候对Weight控制、训练速度影响等功能详解
2，Bayesian prior能够提供模型训练速度和质量的数学原理剖析
3，从Word2vec走向GloVe：从Local 信息走向Global+Local信息表示模式
4，GloVe 中的Vector相关性算法
5，GloVe的Co-occurrence matrix解析
6，GloVe的Loss计算
7，神经网络表达信息的三大局限剖析
7，使用Convolutions取代神经网络传统的matrix multiplication操作
8，文本序列的Vector表示及Convolutions的天然契合点分析
9，Parameter sharing背后的数学原理和工程的广泛应用
10，Vector中的参数真的能够很好的表达信息吗？数学原理及工程实践
11，TextCNN架构设计解析
12，CNN-rand数学原理及工程实现
13，CNN-static数学原理及工程实现
14，CNN-non-static数学原理及工程实现
15，CNN-multiple channel数学原理及工程实现
16，处理长短不一的Sentence
17，Kernel设置的数学原理及最佳实践
18，传统模型Attention实现本质：权重分配
19，通过Soft-Search的方式来构建Attention机制及数学原理剖析
20，KQV：Attention-based model based on weight allocation
21，Local-Attention、Global-Attention、Self-Attention对比及最佳实践
22，基于一维匹配的Attentive Reader架构及数学原理剖析
23，基于二维匹配的Impatient Reader架构及数学原理剖析
24，Multi-Hop机制多次提取更充足信息的Attention实现剖析
25，Multi-Hop机制多次提取更充足信息的TimeStep状态推进剖析
26，Pointer network和Attention机制的对比
27，R-NET：借助pointer network和使用gateway机制的attention实现
28，R-NET的Encoding Layer解析
29，R-NET的Question-Passage Matching解析
30，R-NET的Passage Self-Matching解析
31，R-NET的Answer Prediction解析
32，Fully-Aware Fusion Network提出的MRC的Fusion层次划分解析
33，Fully-Aware Fusion Network中的History-of-word机制来更好的理解语意
34，Fully-Aware Fusion Network的Attention机制解析
35，Fully-Aware Fusion Network的Encoding Layer：GloVe、CoVe、POS、NER等
36，Fully-Aware Fusion Network的Multi-level Fusion解析
37，Fully-Aware Fusion Network的Fully-Aware Self-Boosted Fusion解析
38，Fully-Aware Fusion Network的Output layer解析
39，QA-Net的架构之Embedding Encoder Layer解析
40，QA-Net的架构之Context-Query Attention Layer解析
41，QA-Net的架构之Model Encoder Layer解析
42，QA-Net的架构之Output Layer解析
\
第 9 章：揭秘针对 Cloze Tests 基于 Attention 机制的的 MRC 领域开山之作： Teaching Machines to Read and Comprehend 架构设计及完整源码实 现
1，对Text提供精细化的语言理解能力和推理能力的MRC为何需要Neural Networks和Attention机制的支持？
2，基于大规模训练数据集的集特征工程和分类于一体的深度学习MRC
3，数据集结构分析
4，Two-layer Deep LSTM Reader的Input和Output分析
5，Two-layer Deep LSTM Reader中article和question的Concatenation操作
6，Two-layer Deep LSTM Reader中的Embedding Layer解析
7，具有Attention功能的Two-layer Deep LSTM Reader架构解析
8，Two-layer Deep LSTM Reader的classification解析
9，Attentive Reader的Input时候对Document和Question分别作LSTM建模
10，Attentive Reader使用加法操作实现Attention机制进行Classification操作
11，Impatient Reader的Output中的Attention数学原理和操作解析
12，对模型复杂度及数据量的最佳实践思考
13，为何Attention机制在阅读理解中是有效的？数学原理和工程实践
14，CNN Daily Mail数据Padding、Batch等预处理操作
15，QADataset完整源码解析
16，QAIterator完整源码解析
17，Context和Question进行Concatenation操作完整源码解析
18，Deep LSTM中的Word Embedding Layer实现
19，Deep LSTM中的Contextual Embedding Layer实现
20，Deep LSTM中的Output Layer实现
21，Deep LSTM中的Dropout
22，Deep LSTM中的Modeling Layer源码实现
23，AttentiveReader中的Word Embedding Layer实现
24，AttentiveReader中的Contextual Embedding Layer实现
25，AttentiveReader中的Modeling Layer实现
26，AttentiveReader中的Attention机制实现
27，ImpatientReader中的Embedding Layers实现
28，ImpatientReader中的Mdoeling Layer实现
29，ImpatientReader中的Attention源码完整实现
30，training方法的源码完整实现
31，对整个整个算法完整源码实现的调试及分析
\
第 10 章： MRC 经典的 Span Extraction 模型 Bi-DAF 算法架构、运行机制及数学原 理
1，双向Attention Flow：Query2Context、Context2Query数学原理及工程实现
2，Bi-DAF能够正式确立编码-交互-输出三层架构阅读理解模型背后的原因分析
3，Bi-DAF模型本身的五层架构及其背后数学原理解析
4，不同粒度的多阶段Embeddings层的架构设计和数学原理
5，Bonus：多阶段Embeddings在智能对话信息表示中的应用剖析
6，Character Embedding数学原理及Char-CNN实现解析
7，Word Embedding数学原理及GloVe实现解析
8，双向LSTM架构机制及数学原理剖析
9，使用Highway Network解决梯度问题的数学原理及实现解析
10，组合Char embedding和word embedding
11，Contextual Embedding数学原理及实现解析
12，Bi-DAF中的Context2Query实现解析
13，Bi-DAF中的Query2Context实现解析
14，Trainable Matrix for attention mechanism
15，Modeling层架构和数学原理剖析
16，输出层的Start index计算数学原理解析
17，输出层的End index计算数学原理解析
18，Training Loss计算解析
19，参数设置
20，Bi-DAF在信息抽取时候的Assumption存在的问题分析
21，为何Bi-DAF不擅长回答Why类型的问题？如何改进？
第 11 章：基于 SQuAD 对 Bi-DAF 进行 MRC 源码完整实现、测试和调 试
1，SQuAD训练集和验证集数据分析及answer的Index机制分析
2，从JSON文件中获取样本信息
3，Tokenization代码实现
4，遍历处理data中的paragraphs下context及qas
5，对data中answer的start index、text、end index的处理及word的处理
6，构建基于Batch的Iterator
7，Padding源码实现及测试
8，Character Embedding Layer对Char进行Vector编码实现和测试
9，Word Embedding Layer对word进行Vector编码实现及测试
10，dropout操作
11，Convolutions操作实现
12，Transformer数据流源代码剖析
13，Concatenate Context和Question完整源码实现
14，通过基于ReLU的highway network来整合信息完整源码实现及测试
15，highway network中的门控机制数学原理及其在AI中的广泛应用
16，通过LSTM对Contextual Embedding Layer进行编码完整实现及测试
17，Context Matrix和Question Matrix可视化分析
18，attention flow layer中相似矩阵S的源码实现
19，Context2Query完整源码实现及测试
20，Query2Context完整源码实现及测试
21，attention flow layer中信息前向和增强信息表示的G的融合源码实现
22，Modeling Layer完整源码实现调试分析
23，output layer中p1的计算实现
24，output layer中p2的计算实现
25，Cross Entropy Loss p1的细节说明
26，在验证集上进行Test源码完整实现
27，Mask机制的具体作用剖析及调试分析
28，对Answer进行Normalization操作
29，EM (Exact Match)数学公式解析及源码实现
30，F1对MRC的应用数学公式解析及源码实现
31，Evaluation完整源码实现及调试
32，Soft Evaluation的重大意义思考
33，Bi-DAF全流程调试及深度分析
\
第 12 章：阅读理解 MRC 模型集成、蒸馏、部署及源码实 现
1，模型集成ensemble有效性背后的Bayesian数学原理深度剖析
2，模型扰动造成的方差数学原理剖析
3，方差与normalization
4，基于投票思想的模型集成方法及其在多选题和完形填空中的应用
5，基于bagging思想的模型集成方法
6，基于boosting思想的集成方法
7，基于stacking思想的模型集成方法
8，Blending机制
9，阅读理解中的模型ensemble：BERT + Linguistic Knowledge + Ensemble Algorithm
10，用小模型去学习大模型的预测结果及泛化能力
11，Teacher model - distilled model架构解析
12，soft labels、hard label
13，soft predictions、hard prediction
14，信息对齐：样本、中间结果、网络结构
15，DistillBERT用于Knowledge Distillation
16，server framework + deep learning framework API
17，server framework + deep learning serving
18，modeling完整代码解析
19，data utils源码解析
20，model utils源码解析
21，classifier utils源码解析
22，classifier源码解析
23，squad_utils源码解析
24，run_squad源码解析
25，estimator源码解析
26，train方法源码解析
27，modeling_bert
28，modeling_roberta
29，ensemble源码解析
30，evaluate源码解析
第 13 章：使用P GN et来进行生成式机器阅读理解 MRC 解析及源码完整实现
1，Seq2Seq attention model模型数学原理剖析
2，Pointer Generator Network架构解析
3，Conditional Generation Task数学原理和实现剖析
4，Coverage mechanism数学原理和具体实现
5，Source Text和Partial Summary解析
6，Encoder Hidden States解析
7，Context Vector解析
8，Attention Distribution解析
9，Output端数学原理和内容生成
10，数据预处理代码实现
11，使用BERT作为Encoder源码
12，Modeling源码完整实现
13，Transformer下的Encoder-Decoder使用
14，Evaluate源码完整实现
15，optimizer源码
16，training源码完整实现
17，prediction源码实现
\
第1 4 章 : 挑战 BERT 地位的 Autoregressive 语言模型 XLNet 剖析及源码完整实 现
1，作为Autoregressive语言模型的XLNet何以能够在发布时在20个语言任务上都能够正面挑战作为Autoencoding与训练领域霸主地位的BERT？
2，XLNet背后Permutation LM及Two-stream self-attention数学原理解析
3，Autoregressive LM和Autoencoding LM数学原理及架构对比
4，Denoising autoencoding机制的数学原理及架构设计
5，对Permutation进行Sampling来高性价比的提供双向信息数学原理
6，XLNet的Permutation实现架构和运行流程：content stream、query stream
7，XLNet中的缓存Memory记录前面Segment的信息
8，XLNet中content stream attention计算
9，XLNet中query stream attention计算
10，使用Mask Matrices来实现Two-stream Self-attention
11，借助Transformer-XL 来编码relative positional 信息
12，XLNet源码实现之数据分析及预处理
13，XLNet源码实现之参数设定
14，Embeddings源码实现
15，使用Mask实现causal attention
16，Relative shift数学原理剖析及源码实现
17，XLNet Relative attention源码完整实现
18，content stream源码完整实现
19，queery stream源码完整实现
20，Masked Two-stream attention源码完整实现
21，处理长文件的Fixed Segment with No Grad和New Segment
22，使用einsum进行矩阵操作
23，XLNetLayer源码实现
24，Cached Memory设置
25，Head masking源码
26，Relative-position encoding源码实现
27，Permutation实现完整源码
28，XLNet FFN源码完整实现
29，XLNet源码实现之Loss操作详解
30，XLNet源码实现之training过程详解
31，从特定的checkpoint对XLNet进行re-training操作
32，Fine-tuning源码完整实现
33，Training Evaluation分析
34，使用XLNet进行Movies情感分类案例源码、测试及调试
\
第 15 章：使用 XLNet 来进行 Span Extraction 机器阅读理解 MRC 解析及源码完整实现
1，大规模无标注数据下传统具有local context的语言模型：CBOW、Skip-gram等
2，大规模无标注数据下能够表达信息层次的现代语言模型：ELMo、GPT、BERT等
3，一般的MRC中Input格式：[CLS] + Q + [SEP] + P + [SEP]
4，XLNet中的格式[PADDING] + Q + [SEP] + P + [SEP] + [CLS]
4，处理MRC中unanswerable问题背后的数学原理剖析
5，GPT的单向信息问题及BERT的Mask之间独立性假设
6，Permutation LM数学原理剖析及其问题剖析
7，Two-stream Attenion数学原理解析
8，Segment recurrence数据原理剖析
9，XLNet中的Relative Encoding Shema
10，基于XNNet的MRC数据文件分析
10，run_squad文件构建XLNet阅读理解的Examples
11，构建MRC的features
12，构建start position和end position
13，把文本转为XLNet的输出数据格式
14，run_squad.py源码调试解析
15，使用XLNet进行编码
16，计算概率分布
17，计算LOSS
18，XLNet处理数据内部状态流程转换内部细节解析
19，Inference阶段examples和features
20，post-processing代码分析及调试
21，EM计算
22，F1计算
23，Bug解决方法展示
\
