(基于Transformer的NLP智能对话机器人实战课程)

One Architecture， One Course，One Universe

星空智能对话机器人的Gavin认为Transformer是拥抱数据不确定性的艺术。

Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现；基于Transformer各种模型变种及实践也都是基于Bayesian思想指导下来应对数据的不确定性；混合使用各种类型的Embeddings来提供更好Prior信息其实是应用Bayesian思想来集成处理信息表达的不确定性、各种现代NLP比赛中高分的作品也大多是通过集成RoBERTa、GPT、ELECTRA、XLNET等Transformer模型等来尽力从最大程度来对抗模型信息表示和推理的不确定性。

从数学原理的角度来说，传统Machine Learning及Deep learning算法训练的目标函数一般是基于Naive Bayes数学原理下的最大似然估计MLE和最大后验概率MAP来实现，其核心是寻找出最佳的模型参数；而Bayesian的核心是通过计算后验概率Posterior的predictive distribution，其通过提供模型的不确定来更好的表达信息及应对不确定性。对于Bayesian架构而言，多视角的先验概率Prior知识是基础，在只有小数据甚至没有数据的时候是主要依赖模型Prior概率分布(例如经典的高斯分布)来进行模型推理，随着数据的增加，多个模型会不断更新每个模型的参数来更加趋近真实数据的模型概率分布；与此同时，由于（理论上）集成所有的模型参数来进行Inference，所以Bayesian神经网络能够基于概率对结果的提供基于置信度Confidence的分布区间，从而在各种推理任务中更好的掌握数据的不确定性。

当然，由于Bayesian模型因为昂贵的CPU、Memory及Network的使用，在实际工程实践中计算Bayesian神经网络中所有概率模型分布P(B)是棘手的甚至是Intractable的几乎不能实现事情，所以在工程落地的时候会采用Sampling技术例如MCMC的Collapsed Gibbs Sampling、Metropolis Hastings、Rejection Sampling及Variational Inference的Mean Field及Stochastic等方法来降低训练和推理的成本。Transformer落地Bayesian思想的时候权衡多种因素而实现最大程度的近似估计Approximation，例如使用了计算上相对CNN、RNN等具有更高CPU和内存使用性价比的Multi-head self-attention机制来完成更多视角信息集成的表达，在Decoder端训练时候一般也会使用多维度的Prior信息完成更快的训练速度及更高质量的模型训练，在正常的工程落地中Transformer一般也会集成不同来源的Embeddings，例如星空智能对话机器人的Transformer实现中就把One-hot encoding、Word2vec、fastText、GRU、BERT等encoding集成来更多层级和更多视角的表达信息。

拥抱数据不确定性的Transformer基于Bayesian下共轭先验分布conjugate prior distribution等特性形成了能够整合各种Prior知识及多元化进行信息表达、及廉价训练和推理的理想架构。理论上讲Transformer能够更好的处理一切以 “set of units” 存在的数据，而计算机视觉、语音、自然语言处理等属于这种类型的数据，所以理论上讲Transformer会在接下来数十年对这些领域形成主导性的统治力。

本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。

课程特色：
101章围绕Transformer而诞生的NLP实用课程
5137个围绕Transformers的NLP细分知识点
大小近1200个代码案例落地所有课程内容
10000+行纯手工实现工业级智能业务对话机器人
在具体架构场景和项目案例中习得AI相关数学知识
以贝叶斯深度学习下Attention机制为基石架构整个课程
五大NLP大赛全生命周期讲解并包含比赛的完整代码实现\

课程第 16 章： Kaggle BERT 比赛 CommonLit Readability Prize 赛题解析、 Baseline 代码解析、及比赛常见问 题****

1，以问题为导向的Kaggle Data Competition分析

2，为何Kaggle上的NLP 80%以上都是文本分类比赛，并必须使用Neural Networks？

3，文本复杂度衡量不同类型实现技术分析

4，比赛的Training数据集分析：id、url_legal、license、excerpt、target、standard_error

5，比赛的评价指标分析

6，Readability：NLP Classification or Regression based on neural networks

7，Kaggle比赛通用步骤：Data - Cleaning - Store - GridSearch - Model - Prediction

8，比赛外部数据集分析

9，比赛使用的硬件条件分析

10，Training Set、Validation Set、Test Set

11，比赛的双层Pretraining技术解析

12，Pretraining的三大类型解析：ITPT、IDPT、CDPT

13，传统的Statistics Method建模 + 树模型

14，Statistical features构建源码分析

15，融合统计信息并使用Regression模型解析

16，使用RoBERTa模型解析

17，使用AutoModelForMaskedLM

18，TrainConfig解析

19，模型的Tokenizer解析

20，模型加载

21，对RoBERTa进行pretrain源码解析解决原声BERT和比赛数据领域Discrepancy的问题

22，Model weights保存时的json和bin解析

23，使用Kaggle Notebook加载第一次pretrain后的模型

24，验证集：K-Fold、Sampling等分析

25，Early stoping分析

26，把Examples转为Features

27，DatasetRetriever源码实现详解

28，Input IDs、Attention Mask、Token type IDs

28，CommonLitModel源码之regressor解析

30，CommonLitModel源码之Loss计算

31，CommonLitModel源码之train方法源码解析

32，finetuning中的AutoModel

33，fineturning完整源码解析

34，Local CV解析

35，RoBERTa Base + RoBERT Large结合

36，对不同子模型结果的处理

37，Classification实现解析

38，通过Kaggle Kernel对GPU的使用

39，Submission过程解析

40，为何比赛时不要私下共享数据？

41，kernel赛能够在本地进行训练和微调，然后在上传到Kaggle上吗？

42，如何在kaggle kernel加载外部模型？

43，RobertaModel提示not initialized的情况下该如何处理？

44，kernel无法提交应该如何处理？

45，提交后报错该如何处理？

46，CV和公开榜单应该更加注重哪一个？

47，使用BERT比赛的时候最重要的Hyper Parameter是什么？

48，如何选择GPU训练平台？

49，在Kaggle上运行Notebook的时候一直是等待状态该怎么处理？

50，在kernel中如何运行脚本文件？

51，如何解决BERT训练效果反复波动的情况？

52，为何看到的效果并不是最终的结果？

NLP培训课程第16章：Kaggle BERT比赛CommonLit Readability Prize赛题解析、Baseline代码解析、及比赛常见问题

更多课程可以关注星空智能对话机器人的Gavin的公开课