(基于Transformer的NLP智能对话机器人实战课程)

One Architecture， One Course，One Universe

星空智能对话机器人的Gavin认为Transformer是拥抱数据不确定性的艺术。

Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现；基于Transformer各种模型变种及实践也都是基于Bayesian思想指导下来应对数据的不确定性；混合使用各种类型的Embeddings来提供更好Prior信息其实是应用Bayesian思想来集成处理信息表达的不确定性、各种现代NLP比赛中高分的作品也大多是通过集成RoBERTa、GPT、ELECTRA、XLNET等Transformer模型等来尽力从最大程度来对抗模型信息表示和推理的不确定性。

从数学原理的角度来说，传统Machine Learning及Deep learning算法训练的目标函数一般是基于Naive Bayes数学原理下的最大似然估计MLE和最大后验概率MAP来实现，其核心是寻找出最佳的模型参数；而Bayesian的核心是通过计算后验概率Posterior的predictive distribution，其通过提供模型的不确定来更好的表达信息及应对不确定性。对于Bayesian架构而言，多视角的先验概率Prior知识是基础，在只有小数据甚至没有数据的时候是主要依赖模型Prior概率分布(例如经典的高斯分布)来进行模型推理，随着数据的增加，多个模型会不断更新每个模型的参数来更加趋近真实数据的模型概率分布；与此同时，由于（理论上）集成所有的模型参数来进行Inference，所以Bayesian神经网络能够基于概率对结果的提供基于置信度Confidence的分布区间，从而在各种推理任务中更好的掌握数据的不确定性。

当然，由于Bayesian模型因为昂贵的CPU、Memory及Network的使用，在实际工程实践中计算Bayesian神经网络中所有概率模型分布P(B)是棘手的甚至是Intractable的几乎不能实现事情，所以在工程落地的时候会采用Sampling技术例如MCMC的Collapsed Gibbs Sampling、Metropolis Hastings、Rejection Sampling及Variational Inference的Mean Field及Stochastic等方法来降低训练和推理的成本。Transformer落地Bayesian思想的时候权衡多种因素而实现最大程度的近似估计Approximation，例如使用了计算上相对CNN、RNN等具有更高CPU和内存使用性价比的Multi-head self-attention机制来完成更多视角信息集成的表达，在Decoder端训练时候一般也会使用多维度的Prior信息完成更快的训练速度及更高质量的模型训练，在正常的工程落地中Transformer一般也会集成不同来源的Embeddings，例如星空智能对话机器人的Transformer实现中就把One-hot encoding、Word2vec、fastText、GRU、BERT等encoding集成来更多层级和更多视角的表达信息。

拥抱数据不确定性的Transformer基于Bayesian下共轭先验分布conjugate prior distribution等特性形成了能够整合各种Prior知识及多元化进行信息表达、及廉价训练和推理的理想架构。理论上讲Transformer能够更好的处理一切以 “set of units” 存在的数据，而计算机视觉、语音、自然语言处理等属于这种类型的数据，所以理论上讲Transformer会在接下来数十年对这些领域形成主导性的统治力。

本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。

以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。
 
课程特色：
101章围绕Transformer而诞生的NLP实用课程
 5137个围绕Transformers的NLP细分知识点
 大小近1200个代码案例落地所有课程内容
10000+行纯手工实现工业级智能业务对话机器人
 在具体架构场景和项目案例中习得AI相关数学知识
 以贝叶斯深度学习下Attention机制为基石架构整个课程
 五大NLP大赛全生命周期讲解并包含比赛的完整代码实现
 
 
 
北京时间每天晚21点，NLP逐行解密：算法、数学、源码。
 
知乎-B站搜索StarSpaceNlp加入直播。
 
YouTube搜索 StarSpace NLP加入直播。
 
所有直播永久免费！
 
以往直播课程回放地址：https://search.bilibili.com/all?keyword=%E6%AE%B5%E6%99%BA%E5%8D%8E&from_source=webtop_search&spm_id_from=333.851

课程第 18 章： BERT CommonLit Readability Prize 比赛中的高分思路及源码解 析****

1，Ensemble methods解析

2，ML中的机器学习：Bagging、Boosting、GBDT等

3，Kaggle比赛中的Ensemble methods：Vote、Blend、Stacking等

4，为何Kaggle竞赛中的Ensemble methods会获得更好的精度？

5，Bagging ensemble method：row-based sampling、column-based sampling等

6，Bagging ensemble method中的并行训练及预测

7，Boosting串行训练多个模型：多错误样本权重调整、拟合误差

8，Blend和Average：对结果基于精度进行加权求和

9，Stacking：out of fold及交叉验证

10，模型和特征多样性

11，比赛对Bagging的使用

12，比赛对Boosting的使用

13，深度学习中的模型集成方法：Dropout

14，训练阶段调整句子顺序Flipping操作

15，对Ensemble进行Snapshot

16，Stochstic Weight Averaging操作

17，Pseudo Label解析：基于方差的标签构建

18，Kernel赛Pseudo Label和非Kernel赛的Pseudo Lable

19，Pseudo Lable实现四步骤详解

20，Knowlede distillation soft label

21，用于分类的network distillation：embedding layer、transformer layer、prediction layer

22，public LB及private LB

23，借助Roberta-large+和训练集相同books的外部数据集

24，使用Pooling解析及代码实现解析

25，混合使用不同来源的特征工程结果进行集成

26，高分作品1完整源码剖析

27，高分作品2完整源码剖析

28，高分作品3完整源码剖析

29，高分作品4完整源码剖析

30，高分作品5完整源码剖析

NLP自然语言培训课程第18章：BERT CommonLit Readability Prize比赛中的高分思路及源码解析

更多课程可以关注星空智能对话机器人的Gavin的公开课