深度学习

传统梯度更新算法 批量梯度下降算法（BGD）在训练的时候选用所有的训练集进行计算；随机梯度下降算法（SGD）在训练的时候只选择一个数据进行训练；小批量梯度下降算法（MBGD）在训练的时候只选择小部分数

为什么需要位置编码？ CNN可以编码一定的绝对位置信息（很大程度上来自zero-padding），而RNN的序列依赖特性更是天生适合序列问题或者位置信息的建模。因此基本无须单独做位置编码。Attent

MSE损失函数 KL 散度 KL散度，有时候也叫KL距离，一般被用于计算两个分布之间的不同 交叉熵分类损失函数 本质上是一种对数似然函数，可用于二分类和多分类任务中 二分类问题 多分类问题 focal

Reinforcement Learning 基本概念 强化学习（Reinforcement Learning, RL）的核心概念可简单概括为：一个机器人（Agent）在看到了一些信息（Observa

概述 Levenshtein 距离，也称编辑距离，是一种字符串度量，用于衡量两个序列之间的差异。通俗地说，两个字符串之间的 Levenshtein 距离是将一个字符串更改为另一个字符串所需的最小单字符

概述 神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。线性模型的表达能力通常不够，激活函数可以引入非线性因素。加入非线性激活函数后，神经网络就有可能学习到平滑的曲线来分割平面，而不是用复

概述 在神经网络学习过程中，归一化的目的是为了使模型收敛，得到学习数据的特性。若在这个过程中，我们没有做归一化处理，那么每层网络输入数据分布在不断变化，很难去学习到特征，模型也就比较难收敛。 归一化的

什么是多任务学习(MTL)？ 多任务学习 给定 m 个学习任务，这 m 个任务或它们的一个子集彼此相关但不完全相同。通过使用所有 m 个任务中包含的知识，有助于改善特定模型的学习。 多任务学习的特点

对比学习 对比学习是一种基于对比思想的判别式表示学习方法，主要用来做无监督、自监督的表示学习，是一种利用无标签数据进行表示学习的思想。 对比学习采用的具体思想：将样例与与它语义相似的例子（正样例）和与