机器学习相关

记录面试过程中遇到的各种机器学习相关知识点，比较分散，比较干。包括传统机器学习算法，深度学习算法等。

首先激活函数的作用是：对模型加入非线性因素，解决线性模型无法解决的问题。通过下图可以很清楚看到加入激活函数之后的变化： 下边对常用的激活函数做一个总结： Sigmoid 公式： $$ f(z) = \

关于Transformer相关的知识点： 1. 残差 2. Layer Normalization 3. 两种mask：padding mask和sequence mask 4.等

1. 隐马尔可夫模型定义 隐马尔可夫模型，根据字面意思。首先它一定存在马尔可夫链，即服从马尔可夫性质：无记忆性。也就是说，某一时刻的状态只受前一时刻影响，而与更早的状态无关。其次，“隐”的意义是，对某

用一句话解释最大似然估计：它是一种模型参数估计方法，就是利用已知的样本分布，反推最有可能（出现概率最大）导致这种样本分布的模型参数。如果这样说还觉得抽象，我再举个例子。你放假在家，你妈妈会随时观察你1

1. LSTM理论介绍 几个关键点： 每一层实际上只有一个LSTM cell在运行，不同时刻共享权重的。所谓时刻就是按照输入序列，每个时刻输入一个token的向量来运算。 定义网络与batch_siz

机器学习任务最重要的是高质量的数据，而“高质量”在现实生产中往往很难实现，数据中或多或少都会有噪音。那么，除了人工清理噪音，还有一种思路，是通过算法的层面来进行“带噪学习”。本文就介绍相关的算法。

排序学习是推荐、搜索、广告的核心方法，而LTR就是专门做排序任务的一个有监督的机器学习算法。所以，LTR仍然是传统的机器学习处理范式，构造特征，学习目标，训练模型，预测。LTR一般分为三种类型,