构建直觉

刚开始看，写一点个人理解 能指：个人理解一切语言碎片 所指：原本所指向之物（本体） 大他者，语言/能指的集合，意义库 I，想象界，图像化的所指的呈现方式 I(A)，ego idea，理想的自我，他人眼

回归和分类问题服从什么分布？ 正态分布 交叉熵是什么情况下log的特殊情况？ 讲一下隐马尔可夫模型1

内联函数 C++ 内联函数是通常与类一起使用。如果一个函数是内联的，那么在编译时，编译器会把该函数的代码副本放置在每个调用该函数的地方。 对内联函数进行任何修改，都需要重新编译函数的所有客户端，因为编

通常会设置一定的Checkpoint 如果在checkpoint后，validate loss不再下降，而是稳定上升，同时train loss依然保持下降，基本就可以理解为过拟合了

premise 前提 fallacy 谬误 parabox 悖论 vagueness 模糊/含糊不清 谬误： 无论前提是否正确，前提无法支持结论 谬误的例子： 前提：收入5000以下的男性贡献了最多的

装饰器用法、原理 参考：https://segmentfault.com/a/1190000019506549 核心思想：万物都是对象，函数也是个对象，所以可以把函数作为输入 装饰器本质是语法糖 将

如何冻结参数 参考链接：https://blog.csdn.net/weixin_42990464/article/details/115265755 方法一： requires_grad = Fal

MMoE - Multi-gate Mixer-of-Experts - 多门控专家网络 聊到MMoE就要说到他的起源MoE MoE核心出发点 当前工业场景中，模型体量大，数据量大，每一个样本都要经过

ESMM - Entire Space Multitask Model - 全域多任务模型 核心出发点 训练和预测的GAP 训练使用的是点击数据，包含转化作为正样本，未转化作为负样本 预测用的是所有曝

为什么人要看视频？ 因为无聊，所以想要获得愉悦。 使用A的愉悦-使用A的成本 > 做其他事的愉悦-做其他事的成本 人就会倾向于使用A 显然，看视频的成本非常低，手机普及率63.4%，无限流量普及的现在

待填坑 Q：为什么要召回？召回和排序的区别是什么？ A：以典型的内容推荐为例，在内容库中的内容通常是千万甚至亿级的。在这个量级上直接使用复杂的深度学习模型是几乎不可能的。所以，先使用一定的方法，从物料

首先来思考一下，一个简单的DNN中，梯度与哪些因素有关？ 先来一个简单的3层神经网络 第一层的输出为 $$ h_i = \sigma(u_i) = \sigma(\sum_{k=1}^{K}w_{ki

图神经网络最初的使用是在社交关系中，社交网络中，用户和用户间的关系包含大量的信息。但已有的两大领域的特征抽取工具（CNN、RNN）无法有效利用这种关系。由于用户间的关系天生就是一个图的特征，因此有人想

这个结构图已经很清晰的反应了网络结构和动机。 给用户推荐Item时，如果能够根据用户短期/长期浏览过的物品信息，就能更好地辅助模型做出判断。 本文的思想：将候选Item与用户的行为序列Item计算一个

背景：DCN为PointWise交叉，且论文中已经证明DCN本质是输入向量x0的标量乘，无法达到特征交叉的效果。 Q：如何利用vector进行特征交叉 A：延续FM的思想，可以为每个特征构建一个向量，

DeepFM与其他相关模型的差异 FNN 依赖预训练的FM层 PNN 把FM结果输出到DNN中，没有以Wide&Deep的方法合并起来 Wide&Deep没有用FM，手动设计特征，费时费力 DeepF

本文解读过程中会参杂自己的理解，按照以下格式进行撰写 罗列原文内容 按自己理解解析 希望自己可以思考感受论文中所蕴含的哲学思想，而不是仅仅拆解公式与模型结构。当然也不是所有论文都有哲学思想就是了😋 论

### Attention本质 Attention本质的工作是，计算两两向量的内积并softmax作为相似度（权重），并基于该相似度对向量进行重构（加权求和）。

在训练过程中，初始权重直接影响模型的输出，进一步影响损失及回传的梯度。因此，恰当的权重初始化是非常重要的。 常量初始化 权重全部初始化为0，梯度回传后全为0，多于一层的NN就无法学习。 梯度全部初始化

本质与目的：正则化的本质，就是通过抑制权重的大小，让尽可能少的输入值产生作用，达到不过度依赖某一部分特征的效果。（这与我们常说的控制过拟合是否有区别？待填坑） 常用方法：L1-正则，L2-正则 L1-