zyriix

待填坑 Q：为什么要召回？召回和排序的区别是什么？ A：以典型的内容推荐为例，在内容库中的内容通常是千万甚至亿级的。在这个量级上直接使用复杂的深度学习模型是几乎不可能的。所以，先使用一定的方法，从物料

首先来思考一下，一个简单的DNN中，梯度与哪些因素有关？ 先来一个简单的3层神经网络 第一层的输出为 $$ h_i = \sigma(u_i) = \sigma(\sum_{k=1}^{K}w_{ki

图神经网络最初的使用是在社交关系中，社交网络中，用户和用户间的关系包含大量的信息。但已有的两大领域的特征抽取工具（CNN、RNN）无法有效利用这种关系。由于用户间的关系天生就是一个图的特征，因此有人想

这个结构图已经很清晰的反应了网络结构和动机。 给用户推荐Item时，如果能够根据用户短期/长期浏览过的物品信息，就能更好地辅助模型做出判断。 本文的思想：将候选Item与用户的行为序列Item计算一个

背景：DCN为PointWise交叉，且论文中已经证明DCN本质是输入向量x0的标量乘，无法达到特征交叉的效果。 Q：如何利用vector进行特征交叉 A：延续FM的思想，可以为每个特征构建一个向量，

DeepFM与其他相关模型的差异 FNN 依赖预训练的FM层 PNN 把FM结果输出到DNN中，没有以Wide&Deep的方法合并起来 Wide&Deep没有用FM，手动设计特征，费时费力 DeepF

本文解读过程中会参杂自己的理解，按照以下格式进行撰写 罗列原文内容 按自己理解解析 希望自己可以思考感受论文中所蕴含的哲学思想，而不是仅仅拆解公式与模型结构。当然也不是所有论文都有哲学思想就是了😋 论

### Attention本质 Attention本质的工作是，计算两两向量的内积并softmax作为相似度（权重），并基于该相似度对向量进行重构（加权求和）。

在训练过程中，初始权重直接影响模型的输出，进一步影响损失及回传的梯度。因此，恰当的权重初始化是非常重要的。 常量初始化 权重全部初始化为0，梯度回传后全为0，多于一层的NN就无法学习。 梯度全部初始化