解析xDeepFM研究者的心路历程--纯个人理解

1,125 阅读1分钟

背景:DCN为PointWise交叉,且论文中已经证明DCN本质是输入向量x0的标量乘,无法达到特征交叉的效果。

Q:如何利用vector进行特征交叉

A:延续FM的思想,可以为每个特征构建一个向量,利用向量点乘表征。

Q:但向量点乘后就变成标量了,如何N阶特征交叉?

A: 点积可以被视为,1. HadaMard积 逐元素点积 2. sum。 在向量完成HadaMard积后,还是向量,那我们滞后sum操作,不就可以进行N阶特征交叉了?

Q:但还有个问题:假设有M个向量,先两两交叉,得到M(M-1)/2个向量。M(M-1)/2个向量再两两交叉,这个量级太大了。

A:那我们设K组权重,把这M(M-1)/2个向量加权求和为K组向量,不就可以完成任意阶特征交叉了?

Q:好主意,我们再把每一层的向量都sum后拼接起来,就得到1阶-H阶的所有交叉特征了!

来一个拙劣的手绘图解析CIN

image.png