背景

广告主一般会在多个渠道（媒体或广告平台）分配预算，进行多渠道的广告投放，比如某个游戏行业广告主为推广新游戏，可能会在搜索、信息流、开屏、直播等多种形式的渠道流量上投放游戏广告，吸引用户下载、安装、激活并付费，而用户可能会在上述渠道流量上先后浏览到该游戏广告，直至最后发生转化行为。广告对用户的曝光被称为触点，某个广告对某个用户在多个渠道流量的多次曝光构成触点序列，被称为转化路径。广告主一般会收集其在多个渠道上投放广告的曝光、点击和转化明细数据，从而从全局角度构建全渠道下的转化路径集合，并借助算法分析转化路径各个触点对最终转化的归因权重，这种分析被称为多触点归因（Multi Touch Attribution，MTA），通过这种分析，广告主可以量化评估各个渠道对转化的重要性，从而调整在各个渠道上的预算分配，实现全局角度的投放策略优化。
在上一篇《基于深度学习的多触点归因论文阅读笔记》中，笔者简要介绍了多触点归因算法的分类，包括基于规则的算法和基于数据的算法两大类。
基于规则的算法包括末次触点归因、首次触点归因等，其算法规则较简单，技术上易于实现，但无法充分使用转化路径中的用户、广告和触点序列信息，而同一个渠道在不同用户偏好、不同转化路径下对最终转化的归因权重应该是不同的，因此，基于规则的算法难以精细化地计算各渠道的归因权重，实现个性化的归因。
基于数据的算法最早于2011年在论文《Data-driven Multi-touch Attribution Models》中被提出，其使用Logistic回归模型进行各触点归因权重分析。而随着深度学习的发展，近几年来不少论文探索基于深度学习的多触点归因算法。
基于深度学习的算法一般先将多触点归因问题变换为转化率预估问题，并基于触点序列的数据特点，采用循环神经网络对其进行序列建模，通过模型预估转化率，在得到转化率预估模型的基础上，再进一步进行归因权重的计算。而归因权重的计算一般有两种方式：一种方式是使用转化率预估模型的中间参数作为各触点的归因权重，例如上一篇阅读笔记中介绍的DNAMTA和DARNN，其使用各触点隐状态通过注意力机制输出的注意力得分作为归因权重；另一种方式是将深度学习和因果推断相结合，采用反事实分析计算各渠道的夏普利值作为归因权重，例如上一篇阅读笔记中介绍的JDMTA，其对各渠道，使用转化率预估模型分别预估有无该渠道时的转化率，因引入该渠道带来的转化率提升即该渠道对转化的边际期望增益（Marginal Expected Incremental Benefit），也就是该渠道的夏普利值（Shapley Value），被作为该渠道的归因权重。
虽然上一篇阅读笔记中介绍的多个基于深度学习的算法较充分地挖掘了转化路径中的各类信息，但并没有解决混杂偏差（Confounding Bias）。而在多触点归因问题中，用户的静态特征和历史行为作为混杂因子（Coufounder），同时影响后续触点的渠道选择以及最终转化的是否发生，从而引入混杂偏差。
本篇阅读笔记主要介绍基于深度学习的多触点归因算法中解决混杂问题、进一步提升归因权重准确性的两篇论文，如有不足之处，请指正。

什么是混杂

这里以因果推断中一个经典的例子介绍一下什么是混杂（Confounding）和混杂因子（Confounder）。通过统计发现，吃巧克力多的国家，也是获诺贝尔奖多的国家，是否可以因此得出因为吃巧克力多、所以获诺贝尔奖多的因果结论，显然这个结论是不符合常识、是错误的。而上述两个现象存在关联，可能是由于某个共同的原因，比如经济较发达，导致某个国家吃巧克力多，获诺贝尔奖也多，但是不能得出吃巧克力多和获诺贝尔奖多是因果关系。以上这种因为某种原因同时影响两个结果、并进而错误推断两个结果存在因果关系的问题被称为Confounding（混杂），而上例中的“经济发达”即混杂因子（Confounder）。

而广告场景下的多触点归因也存在混杂问题。用户的静态特征和历史行为都会影响广告渠道和最终转化，例如某男性数码爱好者搜索某款手机、点击搜索结果中该款手机的广告并最终下单购买，并不能得出因为该款手机在搜索渠道向用户展示广告、所以用户下单购买的因果结论。真实情况是搜索渠道的广告曝光和用户下单购买都是因为用户对该款手机感兴趣，即使没有广告曝光，用户仍会购买该款手机。

引入域对抗训练解决医疗诊断的混杂问题-CRN

2020年的论文《Estimating Counterfactual Treatment Outcomes over Time Through Adversarially Balanced Representations》提出了CRN（Counterfactual Recurrent Network），用于解决医疗诊断序列建模中的混杂问题。在临床医疗领域，医生对病人按时间分阶段实施治疗方案，在某个阶段，医生根据病人历史给出适当的治疗方案，并在下阶段观察治疗结果。论文希望基于大量的临床医疗数据（例如电子病历数据）进行模型训练，能够在某个阶段根据病人历史和治疗方案由模型预测治疗结果以决策最佳方案。病人历史、治疗方案和治疗结果按时间分多个阶段，这也是一个典型的序列建模问题。论文在CRN中基于表征学习思想，设计了序列到序列的架构，在编码器部分，通过RNN对过去的病人历史、治疗方案和治疗结果进行序列建模，并引入域对抗训练，最终输出病人历史的无偏表征，消除Confounder问题带来的偏差，在解码器部分，将编码器输出的病人历史无偏表征作为初始状态输入，通过RNN对未来某治疗方案序列下的治疗结果进行预测，并更新病人历史无偏表征。

问题建模

令数据集$\mathcal{D}=\left\{\{\text{x}_t^{(i)},\text{a}_t^{(i)},\text{y}_{t+1}^{(i)}\}_{t=1}^{T^{(i)}}\cup\{\text{v}^{(i)}\}\right\}_{i=1}^N$，其中包含$N$个病人的数据，对于病人$i$，其数据包含两部分，一部分是病人静态特征$\text{V}^{(i)}\in\mathcal{V}$，例如性别，另一部分是随时间变化的序列数据，分为$T^{(i)}$步，对于第$t$步，其数据又分为病人随时间变化的特征$\text{X}_t^{(i)}\in\mathcal{X}_t$，治疗方案$\text{A}_t^{(i)}\in\{A_1,\dots,A_K\}=\mathcal{A}$，以及在下一步产出的治疗结果$\text{Y}_{t+1}^{(i)}\in\mathcal{Y}_{t+1}$。论文指出后面的分析会省略变量中的病人序号$i$。
令$\bar{\text{H}}_t=(\bar{\text{X}}_t,\bar{\text{A}}_{t-1},\text{V})$表示病人在第$t$步的历史，其中$\bar{\text{X}}_t=(\text{X}_1,\dots,\text{X}_t)$表示截至第$t$步病人随时间变化的特征序列，$\text{V}$表示病人静态特征，$\text{Y}[\bar{\text{a}}]$表示未来采用治疗方案序列$\bar{\text{a}}$后可能的治疗结果。论文的目标是基于第$t$步的病人历史，预测第$t$步之后（包含第$t$步）采用治疗方案序列$\bar{\text{a}}$后的治疗结果，可表示为：

其中$\={\text{a}}(t,t+\tau-1)=[\text{a}_t,\dots,\text{a}_{t+\tau-1}]$表示第$t$步到第$t+\tau-1$步的治疗方案序列，$\text{Y}_{t+\tau}[\={\text{a}}(t,t+\tau-1)]$表示采用治疗方案序列$\bar{\text{a}}$后在第$t+\tau$步产出的治疗结果。

网络结构

CRN网络结构如图4所示，采用序列到序列的架构，分为编码器和解码器两部分，两者结构类似，但作用不同，并分别训练，在编码器部分，通过RNN对过去的病人历史、治疗方案和治疗结果进行序列建模，并引入域对抗训练，最终输出病人历史的无偏表征，消除Confounder问题带来的偏差，在解码器部分，将编码器输出的病人历史无偏表征作为初始状态输入，通过RNN对未来某治疗方案序列下的治疗结果进行预测，并更新病人历史无偏表征。
编码器层是一个典型的RNN/LSTM网络结构，第$t$步的输入包含上一步的隐状态$h_{t-1}$、上一步的治疗方案$\text{A}_{t-1}$、病人的静态特征$\text{V}$和随时间变化的特征$\text{X}_t$，第$t$步的输出为当前步的隐状态$h_t$，第$t$步的输出再输入到一个全连接网络（激活函数采用ELU函数）中，由全连接网络输出第$t$步病人历史的无偏表征$\Phi(\bar{\text{H}}_t)$。$\Phi(\bar{\text{H}}_t)$将病人历史$\bar{\text{H}}_t$映射至表征空间$\mathcal{R}$，映射后的表征需要满足以下要求：

也就是说，不管采用哪种治疗方案，其病人历史表征的概率分布是相同的，消除了病人历史和当前治疗方案的关联，从而也就消除了Confounder问题带来的偏差。
具体如何实现上述要求，论文将不同治疗方案看做迁移学习的不同域，使用域适应（Domain Adaption）中的域对抗训练（Domain Adversarial Training）方法。CRN分别设计了治疗方案预测网络$G_a(\Phi(\bar{\text{H}}_t);\theta_a)$（$\theta_a$表示网络参数）和治疗结果预测网络$G_y(\Phi(\bar{\text{H}}_t);\theta_y)$（$\theta_y$表示网络参数）。将$G_a$作为域对抗训练中的域分类器，将$G_y$作为域对抗训练中的结果预测器。$G_a$的输入是病人历史表征，通过Softmax函数输出各种治疗方案的概率。$G_y$的输入是病人历史表征和当前治疗方案，通过线性函数输出在下一步产出的治疗结果。$G_a$是一个分类问题，损失函数采用交叉熵损失函数，公式如下所示：

模型训练时，并不是希望治疗方案预测的损失函数越小越好，而是越大越好，即病人历史表征无法预测治疗方案，这样能够消除病人历史和当前治疗方案的关联，从而也就消除了Confounder问题带来的偏差。
$G_y$是一个回归问题，损失函数采用MSE，公式如下所示：

模型训练时，希望治疗结果预测的损失函数越小。将$G_a$和$G_y$的损失函数整合后的公式如下所示：

最小化上述损失函数，即最小化治疗结果预测的损失函数，最大化治疗方案预测的损失函数，其中$\lambda$作为超参，用于权衡病人历史表征的无偏性和治疗结果预测的准确性。
训练时的前向、反向传播如图5所示。前向传播分别计算治疗方案预测和治疗结果预测的损失函数$\mathcal{L}_a$和$\mathcal{L}_y$，根据$\mathcal{L}_y$反向传播更新模型参数时，分别计算$G_y$和病人历史表征（RNN+全连接神经网络）的梯度$\frac{\partial\mathcal{L}_y}{\partial\theta_y}$、$\frac{\partial\mathcal{L}_y}{\partial\theta_r}$，并按梯度更新参数，根据$\mathcal{L}_a$反向传播更新模型参数时，分别计算$G_a$和病人历史表征（RNN+全连接神经网络）的梯度$\frac{\partial\mathcal{L}_a}{\partial\theta_a}$、$\frac{\partial\mathcal{L}_a}{\partial\theta_r}$，对于$G_a$，按照$\lambda\frac{\partial\mathcal{L}_a}{\partial\theta_a}$更新参数，即令其自身预测治疗方案尽量准确，但对于病人历史表征（RNN+全连接神经网络），采用梯度反转层（Gradient Reversal Layer，GRL），按照$-\lambda\frac{\partial\mathcal{L}_a}{\partial\theta_r}$更新参数，即令病人历史表征预测治疗方案尽量错误。

CRN的解码器结构与编码器基本类似，不同之处有：

• 编码器输出的病人历史无偏表征作为解码器的初始状态输入；
• 解码器推理时，可设计多种可能的治疗方案序列$\={\text{a}}(t,t+\tau-1)$作为输入，由解码器预测每一步的治疗结果，并且每一步的治疗结果以自回归的方式用作下一步的输入，最后根据治疗结果决策最佳治疗方案。

模型训练

CRN模型训练伪代码如图6所示。

模型训练可粗略分为4步：

• 分批次（每批包含多个病人的数据）对编码器进行训练，前向、反向传播细节已在网络结构中介绍；
• 对于每个病人、每步使用编码器计算相应的病人历史无偏表征；
• 将每个病人的历史按最长步长$\tau_{\text{max}}$拆分多个子序列；
• 分批次（每批包含多个病人的多个历史子序列）对解码器进行训练，训练细节和编码器类似，不同之处只是对于子序列的第一个节点，将其相应前一个节点的病人历史无偏表征作为隐状态的初始值。

借鉴CRN解决MTA中用户历史的混杂问题-CAMTA

2020年的论文《CAMTA: Causal Attention Model for Multi-touch Attribution》提出了CAMTA，其基本思路仍是将多触点归因问题变换为转化率预估问题，采用循环神经网络对触点序列进行序列建模，通过模型预估转化率，在得到转化率预估模型的基础上，再进一步进行归因权重的计算，从而实现用户个性化的多触点归因，其创新之处是借鉴了CRN的思想，将常规循环神经网络升级为因果循环神经网络（Causal Recurrent Network），解决广告场景中多触点归因的混杂问题。
论文使用图7说明广告场景中多触点归因的混杂问题，$\mathbf{T}_1$和$\mathbf{T}_2$时刻用户的上下文$\mathbf{x}_1$、$\mathbf{x}_2$作为混杂因子，既影响这两个时刻用户是否发生转化，也影响这两个时刻的渠道选择，从而导致渠道选择并不是随机的，即选择偏差（Selection Bias）问题。而理想的无偏情况下，每个触点、每个渠道的用户分布应该是随机。

问题建模

令数据集$\mathcal{D}=\{u^n,\{\mathbf{x}_t^n,\mathbf{c}_t,z_{t+1}^n\}_{t=1}^{T^n},y^n\}_{n=1}^N$，其中包含$N$个用户的转化路径数据。对于用户$u^n$的转化路径数据，其有$T^n$个触点。对于第$t$个触点，其包含当时的渠道$\mathbf{c}_t$、上下文特征向量$\mathbf{x}_t^n$（特征向量包含用户信息、广告信息、上下文信息等），以及用户最终是否点击的二值结果$z_{t+1}^n$（0表示未点击，1表示点击）。$\mathbf{c}_t$是渠道的独热编码，即$\mathbf{c}_t=[c_t(1),\dots,c_t(k),\dots,c_t(K)]$，其中，若第$t$个触点在渠道$k$，则$c_t(k)=1$，其他位为0。用户$u^n$的转化路径数据还包括最终是否发生转化的二值结果$y^n$（0表示未发生转化，1表示发生转化）。

网络结构

CAMTA的整体网络结构如图8所示。

因果循环网络

CRN通过引入域对抗训练，输出病人历史的无偏表征，消除Confounder问题带来的偏差。CAMTA借鉴CRN，也通过引入域对抗训练，输出用户历史的无偏表征。
CAMTA首先通过循环神经网络对用户历史的触点序列进行建模，挖掘用户历史的隐状态表征，该表征计算函数可由下式表示：

其中，$\mathbf{s}_t^n\in\mathbb{R}^L$，表示第$t$个触点时的用户历史隐状态表征，它由用户截至第$t$个触点（包含第$t$个触点）的用户信息序列$[\mathbf{x}_1^n,\dots,\mathbf{x}_{t-1}^n,\mathbf{x}_t^n]$、截至第$t$个触点（不包含第$t$个触点）的触点渠道序列$[\mathbf{c}_1,\dots,\mathbf{c}_{t-1}]$、截至第$t$个触点（不包含第$t$个触点）的是否点击广告的二值结果序列$[z_2^n,\dots,z_{t-1}^n,z_t^n]$，通过函数$f_{t,s}$计算所得。
$\mathbf{s}_t^n$作为用户的重要特征，被用于第$t$个触点时的广告投放决策，进而影响第$t$个触点的渠道$\mathbf{c}_t$的选择，导致选择偏差问题。因此，论文在$\mathbf{s}_t^n$的基础上，进一步学习用户历史隐状态的无偏表征$\mathbf{r}_t^n\in\mathbb{R}^M$。具体实现是借鉴CRN，通过一个线性映射矩阵$\Phi_t$，将$\mathbf{s}_t^n$转化为$\mathbf{r}_t^n$，如下式所示：

然后将$\mathbf{r}_t^n$作为两个分类器的输入进行域对抗训练。下一节将介绍其中的细节。

最小最大损失

域对抗训练的细节与CRN基本一致。论文引入两个分类器分别基于第$t$个触点时的用户历史无偏表征$\mathbf{r}_t^n$对第$t$个触点时的渠道选择和用户点击进行预估。渠道预估的分类器$\mathcal{C}_{t,c}$为两层MLP结构，最后一层的输出为$K$维向量，该向量再经过Softmax函数得到各渠道概率的预估值。点击预估的分类器$\mathcal{C}_{t,z}$也为两层MLP结构，最后一层的输出为1维标量，该标量再经过Sigmoid函数得到点击概率的预估值，即$\hat{z}_{t+1}^n$。
因为需要学习用户历史无偏表征$\mathbf{r}_t^n$，所以渠道预估分类器$\mathcal{C}_{t,c}$在给定$\mathbf{r}_t^n$时对各个渠道概率的预估值应该是等值的，进而需要最大化该分类器的损失函数$\mathcal{L}_{t,c}$：

同时，还需要用户历史无偏表征$\mathbf{r}_t^n$能够准确预估广告是否被点击，因此，需要最小化点击预估分类器的损失函数$\mathcal{L}_{t,z}$：

其中，$\hat{z}_t^n=\mathcal{C}_{t,z}([\mathbf{r}_t,\mathbf{c}_t])$。综上，需要最小化以下损失函数：

其中，$\lambda$是超参，$\Phi=[\Phi_1,\dots,\Phi_{T^n}]$，即通过域对抗训练，得到每个触点的线性映射矩阵，将每个触点的用户历史隐状态表征转化为相应的无偏表征。

注意力机制

通过域对抗训练，一方面获取用户历史的无偏表征，解决选择偏差问题，另一方面也通过引入各触点点击预估作为最终转化预估的辅助任务，缓解转化数据稀疏的问题。
论文在域对抗训练的基础上，进一步通过注意力机制计算每个触点对最终转化的归因权重。第$t$个触点时的预估点击率$\hat{z}_{t+1}^n$，经过一层MLP，得到该触点点击的隐状态表征$\mathbf{v}_t^n$，如下式所示：

再计算$\mathbf{v}_t^n$和上下文向量$\mathbf{u}$的点积，并通过Softmax函数对点积进行归一化，作为归因权重，如下式所示：

其中，上下文向量$\mathbf{u}$作为触点归因权重的领域知识，可以作为模型参数进行学习。

转化率预估

对各触点点击的隐状态表征$\mathbf{v}_t^n$基于归因权重进行加权求和，得到用户历史的隐状态表征$\mathbf{h}^n$，如下式所示：

再将$\mathbf{h}^n$通过一层MLP和Sigmoid函数得到最终的转化率预估值， 如下式所示：

转化率预估的损失函数采用交叉熵损坏函数，如下所示：

上述公式中的$\mathbf{W}_y,\mathbf{b}_y,\mathbf{W}_v,\mathbf{b}_v,\Phi,\mathbf{u}$均是可训练的参数。

整体结构

综上，CAMTA的整体网络结构如图8所示，其包含三部分。
第一部分是因果循环神经网络，由粉色虚线标出，其使用循环神经网络对用户历史的触点序列进行建模，得到每个触点的隐状态表征$\mathbf{s}_t^n$，进而通过域对抗训练，得到每个触点的无偏隐状态表征$\mathbf{r}_t^n$，最后再基于每个触点的无偏隐状态表征通过点击预估分类器预估每个触点的点击率。
第二部分是注意力机制，由蓝色虚线标出，其基于每个触点的预估点击率学习每个触点的点击隐状态表征$\mathbf{v}_t^n$，再计算$\mathbf{v}_t^n$和一个可训练的上下文向量$\mathbf{u}$的点积，并通过Softmax函数对点积进行归一化，作为各触点的归因权重。
第三部分是转化率预估，由灰色虚线标出，其对各触点的点击隐状态表征基于归因权重进行加权求和，得到用户历史的隐状态表征$\mathbf{h}^n$，最后再通过一层MLP和Sigmoid函数得到最终的转化率预估值。
整个网络的损失函数即加和域对抗训练中的最小最大损失函数和最后转化率预估的交叉熵损失函数，如下式所示：

实验分析

数据集

论文使用了由Criteo提供的并在多触点归因领域被广泛使用的数据集——Criteo Attribution Modeling for Bidding Dataset。Criteo是全球最大的个性化重定向广告服务商，目前已覆盖桌面端和移动端，提供广告定制及重定向投放，其提供的数据集包含1600万次广告曝光（触点），涉及675个广告计划，每个广告曝光记录均包含用户和转化的唯一标识，每个用户可能发生一次或多次转化。论文首先对上述数据集进行处理，从675个广告计划中随机选择10个计划作为广告渠道进行分析，并筛选属于这10个计划的广告曝光，按用户维度划分为多个转化路径，每个转化路径的触点不超过20个，且最终最多发生一次转化。数据集处理前后的的统计信息如图9所示，数据集处理后共包含4.4万个用户的4.6万个转化路径、8.2万个触点，其中最终发生转化的转化路径共2500余个，发生点击的触点共2.7万个。处理后的数据集按6:2:2的比例被划分为训练集、验证集和测试集。

评估指标

评估指标包含两类。第一类指标用于评估转化率和点击率预估结果是否准确，分别是转化率预估的损失函数：

点击率预估的损失函数：

以及转化率预估的AUC值。
第二类指标用于评估归因权重结果是否准确，论文采用DARNN中的评估算法，使用以下公式计算各渠道的ROI：

其中，分子上，$a_t^n(k)$表示用户$n$的转化路径在第$t$个触点、渠道$k$上的归因权重，基于该归因权重，将转化带来的收入的一部分分配给该渠道，并进而求和所有转化分配给该渠道的收入作为该渠道的总收入；分母上，$\text{cost}_t^n$表示用户$n$的转化路径在第$t$个触点、渠道$k$上的广告费用，求和后得到该渠道的总费用。
将各个渠道的ROI作为其权重，从总预算中分配该渠道的预算：

ROI越高的渠道，预算越多。然后，按时间序回放转化路径历史数据。初始化转化路径黑名单为空。回放历史数据时，若当前触点所对应的转化路径不在黑名单中，则判断触点所对应的渠道是否超预算（渠道预算余额是否足够支付当前触点广告费用），若超出预算，则将该转化路径加入黑名单，若未超出预算，则按广告费用扣减渠道预算，并累加广告投放总费用和转化总数（当前触点发生转化才累加转化总数）。回放完成后，根据广告投放总费用和转化总数以及进一步计算的CPA和CVR衡量归因权重结果是否准确。

基线模型

论文共引入了5种模型作为基线模型，除了基础的逻辑回归模型外，还包括在上篇论文阅读笔记中介绍的DNAMTA和DARNN。

结果分析

各模型转化率预估损失、点击率预估损失以及AUC值如图10所示。从中可以看出，CAMTA的损失值最小，且AUC值最高，效果最好。而“CAMTA（$\lambda=0$）”通过设置$\lambda=0$，不引入域对抗训练、不消除因混杂因子导致的选择偏差，其效果稍弱于CAMTA，这也说明了CAMTA通过因果循环神经网络在对用户历史进行序列建模时引入域对抗训练、消除选择偏差、获取无偏表征的重要性。另外，效果靠前的DARNN、CAMTA均同时对转化和点击进行预估，而其他基线模型仅将点击作为模型输入，这也说明了对点击进行预估能够缓解转化数据稀疏的问题，提升预估效果。

而归因权重的评估，论文对原预算按1、0.8、0.6、0.2的比例得到新预算，对这四种预算，按“评估指标”中的算法进行历史数据回放，最终的实验结果如图11所示。从中可以看出，CAMTA在大部分情况下，CPA（每次转化成本）最低，CVR（转化率）最高，转化数最多。

解决MTA中多类别混杂因子导致的混杂问题-CausalMTA

2021年的论文《CausalMTA: Eliminating the User Confounding Bias for Causal Multi-touch Attribution》提出了CausalMTA，其和CAMTA相比，将用户偏好这一混杂因子，进一步区分为不变的静态属性和变化的动态特征，对于静态属性，其使用变分循环自编码器作为渠道序列生成模型获取其无偏分布，然后基于无偏分布和逆概率加权方法对每个转化路径重加权，从而消除静态属性引起的选择偏差，而对于动态特征，其和CAMTA类似，也是借鉴CRN，通过循环神经网络和域对抗训练，生成用户历史的无偏表征，从而消除动态特征引起的选择偏差，得到无偏的转化率预估模型。最后，基于转化率预估模型，采用反事实分析计算各渠道的夏普利值作为归因权重，即对各渠道，使用转化率预估模型分别预估有无该渠道时的转化率，因引入该渠道带来的转化率提升即该渠道对转化的边际期望增益，也就是该渠道的夏普利值，被作为该渠道的归因权重。
用户偏好中的静态属性和动态特征如图12所示，静态属性包括用户年龄、性别、职业等不随触点序列变化的属性，动态特征即用户已浏览广告构成的触点序列。

问题建模

令$\mathcal{D}$表示广告触点数据集，其包含$U$个用户的$N$个转化路径。每个转化路径可由三元组$(\mathbf{u}^i,\mathbf{J}^i,y^i)$表示，其中，$\mathbf{u}^i$表示用户静态属性，$\mathbf{J}^i$表示触点序列，$y^i$表示最终是否发生转化的二值标识（0为未发生转化，1为发生转化）。每个触点序列包含多个触点，即$\{\mathbf{p}_t^i\}_{t=1}^{T^i}$，其中，每个触点进一步由两部分组成，即$\mathbf{p}_t^i=(\mathbf{c}_t^i,\mathbf{f}_t^i)$，其中，$\mathbf{c}_t^i$表示渠道，共有$K$个渠道，即$\mathbf{c}_t^i\in\{\mathbf{c}_1,\dots,\mathbf{c}_k,\dots,\mathbf{c}_K\}$，$\mathbf{f}_t^i$表示用户动态特征（即当前触点前用户已浏览的广告）。多触点归因的目标即对于转化路径进行建模，计算每个渠道的归因权重。

解决方案

CausalMTA整体解决方案模型如图13所，其包含三部分。第一部为转化路径重加权（Journey Reweighting），其对于静态属性，使用变分循环自编码器作为渠道序列生成模型获取其无偏分布，然后基于无偏分布和逆概率加权方法对每个转化路径重加权，从而消除静态属性引起的选择偏差。第二部分为因果转化率预估（Causal Conversion Prediction），其对于动态特征，借鉴CRN，通过循环神经网络和域对抗训练，生成用户历史的无偏表征，从而消除动态特征引起的选择偏差，得到无偏的转化率预估模型。第三部分为归因权重计算（Attribution），其基于转化率预估模型，采用反事实分析计算各渠道的夏普利值作为归因权重，即对各渠道，使用转化率预估模型分别预估有无该渠道时的转化率，因引入该渠道带来的转化率提升即该渠道对转化的边际期望增益，也就是该渠道的夏普利值，被作为该渠道的归因权重。

转化路径重加权

渠道序列生成

变分循环自编码器（Variational Recurrent Auto-Encoder，VRAE）及其之前的自编码器（AutoEncoder，AE）、变分自编码器（Variational AutoEncoder，VAE）均属于生成模型。论文使用变分循环自编码器作为渠道序列生成模型获取其生成概率。
关于自编码器（AutoEncoder，AE）和变分自编码器（Variational AutoEncoder，VAE）的介绍可以参考知乎上的这篇文章《AutoEncoder (AE) 和 Variational AutoEncoder (VAE) 的详细介绍和对比》。

对于自编码器（AutoEncoder，AE），其结构如图14所示，将输入$x$通过编码器$e_\theta$压缩、得到低维隐向量$z$，再将隐向量$z$通过解码器$d_\phi$还原、得到输出$\hat{x}$，其优化目标是输出尽可能还原输入，最小化输出和输入之间的差值：
$\text{loss}=\lVert x-\hat{x}\rVert_2=\lVert x-d_\phi(z)\rVert_2=\lVert x-d_\phi(e_\theta(x))\rVert_2$

对于变分自编码器（Variational AutoEncoder），其结构如图15所示。和自编码器类似，也是先将输入$x$通过编码器$e_\theta$压缩，再通过解码器$d_\phi$还原、得到输出$\hat{x}$。但和自编码器不同的是，变分自编码器中编码器的输出不是低维隐向量各维度值的确定值，而是低纬隐向量各维度的值的概率分布，且概率分布满足正态分布，即$z\sim\mathcal{N}(\mu_x,\sigma_x^2)$，则变分自编码器中编码器的输出是低纬隐向量各维度的值的概率分布的均值和标准差。在得到低纬隐向量各维度的值的概率分布后，基于该概率分布使用重参数技术进行采样，得到低维隐向量$z$：

随后和自编码器相同，再将隐向量$z$通过解码器$d_\phi$还原、得到输出$\hat{x}$。
变分自编码器的损失函数包含两部分，第一部分为重建损失，即自编码器的损失函数，最小化输出和输入之间的差值：

第二部分为相似损失，即编码器输出的概率分布和标准正态分布的KL散度：

整体损失为上述两部分之和：

而变分循环自编码器（Variational Recurrent AutoEncoder，VRAE）于2014年在论文《Variational Recurrent Auto-Encoders》中被提出，其进一步将变分自编码器和RNN融合。论文使用变分循环自编码器作为渠道序列生成模型，如图16上方虚线框所示。转化路径$(\mathbf{u},\mathbf{J},y)$中的渠道序列$\mathbf{C}=\{\mathbf{c}_t\}_{t=1}^T$被作为变分循环自编码器中编码器的输入，使用RNN/LSTM对其进行序列建模。渠道序列中的每个渠道通过LSTM输出相应的隐状态：

其中，$\mathbf{h}_0$为初始隐状态，LSTM的结构不在此处详述，可以参考《动手学深度学习-LSTM部分》。
渠道序列中最后一个渠道通过LSTM输出隐状态$\mathbf{h}_T$，将其通过线性映射得到中间隐变量$\mathbf{z}$的均值$\mu_z$：

再将$\mathbf{h}_T$通过线性映射和指数运算得到中间隐变量$\mathbf{z}$的标准差$\sigma_z$：

和变分自编码器相同，使用重参数技术进行采样，得到低维隐向量$\mathbf{z}$：

变分循环自编码器的解码器也使用RNN/LSTM，输出重建的渠道序列$\mathbf{C}_{\text{out}}=\{\mathbf{c}_t'\}_{t=1}^T$。将隐向量$\mathbf{z}$通过线性映射和Tanh函数得到解码器中循环神经网络的初始隐状态$\mathbf{h}_0'$：

解码器中的序列建模类似自回归的方式，即第$t$步的隐状态$\mathbf{h}_t'$由第$t-1$步的隐状态$\mathbf{h}_{t-1}'$和渠道$\mathbf{c}_{t-1}'$通过LSTM得到：

第$t$步的渠道$\mathbf{c}_t'$再由第$t$步的隐状态$\mathbf{h}_t'$通过线性映射和Softmax函数得到：

损失函数和变分自编码器类似，也包含两部分：

第一部分是$\mathbf{c}_t$和$\mathbf{c}_t'$的交叉熵损失函数，第二部分是中间隐变量$\mathbf{z}$的后验分布和先验分布的KL散度，其中，$p_\theta(\mathbf{z})$是先验分布，并假设其满足标准正态分布$\mathcal{N}(0,\mathbf{I})$，$q_\phi(\mathbf{z}|\mathbf{c}^i)$是后验分布，即对于数据集中某个转化路径的渠道序列$\mathbf{c}^i$，其隐变量的分布满足正态分布$\mathcal{N}(\mu^i,(\sigma^i)^2)$，$\alpha$和$\beta$是超参，用于控制两部分损失函数的权重。

转化路径重加权

当训练数据足够多时，若忽视用户静态属性的影响则渠道序列的分布倾向于随机的。在此设定下，变分循环自编码器倾向于生成无偏的渠道序列。而随机化投放的渠道序列相较于受用户偏好影响的样本（转化路径）有着更高的权重值，权重值可由逆概率加权的方式得到，学得的样本权重应当满足以下公式：

结合变分循环自编码器中已得到的每个样本渠道序列隐变量的分布，对于每个样本的权重，可由下式计算：

采用领域分类器的方式估计$W_z(\mathbf{u}^i,\mathbf{z})$。具体而言，以用户静态属性和变分循环自编码器中渠道序列隐变量作为正样本，即$\{(\mathbf{u}^i,\mathbf{z})\}_{1\le i\le N}$，且$\mathbf{z}\sim q_\phi(\mathbf{z}|\mathbf{c}^i)$，以用户静态属性和从标准正态分布中采样的隐变量作为负样本，即$\{(\mathbf{u}^i,\mathbf{z})\}_{1\le i\le N}$，且$\mathbf{z}\sim p_\theta(\mathbf{z}|\mathbf{c}^i)$，训练领域分类器。分类器为常规的Embedding+MLP结构，由下式表示，对用户静态属性进行Embedding后得到其Embedding向量，和隐变量拼接在一起后，输入多层感知机，最后一层的输出经过Sigmoid函数得到正样本概率：

训练分类器后，$W_z(\mathbf{u},\mathbf{z})$可由下式计算：

最后基于上式和$w^i$的计算公式，求解得到每个样本（转化路径）的权重$\{w_i\}_{i=1}^N$，对样本进行重加权。

因果转化预估

因果转化预估和CAMTA类似，也是借鉴CRN，通过循环神经网络和域对抗训练，生成用户历史的无偏表征。其将渠道序列$\mathbf{C}_+=\{\mathbf{c}_0,\mathbf{c}_t\}_{t=1}^{T-1}$、用户动态特征序列$\mathbf{F}=\{\mathbf{f}_t\}_{t=1}^T$和用户静态属性$\mathbf{u}$通过Embedding层得到相应的Embedding向量，然后逐步将序列中每步的渠道Embedding向量和用户动态特征Embedding向量拼接在一起，通过LSTM输出每步的用户历史的表征$\{\mathbf{out}\}_{t=1}^T$，如下所示：

其中，第$t$步的输入是$\mathbf{c}_{t-1}$和$\mathbf{f}_t$的Embedding向量以及前序的隐状态，输出是$\mathbf{out}_t$。
为了获取用户历史的无偏表征，论文借鉴CRN，对$\{\mathbf{out}_t\}_{t=1}^T$进一步通过梯度反转层和渠道预估分类器（MLP+Softmax）输出各渠道概率，如下所示：

训练渠道预估分类器时需要尽可能地使得$\{\mathbf{out}_t\}_{t=1}^T$无法准确预估渠道，因此对于渠道预估分类损失的梯度，通过梯度反转层反转该梯度，进行模型参数更新。
论文同时引入注意力机制，计算$\{\mathbf{out}_t\}_{t=1}^T$中各步用户历史无偏表征和$\mathbf{out}_T$的注意力得分，并基于注意力得分对各步用户历史无偏表征进行加权求和，得到最终的用户历史无偏表征$\mathbf{v}_{attn}$。最终的用户历史无偏表征$\mathbf{v}_{attn}$通过转化预估分类器（MLP+Softmax）输出最终是否发生转化的概率，如下所示：

模型整体损失函数为渠道预估分类损失和转化预估分类损失之和：

其中，$\gamma$和$\delta$是超参，$w_i$是“转化路径重加权”部分计算的样本权重。

归因权重计算

论文基于转化率预估模型，采用反事实分析计算各渠道的夏普利值作为归因权重，即对各渠道，使用转化率预估模型分别预估有无该渠道时的转化率，因引入该渠道带来的转化率提升即该渠道对转化的边际期望增益，也就是该渠道的夏普利值，被作为该渠道的归因权重。
令$\mathbf{J}^i \backslash \{\mathbf{p}_t^i\}$表示转化路径$\mathbf{J}^i$去除触点$\mathbf{p}_t^i$后的反事实触点序列，$\mathcal{S}$表示$\mathbf{J}^i \backslash \{\mathbf{p}_t^i\}$的子触点序列集合，$p(\mathbf{J}^i)$表示转化路径$\mathbf{J}^i$的转化率预估值，则渠道$\mathbf{c}_t^i$的夏普利值$SV_t^i$可由下式计算：

即对$\mathbf{J}^i \backslash \{\mathbf{p}_t^i\}$的每个子触点序列，计算其中增加渠道$\mathbf{c}_t^i$后的转化率预估值相对于增加前的增益，求和所有子触点序列增加渠道$\mathbf{c}_t^i$后的转化率预估值增益，作为该渠道的夏普利值。
论文中进一步对夏普利值进行归一化，如下所示：

其中，$\sigma(x)=\max(0,x)$，$\mathbf{a}_t^i$表示转化路径$\mathbf{J}^i$中第$t$个广告触点的转化权重。

整体流程

综上，CausalMTA整体流程伪代码如图17所示：

• 训练渠道序列生成模型，对于数据集$\mathcal{D}$中的每个转化路径，使用其渠道序列通过变分循环自编码器生成隐变量和新渠道序列，计算损失函数$\mathcal{L}_w$的值和梯度，基于梯度下降更新自编码器的参数。
• 计算转化路径权重，对于数据集$\mathcal{D}$中的每个转化路径，基于自编码器隐变量和从标准正态分布采样生成分类器的正、负样本，计算分类器的损失函数值和梯度，基于梯度下降更新分类器的参数，再根据分类器的预测值计算每个转化路径的权重。
• 训练转化预估模型，对于数据集$\mathcal{D}$中的每个转化路径，计算转化预估模型损失函数$\mathcal{L}_p$的值和梯度，基于梯度下降更新模型的参数。
• 计算归因权重，对于数据集$\mathcal{D}$中的每个转化路径，计算转化路径每个触点渠道$\mathbf{c}_t^i$的夏普利值$SV_t^i$，并进而通过归一化计算该触点的转化归因权重。

实验分析

论文和CAMTA一致，也使用了多触点归因领域常用的Criteo数据集，并同样进行了处理。数据集处理前后的的统计信息如图9所示。另外，论文还使用了合成数据集和阿里巴巴线上广告数据集。

基线模型包括CAMTA以及上一篇阅读笔记介绍的DNAMTA、DARNN、JDMTA等。评估指标和方法也和CAMTA一致，分为转化率预估效果评估和归因权重计算效果评估。
转化率预估效果评估的结果如图19所示，CausalMTA的AUC最高，效果最好。

归因权重计算效果评估的结果如图20所示，CausalMTA在大部分情况下，CPA（每次转化成本）最低，CVR（转化率）最高，转化数最多。

参考文献

• 《Estimating Counterfactual Treatment Outcomes over Time Through Adversarially Balanced Representations》
• 《CAMTA-Causal Attention Model for Multi-touch Attribution》
• 《CausalMTA: Eliminating the User Confounding Bias for Causal Multi-touch Attribution》
• 《KDD'22 | CausalMTA: 基于因果推断的无偏广告多触点归因技术》