阅读论文：2016 Bid-aware Gradient Descent for Unbiased Learning with Censored Data in Display Advertising

本文工作和2014 Optimal Real-Time Bidding for Display Advertising工作高度相关，建议可以先阅读2014这篇论文再阅读2016这篇论文。2014这篇论文笔记也补充上了，见：论文阅读 (011)

背景

点击率估计、出价优化等预测是在竞价前阶段使用完整数量的出价进行操作，但是在训练数据是在竞价结束后收集的，因此会导致训练数据和在线测试数据分布不一致。针对上述问题，文章有以下几点工作

使用Survival Models求解竞价获胜的概率（用于将有偏的训练数据重构到整体分布上）
在1工作的基础上，对CTR估计和出价优化进行修正

训练数据是有偏的

在竞价过程中，只有一个广告主胜出，因此只有这个广告主的请求获取了反馈，包括：是否点击、是否转化、market price值。这导致从ADX获取的数据（训练数据）和出价请求时的数据（测试数据）分布不一致，如下图所示

竞价过程等同于一个动态的数据过滤器，随bid value而不同。由于竞价失败的请求无法得到曝光，不能出现在模型依赖的训练数据中，整个训练数据相对于full-volume data是有偏的。

竞拍获胜概率

在竞价过程中，定义如下概念

x：请求的特征（包括：用户特征、广告特征）
$b_x$ ：对请求的出价
y：用户反馈，在竞价胜出后，用户是否点击或是否产生转化
z：market price：竞价后收取价格，文中定义比出价低
$p(win| x, b_x)$ ：在出价为 $b_x$ 时胜出概率
$q_x(x)$ ：曝光数据分布
$p_x(x)$ ：竞价数据分布

因此曝光数据 ${(x, y, z)}$ 存在以下的关系，式子表示了训练数据q_x(x)和竞价数据数据之间的偏移。我们需要在训练数据上进行训练，在竞价数据上测试，因此解两个分布之间的偏移，即 $\underbrace{P\left(\operatorname{win} \mid \boldsymbol{x}, b_{\boldsymbol{x}}\right)}_{\text {auction selection }}$ 。

$\underbrace{q_{x}(\boldsymbol{x})}_{\text {impression }}=\underbrace{P\left(\operatorname{win} \mid \boldsymbol{x}, b_{\boldsymbol{x}}\right)}_{\text {auction selection }} \cdot \underbrace{p_{x}(\boldsymbol{x})}_{\text {bid request }}$

文中使用Survial Model来求解 $p(win|x, b_x)$ ， $p_{z}^{\boldsymbol{x}}(z)$ 表示market price为z时的获胜概率，拍卖获胜概率是market price z低于出价 $b_x$ 时的概率：

$w\left(b_{\boldsymbol{x}}\right) \equiv P\left(\operatorname{win} \mid \boldsymbol{x}, b_{\boldsymbol{x}}\right)=\int_{0}^{b_{\boldsymbol{x}}} p_{z}^{\boldsymbol{x}}(z) d z$

为了对问题进行简化，假设市场价格分布是在广告主粒度而不是曝光粒度（对广告主求一个 $w\left(b_{\boldsymbol{x}}\right)$ ），因此对于一个广告主估计相应的 $p_{z}(z)$ ，从而得到 $w\left(b_{\boldsymbol{x}}\right)$ 。

假设没有数据丢失(data censorship)问题，即一个广告agent在所有竞价中胜出，并知道market price，从而可以计算 $w_o\left(b_{\boldsymbol{x}}\right)$ ，计算方式如下

$w_{o}\left(b_{\boldsymbol{x}}\right)=\frac{\sum_{\left(\boldsymbol{x}^{\prime}, y, z\right) \in D} \delta\left(z<b_{\boldsymbol{x}}\right)}{|D|}$

其中当 $z<b_{\boldsymbol{x}}$ 成立时 $\delta\left(z<b_{\boldsymbol{x}}\right)=1$ ，否则为0。

实际问题就是广告主如果竞价没胜出，就无法获取market price

在竞价过程中，设想一个广告主参与了N次的竞价，记作N个元组 $\left\langle b_{i}, w_{i}, z_{i}\right\rangle_{i=1 \ldots N}$ ，其中 $b_i$ 表示出价大小， $w_i$ 表示是否赢得竞价， $z_i$ 表示为market price。

对日志中上述格式数据进行转化，按照出价大小进行排序， $\left\langle b_{j}, d_{j}, n_{j}\right\rangle_{j=1 \ldots M}$ ，即 $b_i<b_{j+1}$

$d_j$ 表示market price为 $b_j-1$ 赢得竞价的次数
$n_j$ 表示为出价为 $b_j-1$ 未赢得竞价的次数，包括
- market price不低于 $b_j-1$ 时竞标获胜的数目
- bid price 不低于 $b_j-1$ 时竞标失败的数目。

那么在竞价为 $b_x$ 时，输掉广告拍卖的概率为（使用survival models求解）

$l\left(b_{\boldsymbol{x}}\right)=\prod_{b_{j}<b_{\boldsymbol{x}}} \frac{n_{j}-d_{j}}{n_{j}}$

因此在竞价为 $b_x$ 时，赢得广告拍卖的概率为

$w\left(b_{\boldsymbol{x}}\right)=1 - \prod_{b_{j}<b_{\boldsymbol{x}}} \frac{n_{j}-d_{j}}{n_{j}}$

将 $\left\langle b_{i}, w_{i}, z_{i}\right\rangle_{i=1 \ldots N}$ 转化为 $\left\langle b_{j}, d_{j}, n_{j}\right\rangle_{j=1 \ldots M}$ ，并计算 $w\left(b_{\boldsymbol{x}}\right)$ 的例子如下

可以看到 $w_{o}\left(b_{\boldsymbol{x}}\right)$ 比 $w\left(b_{\boldsymbol{x}}\right)$ 值更大，即训练数据相对测试数据右移。

CTR估计

给定训练数据 $D={(x, y, z)}$ ，其中x服从训练数据分布 $q_x(x)$ ，一个无偏的监督学习模型要求在测试数据分布 $p_x(x)$ 上最小化损失函数。

在训练数据上，最小化损失函数

$\min _{\theta} \mathbb{E}_{\boldsymbol{x} \sim p_{x}(\boldsymbol{x})}\left[\mathcal{L}\left(y, f_{\boldsymbol{\theta}}(\boldsymbol{x})\right)\right]+\lambda \Phi(\boldsymbol{\theta})$

其中 $f_{\boldsymbol{\theta}}(\boldsymbol{x})$ 表示参数为 $\theta$ 的模型预测结果， $\mathcal{L}\left(y, f_{\boldsymbol{\theta}}(\boldsymbol{x})\right)$ 为预测结果 $f_{\boldsymbol{\theta}}(\boldsymbol{x})$ 和真实标签y计算得的损失函数， $\Phi(\boldsymbol{\theta})$ 为参数正则项。

存在如下关系

$\begin{aligned} & \mathbb{E}_{\boldsymbol{x} \sim p_{x}(\boldsymbol{x})}\left[\mathcal{L}\left(y, f_{\boldsymbol{\theta}}(\boldsymbol{x})\right)\right]=\int_{\boldsymbol{x}} p_{x}(\boldsymbol{x}) \mathcal{L}\left(y, f_{\boldsymbol{\theta}}(\boldsymbol{x})\right) d \boldsymbol{x} \\=& \int_{\boldsymbol{x}} q_{x}(\boldsymbol{x}) \frac{\mathcal{L}\left(y, f_{\boldsymbol{\theta}}(\boldsymbol{x})\right)}{w\left(b_{\boldsymbol{x}}\right)} d \boldsymbol{x}=\mathbb{E}_{\boldsymbol{x} \sim q_{x}(\boldsymbol{x})}\left[\frac{\mathcal{L}\left(y, f_{\boldsymbol{\theta}}(\boldsymbol{x})\right)}{w\left(b_{\boldsymbol{x}}\right)}\right] \\=& \frac{1}{|D|} \sum_{(\boldsymbol{x}, y, \boldsymbol{z}) \in D} \frac{\mathcal{L}\left(y, f_{\boldsymbol{\theta}}(\boldsymbol{x})\right)}{w\left(b_{\boldsymbol{x}}\right)}=\frac{1}{|D|} \sum_{(\boldsymbol{x}, y, z) \in D} \frac{\mathcal{L}\left(y, f_{\boldsymbol{\theta}}(\boldsymbol{x})\right)}{1-\prod_{b_{j}<b_{\boldsymbol{x}}} \frac{n_{j}-d_{j}}{n_{j}}}, \end{aligned}$

即通过训练集分布x表示的loss转化为测试集分布x的loss表示。上述修正有如下的性质

对于低胜出概率的出价 $b_x$ ， $1-\prod_{b_{j}<b_{x}} \frac{n_{i}-d_{i}}{\underline{n_{i}}}$ 在训练集中估计的值较低，但是产生的相应的梯度较大，即来自竞价数据的梯度应该更高
如果竞价极高，这导致100％的拍卖中标概率，则可以从真实数据分布中观察到此类数据。因此，此数据将不会进行梯度重加权（权重为1）

胜出概率和权重的调整如图所示

出价优化

已通过模型求得CTR $f(x)$ ，出价价格 $b(f(x))$ ，对于T次拍卖，在预算为B的情况下，出价优化的优化目标为。下述建模来自：Optimal real-time bidding for display advertising，其中预算约束处可取 $\leq$ ，此处取 $=$ 也可。

$\underset{b()}{\arg \max } T \int_{\boldsymbol{x}} f(\boldsymbol{x}) w(b(f(\boldsymbol{x}))) p_{x}(\boldsymbol{x}) d \boldsymbol{x}$

subject to $T \int_{\boldsymbol{x}} b(f(\boldsymbol{x})) w(b(f(\boldsymbol{x}))) p_{x}(\boldsymbol{x}) d \boldsymbol{x}=B$

$w(b(f(\boldsymbol{x})))$ 表示给定bid request $\mathbf{x} \rightarrow$ estimated CTR $f \rightarrow$ bidding function $b \rightarrow$ winning probability $w$ 的一系列过程的结果。

实际的数据分布为 $q_x(x)$ ，因此对上式进行变换，得到如下

$\underset{b()}{\arg \max } T \int_{\boldsymbol{x}} f(\boldsymbol{x}) w(b(f(\boldsymbol{x}))) \frac{q_{x}(\boldsymbol{x})}{w\left(b_{\boldsymbol{x}}\right)} d \boldsymbol{x}$

subject to $T \int_{\boldsymbol{x}} b(f(\boldsymbol{x})) w(b(f(\boldsymbol{x}))) \frac{q_{x}(\boldsymbol{x})}{w\left(b_{\boldsymbol{x}}\right)} d \boldsymbol{x}=B$

使用拉格朗日乘子法表示为无约束问题

$\begin{aligned} \mathcal{L}(b(f), \lambda)=& \int_{\boldsymbol{x}} f(\boldsymbol{x}) w(b(f(\boldsymbol{x}))) \frac{q_{x}(\boldsymbol{x})}{w\left(b_{\boldsymbol{x}}\right)} d \boldsymbol{x} \\ &-\lambda \int_{\boldsymbol{x}} b(f(\boldsymbol{x})) w(b(f(\boldsymbol{x}))) \frac{q_{x}(\boldsymbol{x})}{w\left(b_{\boldsymbol{x}}\right)} d \boldsymbol{x}+\frac{\lambda B}{T} \end{aligned}$

由Euler-Lagrangian条件：

$f(\boldsymbol{x}) \frac{q_{x}(\boldsymbol{x})}{w\left(b_{\boldsymbol{x}}\right)} \frac{\partial w(b(f(\boldsymbol{x})))}{\partial b(f(\boldsymbol{x}))}-\lambda \frac{q_{x}(\boldsymbol{x})}{w\left(b_{\boldsymbol{x}}\right)}[w(b(f(\boldsymbol{x})))$ $\left.+b(f(\boldsymbol{x})) \frac{\partial w(b(f(\boldsymbol{x})))}{\partial b(f(\boldsymbol{x}))}\right]=0$ $\Rightarrow \lambda w(b(f(\boldsymbol{x})))=[f(\boldsymbol{x})-\lambda b(f(\boldsymbol{x}))] \frac{\partial w(b(f(\boldsymbol{x})))}{\partial b(f(\boldsymbol{x}))},$

最优 bidding function $b_{ORTB}f(x)$ 取决于 winning function $w(b)$ ，例如取

$w(b(f(\boldsymbol{x})))=\frac{b(f(\boldsymbol{x}))}{c+b(f(\boldsymbol{x}))}$

其中c为常数，因此最优的出价为

$b_{\mathrm{ORTB}}(f(\boldsymbol{x}))=\sqrt{\frac{c}{\lambda} f(\boldsymbol{x})+c^{2}}-c$

上述存在未知数 $\lambda$ ，拉格朗日乘子法表示的无约束问题对 $\lambda$ 求导，由Euler-Lagrangian condition：

$\begin{aligned} \partial \mathcal{L}(b(f(\boldsymbol{x})), \lambda) / \partial \lambda &=0 \\ \Rightarrow \int_{\boldsymbol{x}} b(f(\boldsymbol{x}), \lambda) w(b(f(\boldsymbol{x}), \lambda)) \frac{q_{x}(\boldsymbol{x})}{w\left(b_{\boldsymbol{x}}\right)} d \boldsymbol{x} &=\frac{B}{T} \\ \Rightarrow \frac{1}{|D|} \sum_{(\boldsymbol{x}, y, \boldsymbol{z}) \in D} b(f(\boldsymbol{x}), \lambda) \frac{w(b(f(\boldsymbol{x}), \lambda))}{w\left(b_{\boldsymbol{x}}\right)} &=\frac{B}{|D|} \end{aligned}$

即求解，下述问题为凸（没理解为啥为凸）

$\min _{\lambda} \sum_{(\boldsymbol{x}, y, z) \in D} \frac{1}{2}\left(\frac{b(f(\boldsymbol{x}), \lambda) w(b(f(\boldsymbol{x}), \lambda))}{1-\prod_{b_{j}<b_{\boldsymbol{x}}} \frac{n_{j}-d_{j}}{n_{j}}}-\frac{B}{|D|}\right)^{2}$

使用BGD(Bid-aware Gradient Descent )进行更新

$\begin{aligned} \lambda \leftarrow & \lambda-\eta \overbrace{\frac{1}{1-\prod_{b_{j}<b_{\boldsymbol{x}}} \frac{n_{j}-d_{j}}{n_{j}}}}^{\text {instance reweighting }}(\overbrace{\frac{b(f(\boldsymbol{x}), \lambda) w(b(f(\boldsymbol{x}), \lambda))}{1-\prod_{b_{j}<b_{\boldsymbol{x}}} \frac{n_{j}-d_{j}}{n_{j}}}-\frac{B}{|D|}}^{\text {gradient direction }}) \\ &(\underbrace{\frac{\partial b(f(\boldsymbol{x}), \lambda)}{\partial \lambda} w(b(f(\boldsymbol{x}), \lambda))+b(f(\boldsymbol{x}), \lambda) \frac{\partial w(b(f(\boldsymbol{x}), \lambda))}{\partial \lambda}}_{\text {bidding function gradient }}) \end{aligned}$