阅读论文:Combining Powers of Two Predictors in Optimizing Real-Time Bidding Strategy under Constrained Budget
1 背景
实时竞价的流程如下所示
在ORTB出价策略中,胜出概率w(b(θ(x)))依赖于θ(点击率),即如果点击率估计不准确,导致胜出概率估计不准确,从而导致出价不准确,因此本文的工作在于:使用两个模型来出价,一个模型来估计CTR,一个模型来估计胜出价格(WP)。
2 方法
2.1 问题定义
有一些列竞价ψ:{x1,x2,…,xn},特征表示为xi∣1≤i≤n,每次campaign的预算为B。竞价活动中问题有
- 是否对xi进行竞价
- 如果竞价,出价值是多少?I(xi)=1表示竞价成功,I(xi)=0表示竞价失败
- 胜出价格为P(xi),即对于胜出需要支付的价格,在广义第二高价的定价机制下,胜出价格小于竞价
因此出价策略问题为
对每个竞价活动xi,出价为b(xi),最大化∑i=1nI(xi),约束为∑i=1nP(xi)≤B。
2.2 PERF算法
PERF算法为理想算法,假设CTR和WP100%准确,可以把预算最高效的利用。
Phase 1 (model training)
输入:
输出:
- I:点击率预估模型
- P:胜出价格预估模型
- Ω:广告系列点击赢得价格的概率密度函数(符合对数正态分布)
- Ntr; Nte:训练集和测试集上的点击数量
Phase 2 (online bidding)
输入:
- B:campaign预算
- xi:竞价的特征
状态变量:
- Bcur:目前的预算,初始值为B
输出:
- b(xi):对于xi的出价值
流程:
- 通过预算约束∫0βpNteΩ(p)dp=B求解pbound,即出价的上限
- 对于输入xi,如果I(xi)=1(这一步应该是直接通过已有数据判断的),转到第3步;如果I(xi)=0,继续参与竞价
- 使用P(xi)求得胜出价格
- 如果P(xi)<B并且P(xi)<pbound,返回pbound+δ,其中δ可以是一个货币最小单位的值,跳转到5;否则跳转到2
- 如果以价格pWP(xi)+δ赢得竞价,更新预算Bcur=Bcur−P(xi)。如果Bcur变为0,则停止竞价,否则跳转到2
2.3 PRUD算法
Phase 1 (model training)
输入:
输出:
- pCTR:CTR预估值
- pW :胜出价格预估值
- ρcut:竞价效率截止值,计算方式为:ρ(xi)=pCTR(xi)/pWP(xi),当pCTR(xi)低,pWP(xi)高时,即转化率低出价高,ρ(xi)会较低,要过滤这类情况
Phase 2 (online bidding)
输入:
- B:campaign预算
- xi:竞价的特征
状态变量:
- Bcur:目前的预算,初始值为B
输出:
- b(xi):对于xi的出价值
流程:
- 对于xi,检查ρ(xi)≥ρcut是否成立,如果成立跳转到第2步,否则返回0,并继续参与竞价
- 如果pWP(xi)<Bcur,返回pWP(xi)+δ,跳转到第3步,否则返回0,跳转到第1步
- 如果以价格pWP(xi)+δ赢得竞价。更新预算Bcur=Bcur−P(xi)。如果Bcur变为0,停止竞价。
3 实验
实验结果如下图所示
先看左边部分,结论有
- 对于CTR预估,season2的效果比season更好
- 对于胜出价格预估,还存在较大的误差,但是RMSE<Stdev(作者认为这样是可以接受的)
可以看到预测的WP均值小于真实的WP均值,因此对预测WP进行校正,预测方式如下,加一个偏差,使得95%的数据上预测胜出价格大于真实的胜出价格,这个偏差通过训练数据可以求解。在线竞价中,选择了最优的ρcut。
pWP(x)+L>P(x) for 95% of {x∣I(x)=1}
定义评价指标,即ORTB或者PRUB产生的点击数量除以PERF产生的点击数量。
CR=#ClickPERF#ClickORTB∣PRUD
因为PERF为理想的结果,因此CR<1。实验结果如下,在大部分情况下PRUD效果比ORTB好(Table 1中也可以得到类似结论)
两种模型的eCPC对比结果如下,PRUD的eCPC比ORTB的eCPC更低,即更有效(个人觉得是因为用到了竞价效率)
4 讨论
相对ORTB,文章提出的PRUD方法在click上提升效果显著,同时eCPC也相对较好,思路简单,可行性高。
值得参考的点有:
- 使用竞价效率ρ(xi)=pCTR(xi)/pWP(xi)过滤无效的竞价
- 使用了两个模型分别预测CTR和胜出价格
疑问有:
- 胜出价格预测的有效性,对实验结果保持怀疑(预测的胜出价格和实际胜出价格的均值差的有点多)
本文正在参与「掘金 2021 春招闯关活动」, 点击查看 活动详情