美团多任务模型 AITM论文阅读

一，背景

原文链接：ATIM
文章简介：美团2021kdd投稿文章 AITM（自适应信息传递多任务学习模型），试图解决有序列依赖关系的多任务建模问题。
业务场景：美团APP金融业务，信用卡申请场景。
场景特点：

该场景中，用户转化链路比较长，分为 曝光 -> 点击 -> 申请 -> 批准 -> 激活几个环节；
前后环节存在序列顺序关系；
后面环节正负样本不平衡问题很严重，正样本非常稀疏；激活甚至会存在14天delay期；

面临难点：面对转化链路长且存在序列依赖关系的业务场景，如何在多任务建模中提升端到端的预估效果？

二，概述

方法：端到端多任务建模
任务：四个任务：点击、申请、批准、激活四个任务。其中批准、激活为主任务，点击、申请为辅助任务。业务线：一个多任务模型支持银行（业务线）的预估。不同银行有不同成长生态诉求，通过多业务线排序PK模块满足品类诉求。

三，结构

3.1 输入输出

特征输入： $x$
特征输出： $y_t$
任务数量： $T, t \in T$
多个任务的label关系: $y_1>=y_2>=...y_T$ ，这是由于序列之间关系导致的。
结构：下图c
mtl input -> share embedding -> task tower -> AIT module -> outputs

3.2 AIT模块

自适应信息传递模块是论文核心，该模块用来决策前一个任务有什么和多少信息将传递给后一个任务。
$\hat{y_t} = sigmoid(MLP(z_t))$
$z_t = AIT(p_{t-1}, q_t)$
$where \ \ \ p_{t-1}=g_{t-1}(z_{t-1}),\ \ \ q_t = f_t(v), \ \ \ v = emb(x)$

细看AIT，使用了一个类似self_attention的设计，自适应的分配 $p_{t-1}$ 和 $q_t$ 的权重。

3.3 损失函数

AITM的几个task都是二分类问题，因此损失函数表示为四个任务交叉熵损失和。

此外，由于任务前后存在序列关系，在端到端建模时，前面任务的转化率一定不低于后面任务，即 $\hat{y_{t-1}} \ge \hat{y_t}$ 。因此，论文在交叉熵损失之上加入行为期望校准惩罚。如果后一个任务的预估值超过前一个任务则会在loss上加入惩罚项。
综上，损失函数表示为：