Leaving No One Behind: A Multi-Scenario Multi-Task Meta Learning Approach for Advertiser Modeling

一，背景

像淘宝和亚马逊这种电商平台上，广告主扮演着很重要的角色。然而以往对他们的研究并不多。电商平台会提供多种营销场景（搜索赞助、直播广告、展示广告等），同时广告主也会有涉及诸多任务（预估收入、支出、点击和活跃率等）。因此，本文面临的业务背景是大型推荐系统内的多场景+多任务的推荐。

二，方案

针对这种多场景+多任务的推荐，本文给出一个解决方案M2M。整体来讲是 MMoE + Dynamic weight。通过一个元单元，有效的根据不同场景，自适应的调整参数（和之前读的文章APG有些相似）。

三，框架

框架基本包括三部分：

step 1: 骨干网络。这里是把输入特征做成统一表示，等同于MMoE中的share bottom部分。这里主要是学习和广告主相关的特征与任务的表征。
step 2: 元学习机制。为了有效地端到端结合多场景多任务，提出了一种元学习机制。该机制中包括了元注意力模块和元塔模块。分别用于捕获不同场景-任务相关性，增强场景-任务特征表示。
step 3: 利用多任务联合泊松损失对模型进行端到端优化。

3.1 骨干网络 backbone network

在backbone network中，shared bottom embedding，transformer layer， expert view都是传统常用的结构；
task view这里，作者讲到是受到MRAN（没读过）启发，用到task encoding的原因是引入任务的一些先验信息，影响特征信息的权重表达，有点“锚点”的意味。

3.2 元学习机制 meta learning mechanism

首先，M2M实现了通用模块Meta Unit。这个模块根据“场景”特征，动态生成权重，再reshape成一个MLP。
在整合多个expert的输出时，用Meta Unit代替普通MLP实现Attention决定各expert的权重，让“场景”特征主导多目标的信息整合；
在整合后的expert信息向上传递时，用Meta Unit代替普通MLP实现Residual Network，让“场景”特征控制信息传递。

meta unit 的公式推导：
meta attention module: 给定场景相关信息的情况下，建立不同模式的注意得分模型
meta tower module: 由于特定任务的特征模式可能因场景的不同而不同，简单的共享前馈网络不足以捕获不同场景的信息。为了模拟这种多样性，我们引入了meta残塔模块