datawhalechina / torch-rechub

A Lighting Pytorch Framework for Recommendation Models, Easy-to-use and Easy-to-extend.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

ESMM的输入

Zhangxy98 opened this issue · comments

您好,请问一下ESMM模型构架的主任务cvr和辅助任务ctr的输入是一样的吗(所有的曝光样本)?因为我看那个模型架构图,它是两个网络分别输入进去的,如果两个网络的输入是一样的,为何架构图不画成MMOE那种一个输入进去,共享底层再分成不同的任务,我这里有点疑惑。

您好,请问一下ESMM模型构架的主任务cvr和辅助任务ctr的输入是一样的吗(所有的曝光样本)?因为我看那个模型架构图,它是两个网络分别输入进去的,如果两个网络的输入是一样的,为何架构图不画成MMOE那种一个输入进去,共享底层再分成不同的任务,我这里有点疑惑。

也就是 cvr和ctr是否都是全量样本呢?还是cvr是点击样本,ctr是全量样本

@Zhangxy98
ESMM是在全量样本空间上进行训练的,它和shareBottom这一类共享底的主要不同是:采用了两个目标之间的迁移概率作为学习目标。ESMM模型引入了CTR和CTCVR两个辅助任务,它并没有直接使用点击+曝光的样本训练CVR模型,而是将pCVR作为中间变量,乘以pCTR等于pCTCVR。pCTCVR和pCTR都是基于所有曝光样本进行训练和估计的,因此派生出的pCVR也适用于所有样本,这样曝光样本存在偏差的问题被消除了。此外,CVR网络的特征表示参数与CTR网络共享,后者用更丰富的样本进行训练。这种参数迁移学习方法有效地缓解了CVR问题的样本稀疏问题。