yxuansu / SimCTG

[NeurIPS'22 Spotlight] A Contrastive Framework for Neural Text Generation

Home Page:https://arxiv.org/abs/2202.06417

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Contrastive Training loss的部分疑惑

aa327chenge opened this issue · comments

Contrastive Training过程中
CL-loss中有一部分为 = 常量 - s(hxi, hxi) + s(hxi, hxi)
s(hxi, hxi) 当s为cos时候 中间s(hxi, hxi) 是否恒为1?

@aa327chenge -- 这个部分对的。我们在论文第三页的footnote 2中也做了说明。