NingMiao / CGMH

Codes for <CGMH: Constrained Sentence Generation by Metropolis-Hastings Sampling>

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

在按关键词生成句子中,A*_insert和A*_delete是不是也为1?

bojone opened this issue · comments

你好,最近在关注一些采样生成工作,看到贵作,有些疑问,特来请教一下。

简单起见,只考虑按关键词生成句子任务,Chi(x)定义为示性函数,包含所有关键词为1,否则为0。假设p_replace=p_insert=p_delete=1/3(按照原文设计)。

根据论文 https://arxiv.org/pdf/1811.10996.pdf 的公式(8),(9)以及定义(3),我是否可以理解为g_insert(x'|x) = pi(x_m|x) (根据已有的tokens,预测插入的第m个token的分布,而很明显pi(x') = pi(x_m|x) pi(x),那么一约简就得到A*_insert=A*_delete=1(只要delete的token不是keyword之一)。

总感觉有点怪怪的,但不知道出错在哪里?

抱歉,我已经理解了,两者分解出来的pi(x)其实是不一样的。所以不恒等于1。