在按关键词生成句子中,A*_insert和A*_delete是不是也为1?
bojone opened this issue · comments
苏剑林(Jianlin Su) commented
你好,最近在关注一些采样生成工作,看到贵作,有些疑问,特来请教一下。
简单起见,只考虑按关键词生成句子任务,Chi(x)定义为示性函数,包含所有关键词为1,否则为0。假设p_replace=p_insert=p_delete=1/3(按照原文设计)。
根据论文 https://arxiv.org/pdf/1811.10996.pdf 的公式(8),(9)以及定义(3),我是否可以理解为g_insert(x'|x) = pi(x_m|x) (根据已有的tokens,预测插入的第m个token的分布,而很明显pi(x') = pi(x_m|x) pi(x),那么一约简就得到A*_insert=A*_delete=1(只要delete的token不是keyword之一)。
总感觉有点怪怪的,但不知道出错在哪里?
苏剑林(Jianlin Su) commented
抱歉,我已经理解了,两者分解出来的pi(x)其实是不一样的。所以不恒等于1。