zqf03118 / keras-SlotGated-SLU

implementation SlotGated SLU model for keras

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

keras 复现SlotGate-SLU 模型

Slot-Gated Modeling for Joint Slot Filling and Intent Prediction官方开源代码

这是2018年的一篇论文,我在这篇文章里作了详细的介绍,这是一个意图识别和槽位填充的联合训练模型,由于还算比较有创新,于是我尝试使用这个模型来跑实验。官方开源代码使用 tf1.4 版本写的,版本较老,另外源代码的代码结构写的比较随意,不适合在实际工作中使用,其次可读性也不强;因此我花了点时间用 keras 来复现了这个模型。

复现模型时的一些理解看这里

如何运行本项目代码

1、下载本仓库代码,进入项目所在文件夹

2、使用脚本 train.py 进行训练和评估

# 使用 full_attention 参数确定是否使用 slot attention
# 使用 dataset 参数确定使用哪一个数据集做实验,可选的有 snips 和 atis
# 使用 max_features 参数指定词表大小,snips 数据集建议11250,atis 数据集建议750
python train.py --max_epochs=80 --full_attention=True --dataset=snips --max_features=11250

下面两个图分别是我复现的模型在 atis 和 snips 两个数据集上的评估结果,基本上和原论文的实验结果差不多。另外由于我没有使用预训练的词向量,因此embedding 是随机初始化的,在snips数据集上让embedding 的参数可训练,相比于不训练在槽位填充任务上能提升三四个点,而且收敛的更快;我想如果用预训练的词向量效果应该会更好。

avatar

avatar

About

implementation SlotGated SLU model for keras


Languages

Language:Python 100.0%