zszheng147 / SLU-project-CS4314

Final project for CS4314 course

训练

创建环境

conda create -n slu python=3.6
source activate slu
pip install -r requirements.txt
# 如果运行中报错需要安装其他包，请pip install <package> 进行安装

训练

#step1: 先进行数据增广，否则训练可能会报错
python utils/data_aug.py

#step2: 运行训练脚本
bash shell-scripts/main.sh
# 或者 python scripts/slu_bert.py --<arg> <value>

数据目录说明：

• data
  • train.json: 原始训练数据
  • train_augment.json： 数据增广后的数据
  • ...
• data_cais:
  • train.json： cais数据集的训练数据
  • ...
• data_ecdt:
  • train.json： ecdt数据集的训练数据
  • ...

代码说明：

• utils/args.py: 定义了所有涉及到的可选参数
• utils/batch.py: 将数据以批为单位转化为输入
• utils/data_aug.py: 数据增广
• utils/example_bert.py: 读取数据
• utils/initialization.py: 初始化系统设置，包括设置随机种子和显卡/CPU
• utils/vocab.py: 构建编码输入输出的词表
• utils/word2vec.py: 读取词向量

测试

由于我们的模型大于1个G,因此我们将模型放到了jbox上，路径是https://jbox.sjtu.edu.cn/l/w1Nzt6

python scripts/slu_bert.py --device <device> --testing