基于Tensorflow 2.0 与 Huggingface 的 Transformers 的 GPT2 与 Transformer-XL 训练代码
（本项目不保证能稳定运行）
使用方法
- pip install -r requirements.txt
- 将scripts文件夹中的几个sh文件拷贝到拷贝到根目录。
- 运行prepare_data.sh预处理。
- 然后运行train_gpt2_keras.sh训练。
- 运行generate_gpt2_keras.sh生成。
数据格式
- 本项目采用的语料格式为一个txt文件，每一行是一个json的列表，这个列表中包含了一篇文章。