tensorflow2.0 for Chinese GPT2
近期更新(持续修改中。。。)
打pb方法已经更新，可以参考我的另一个项目中的做法ner打pb方法
说明
参考使用 HuggingFace的transformers实现GPT2模型的编写与训练。 整体想法来源微软论文Large-scale Pretrained Response Generation Model (DialoGPT)原文实现代码 使用50W中文闲聊语料进行训练。
运行环境
python3.6、 tensorflow==2.1.0
训练说明
训练时，将一条训拼接，如 "[SOS]四级过了没？[SEP]两次都只差多分。[SEP]心疼你三秒钟[SEP]不着急，慢慢来。急不来的，[SEP] 你慢慢吧我着急六级[SEP]人家四级没过你就要过六级了。[SEP]都加油[SEP]加油！[SEP]"
四级过了没？
两次都只差多分。
心疼你三秒钟
不着急，慢慢来。急不来的，
你慢慢吧我着急六级
人家四级没过你就要过六级了。
都加油
加油！
50W条语料在data/目录下，data/ids目录是50W条语料转id后的结果
训练执行：
python3 train.py
inference执行:
python3 infer.py
参考资料
感谢GPT2-chitchat项目中提供50W条聊天语料百度网盘【提取码:osi6】
openai的GPT2源代码以及其inference代码