NLU的预训练模型大家应该见过不少了，NLG的预训练资源还比较少。这里汇总一些中文的生成式预训练模型，给出bert4keras下的加载方式。
以GPT为代表的单向语言模型预训练。
- 链接：https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/NEZHA-Gen-TensorFlow
- 大小：1亿参数，体积390M
- 说明：结构跟BERT Base一致，通用语料训练，官方github提供了下载链接，不过保存了多余的meta导致体积过大，笔者对原始权重进行了转换，可以从笔者提供的链接（百度网盘，验证码xynn）下载，结果跟原版一样，体积更小。
- 使用：basic_language_model_nezha_gen_gpt.py
- 链接：https://github.com/bojone/CDial-GPT-tf （原版链接：https://github.com/thu-coai/CDial-GPT ）
- 大小：1亿参数，体积350M
- 说明：模型为GPT模型，使用闲聊型对话语料训练。原版为pytorch模型，笔者对原始权重进行了转换。
- 使用：example.py
- 链接：https://github.com/imcaspar/gpt2-ml
- 大小：15亿参数，体积5.3G
- 说明：基于BERT代码修改，跟最大的英文版GPT2大小一致，通用语料训练，目前开放了两个版本，详情请查看项目说明。
- 使用：basic_language_model_gpt2_ml.py
一般情况下，直接在BERT等NLU式预训练模型中加入UniLM式的Attention Mask，也可以用来做Seq2Seq参考，例子可以参考task_seq2seq_autotitle_csl.py。
QQ交流群：67729435，微信群请加机器人微信号spaces_ac_cn