ghosthamlet / gpt2-ml-torch

Pytorch model for https://github.com/imcaspar/gpt2-ml

Pytorch model for https://github.com/imcaspar/gpt2-ml

2020.12.13 更新微调代码，使用方法见代码内文档：https://github.com/ghosthamlet/gpt2-ml-torch/blob/master/finetune_lm.py

gpt2-ml的pytorch版本预训练模型下载及转换和运用。

运行环境：

在Ubuntu 16.10，Python 3.6.10，Transformers 3.1.0，Pytorch 1.4.0(cuda 10.2)和Tensorflow 1.14.0(转换时才需要)环境测试通过，其他环境未测试，如有需要，大家自己稍作修改modeling_gpt2.py应该就能运行。

模型下载：

注意：带-tf后缀的文件夹是原tensorflow模型，不要下错了

带-bert-tok和-clue-tok的文件夹分别为15G语料和30G语料训练得模型

15G语料模型的对话生成比30G的质量更高，30G语料模型的文章生成（包括诗词）质量更佳

下载后放入 models/ 目录，其中有部分文件和百度云重复，直接覆盖即可

百度下载不会自动检查完整性，下载完请对比sha256值：

mega-bert-tok/pytorch_model.bin

f82940073239a24d17d3d9b549b0671773d9dccc06284fd872ee121831271131

mega-clue-tok/pytorch_model.bin

971f187fd72dc6bea547259daa92b2b5e73732825cc49b82c2d34bc20e39460d

mega-bert-tok-tf/model.ckpt-100000.data-00000-of-00001

4a6e5124df8db7ac2bdd902e6191b807a6983a7f5d09fb10ce011f9a073b183e

mega-clue-tok-tf/model.ckpt-220000.data-00000-of-00001

e698cc97a7f5f706f84f58bb469d614e51d3c0ce5f9ab9bf77e01e3fcb41d482

百度云盘链接: https://pan.baidu.com/s/16tL4Bmoh6jPy0cOND0YyeA 提取码: 84dh

安装：

git clone https://github.com/ghosthamlet/gpt2-ml-torch.git

需转换功能请先修改requirements.txt启用Tensorflow

如之前没有安装上面运行环境提到的依赖：

pip install -r requirements.txt

如需要自己转换Pytorch模型，先在上面的模型下载板块下载-tf后缀的文件夹:

默认是15G语料模型，可通过--model_path指定输出模型目录，--model_tf指定tensorflow模型目录和文件前缀，--config_tf指定tensorflow模型配置文件，此配置文件需从上面的下载板块下载，查看gpt2_ml_torch/config.py

python gpt2_ml_torch/convert.py
生成的pytorch模型在models/ 目录中与tensorflow模型同名但无-tf后缀的文件夹内

生成文字:

默认是15G语料模型，可通过--model_path指定模型目录

python gpt2_ml_torch/generate.py --prompt 宇宙的意义是 --max_len 300 --n_seq 3

0. 宇宙的意义是 无 序 。 因 而 一 切 不 确 定 的 存 在 都 是 无 限 的 。 所 以 我 们 才 有 无 所 不 知 的 物 理 物 理 。 这 便 是 宇 宙 的 意 义 。 没 有 什 么 是 绝 对 的 或 者 完 全 的 。 也 没 有 任 何 >东 西 是 绝 对 的 。 我 们 都 是 普 通 人 ， 我 们 也 都 存 在 其 他 的 知 识 ， 我 们 也 存 在 宇 宙 的 全 部 面 向 ， 所 有 东 西 都 可 以 被 称 为 是 宇 宙 的 一 部 分 ， 只 是 在 以 上 内 容 的 框 架 之 下 >， 你 很 难 找 到 某 一 种 或 某 几 种 以 上 的 定 义 。 也 许 ， 你 会 认 为 这 些 在 我 们 的 意 识 之 中 都 存 在 ， 但 这 才 是 我 们 的 生 活 的 意 义 。 而 每 个 人 的 意 识 之 中 ， 都 是 有 自 己 的 意 >识 ， 也 就 是 在 相 对 稳 定 的 意 识 之 中 。 而 生 活 在 相 对 稳 定 的 意 识 之 中 的 人 ， 就 像 一 个 生 活 在 恒 久 不 变 的 行 星 里 的 人 ， 是 无 法 真 的 发 觉 任 何 东 西 的 。 那 么 我 们 还 有 什 >么 呢 ？
1. 宇宙的意义是 什 么 ？ 天 文 学 的 意 义 在 哪 里 ？ 首 先 宇 宙 的 本 质 是 什 么 ？ 宇 宙 不 是 某 种 科 学 理 论 的 预 言 ， 然 而 它 确 实 是 一 种 认 知 的 认 知 。 如 果 要 说 宇 宙 是 什 么 ， 那 >宇 宙 就 是 一 堵 无 法 逾 越 的 墙 ， 一 个 可 能 性 ， 一 个 认 知 的 概 念 。 它 就 是 那 个 能 够 被 你 认 知 和 预 测 的 对 象 。 宇 宙 之 外 的 一 切 如 同 空 旷 的 存 在 者 ， 任 何 认 识 都 只 能 是 你 >所 说 的 确 定 ， 而 无 法 永 恒 。 在 这 个 可 能 性 下 ， 人 的 认 知 不 再 是 确 实 ， 而 是 可 知 。 如 果 说 宇 宙 是 一 个 概 念 ， 它 确 实 存 在 于 这 个 世 界 ， 它 存 在 的 意 义 之 一 也 是 这 个 世 >界 不 再 仅 仅 是 一 个 概 念 ， 它 存 在 的 意 义 也 是 我 们 生 活 的 概 念 ， 比 如 它 可 以 是 我 们 认 知 世 界 的 认 知 方 式 。 我 认 为 它 与 我 们 的 生 活 就 密 不 可 分 ， 有 着 它 独 有 的 个 性。
2. 宇宙的意义是 在 一 个 特 殊 的 时 间 ， 通 过 无 数 的 小 行 星 在 不 同 的 位 置 相 遇 ， 让 人 类 对 这 个 世 界 的 理 解 由 地 球 变 成 了 太 阳 系 。 可 以 说 是 一 场 史 无 前 例 的 太 空 旅 行 ， >大 家 认 识 的 好 多 事 物 ， 其 实 都 不 过 是 太 阳 系 的 小 分 子 结 构 ， 只 是 因 为 太 阳 系 还 处 在 星 际 时 代 的 前 期 ， 就 像 一 团 无 数 星 际 尘 埃 ， 一 瞬 间 被 发 现 ， 成 为 了 宇 宙 的 大 创 >世 神 。 很 多 人 看 过 地 心 说 ， 也 知 道 银 河 系 与 其 他 行 星 相 比 ， 不 过 是 个 几 亿 岁 的 小 神 经 ， 但 是 ， 这 个 不 是 宇 宙 的 全 体 ， 大 爆 炸 之 后 ， 如 果 没 有 外 围 的 引 力 ， 银 河 系 >就 没 有 什 么 力 量 了 。 地 心 说 主 张 的 就 是 这 个 观 念 ， 地 心 说 是 一 个 最 强 的 、 最 正 统 的 理 论 体 系 ， 被 称 作 上 帝 的 一 切 智 慧 ， 它 从 宇 宙 起 源 出 发 ， 到 发 现 一 个 行 星 为 止 >， 没 有 说 过 以 后 就 可 以 毁 灭 任 何 一 个 行 星 了 。

python gpt2_ml_torch/generate.py --prompt 宇宙的意义是 --max_len 300 --n_seq 3 --model_path ./models/mega-clue-tok/

0. 宇宙的意义是 什 么 ， 科 研 工 作 者 们 还 在 为 找 不 到 答 案 而 苦 恼 ， 我 们 这 些 生 活 在 地 球 上 的 人 就 先 忙 着 干 活 吧 ， 等 有 一 天 科 学 家 们 可 以 给 我 们 一 个 回 答 让 我 们 在 有 生 之 年 可 以 得 到 圆 满 的 答 案 。 人 生 而 为 人 ， 为 什 么 非 要 有 什 么 意 义 好 的 一 个 文 化 与 思 想 的 传 承 应 该 是 “ 无 意 义 ” 或 者 说 “ 无 中 心 思 想 ” ， 就 像 我 小 时 候 经 常 问 我 妈 妈 ： “ 长 大 以 后 到 底 有 什 么 用 ？ ” 我 妈 给 的 回 答 是 ： “ 长 大 以 后 不 一 定 有 人 用 心 珍 惜 你 ， 没 有 人 因 为 你 长 大 了 ， 就 会 多 珍 惜 你 几 回 。 你 长 大 了 ， 如 果 不 珍 惜 ， 长 大 了 也 许 就 会 忘 记 这 个 事 情 了 ， 长 大 了 也 许 就 不 在 是 我 们 记 忆 中 的 那 个 样 子 了 。 ” “ 这 种 意 义 ， 没 必 要 问 。 ” 宇 宙 的 意 义 就 是 ： 我 不 知 道 宇 宙 的 意 义 到 底 是 什 么 。 我 只 知 道 我 现 在 的 人 生 意 义 。
1. 宇宙的意义是 什 么 ？ 如 果 宇 宙 是 一 个 大 型 的 黑 洞 ， 这 个 黑 洞 里 面 又 有 无 限 多 的 恒 星 呢 ？ 如 果 太 阳 、 月 亮 不 止 和 地 球 这 样 一 个 大 星 球 生 命 在 一 起 ， 它 们 甚 至 可 以 穿 梭 行 驶 无 数 光 年 ， 多 出 来 的 恒 星 星 球 也 可 以 被 大 气 层 吞 噬 呢 ？ 如 果 所 有 物 质 只 存 在 一 个 星 球 ， 它 们 会 不 会 都 被 一 种 无 形 的 力 量 吸 收 掉 ？ 如 果 其 他 星 球 上 有 文 明 ， 并 且 他 们 能 制 止 地 球 上 的 所 有 物 体 穿 越 太 阳 系 呢 ？ 那 些 星 系 中 的 星 星 为 什 么 都 是 以 超 光 速 的 超 新 星 爆 炸 形 式 存 在 ？ 如 果 所 有 星 球 都 以 原 子 的 形 式 存 在 ， 它 们 也 会 互 相 吸 引 吗 ？ 只 要 想 一 想 ， 宇 宙 中 还 有 地 球 这 样 一 个 星 球 存 在 ， 并 且 有 人 能 制 造 出 那 样 的 一 个 物 质 世 界 的 宇 宙 ， 我 们 在 这 个 宇 宙 里 的 存 在 也 就 毫 无 意 义 。 但 如 果 是 在 黑 洞 里 ， 那 宇 宙 还 有 意 义 吗 ？ 所 谓 真 善 美
2. 宇宙的意义是 什 么 ？ 我 们 有 这 样 的 疑 问 ， 这 可 能 是 因 为 我 们 的 人 生 经 历 还 没 有 让 我 们 真 正 清 楚 意 义 是 什 么 。 有 些 人 很 可 能 因 为 经 历 少 ， 没 有 什 么 意 义 感 。 有 些 人 可 能 也 不 能 直 接 证 明 意 义 的 存 在 。 所 以 才 会 质 疑 自 己 的 人 生 意 义 何 在 ？ 不 一 样 的 经 历 ， 造 成 不 一 样 的 思 维 和 生 活 。 我 们 通 常 认 同 这 样 一 种 观 点 ， 也 是 我 们 普 遍 认 同 的 人 生 价 值 。 人 生 没 有 什 么 意 义 ， 但 是 要 有 意 义 。 因 为 你 还 有 老 婆 孩 子 亲 人 ， 为 了 这 些 意 义 ， 让 自 己 的 人 生 意 义 更 美 好 ， 或 者 让 未 来 更 美 好 ， 总 会 有 意 义 吧 。 那 么 意 义 究 竟 是 什 么 呢 ？ 让 我 们 先 想 一 个 问 题 ， 关 于 意 义 。 我 们 知 不 知 道 人 生 意 义 是 什 么 ？ 很 多 人 自 认 为 人 生 的 意 义 是 做 出 好 的 选 择 ， 想 清 楚 自 己 真 正 的 所 求 。 也 许 没 有 对 的 答 案 ， 因 人 而 异 ， 或 者 每 个 人 的

python gpt2_ml_torch/generate.py --prompt "【上联】悠悠柳岸落红霞 【下联】" --max_len 100 --n_seq 3

0. 【上联】悠悠柳岸落红霞 【下联】 思 无 邪 松 烟 绿 水 悠 悠 ， 柳 岸 落 红 。 红 雨 过 后 ， 湖 光 山 色 依 然 碧 蓝 ， 美 丽 的 湖 光 山 色 中 ， 三 月 桃 花 漫 山 遍 野 开 放 ， 湖 上 人 们 静 静 诉 说 着 传 说 中 的 樱 花 雨 ， 湖 面 泛 起 水 ， 柳 堤 上 散 落 着 樱 花 树 。
1. 【上联】悠悠柳岸落红霞 【下联】 万 里 莺 莺 啼 尽 红 尘 ， 山 河 倒 影 入 斜 阳 。 谁 能 凭 一 身 诗 意 把 灵 魂 纳 进 诗 篇 ， 谁 就 成 功 的 成 为 了 一 个 传 奇 ！ 古 人 不 乏 美 女 ， 而 她 们 更 能 让 你 看 懂 人 生 ， 看 透 世 道 ， 体 会 人 情 。
2. 【上联】悠悠柳岸落红霞 【下联】 苍 山 淡 墨 写 婵 娟 【 横 批 】 悠 悠 的 柳 岸 ， 一 弯 秋 水 ， 淡 淡 的 绿 红 。 出 自 《 三 朝 北 盟 会 编 · 章 文 正 公 奇 幻 世 界 》 【 开 本 】 长 安 书 帖 【 序 >言 】 不 仅 我 们 生 活 在 一 个 多 元 化 的 时 代 ， 许 多 人 也 已 是 多 元 的。

python gpt2_ml_torch/generate.py --prompt "【上联】悠悠柳岸落红霞 【下联】" --max_len 100 --n_seq 3 --model_path ./models/mega-clue-tok/

0. 【上联】悠悠柳岸落红霞 【下联】 秋 风 萧 里 惊 银 杏 【 横 批 】 柳 岸 黄 花 花 【 评 语 】 写 景 之 诗 ， 写 物 之 诗 ， 写 情 之 诗 ， 写 思 之 诗 ， 写 言 之 诗 ， 写 意 之 诗 最 能 体 现 柳 永 才 气 。 柳 永 的 词 格 调 非 常 平 ， 非 常 雅 ， 非 常 华 丽 ！
1. 【上联】悠悠柳岸落红霞 【下联】 飘 飘 秋 风 扫 落 叶 【 横 批 】 一 江 春 水 【 上 联 】 风 吹 江 南 烟 雾 起 【 下 联 】 雨 洗 秋 风 落 叶 飘 【 横 批 】 大 地 湖 心 【 上 联 】 江 水 潺 潺 碧 波 平 【 下 联 】 秋 风 吹 起 漫 江 雨 （ 云 ） 【 横 批 】 天 空 湖 心
2. 【上联】悠悠柳岸落红霞 【下联】 飞 飘 山 脚 惊 风 雨 【 横 批 】 云 来 风 往 【 答 案 】 风 来 云 去 自 然 界 中 有 风 、 云 、 雨 相 依 相 偎 、 风 来 雨 降 ， 云 归 风 散 ； 不 同 的 天 气 有 不 同 的 雨 势 和 风 力 ， 形 成 风 、 云 、 雨 的 相 依 相 偎 、 风 来 云 动 、 云 归 风

python gpt2_ml_torch/generate.py --prompt "刘梅和李丽是好朋友，她们正在讨论吃饭的问题。[刘梅] 中午去哪里吃？ [李丽] 吃麦当劳怎么样？ [刘梅]" --max_len 200 --n_seq 1

0. 刘梅和李丽是好朋友，她们正在讨论吃饭的问题。[刘梅] 中午去哪里吃？ [李丽] 吃麦当劳怎么样？ [刘梅] 汉 堡 包 比 较 合 口 味 ， 还 是 炸 鸡 腿 堡 更 合 口 味 ？ [ 刘 梅 ] 在 哪 里 吃 ？ [ 李 丽 ] 在 中 国 >菜 网 订 餐 ， 可 以 享 受 汉 堡 和 炸 鸡 腿 堡 的 优 惠 ， 汉 堡 包 的 价 格 比 炸 鸡 腿 堡 要 低 ， 如 果 你 的 汉 堡 夹 着 炸 鸡 肉 的 话 ， 会 更 合 口 味 。 [ 刘 梅 ] 那 李 丽 是 做 什 么 的 ？ [ 李 丽 ] 我 们 是 一 个 餐 饮 网 站 、 厨 师 培 训 、 淘 宝 运 营 团 队 。 ( 刘 梅 ) 如 果 您 是 想 了 解 食 品 行 业 的 信 息 ， 请 关 注。

python gpt2_ml_torch/generate.py --prompt "刘梅和李丽是好朋友，她们正在讨论吃饭的问题。[刘梅] 中午去哪里吃？ [李丽] 吃麦当劳怎么样？ [刘梅]" --max_len 200 --n_seq 1 --model_path ./models/mega-clue-tok/

0. 刘梅和李丽是好朋友，她们正在讨论吃饭的问题。[刘梅] 中午去哪里吃？ [李丽] 吃麦当劳怎么样？ [刘梅] 对 ， 我 们 去 麦 当 劳 好 不 好 ？ [ 李 丽 ] 那 里 很 远 ， 有 高 速 路 堵 塞 。 [ 刘 梅 ] 有 高 速 路 堵 塞 是 什 么 意 思 ？ [ 李 丽 ] 我 可 以 理 解 成 你 们 这 是 文 化 差 异 吗 ？ [ 李 丽 ] 我 觉 得 你 们 看 了 一 些 文 章 啊 。 [ 刘 梅 ] 那 我 就 理 解 成 你 们 的 想 法 是 不 同 的 意 思 ， 我 觉 得 没 有 问 题 。 [ 李 丽 ] 没 别 的 意 思 ， 就 是 这 样 。 [ 刘 梅 ] 那 我 们 是 不 是 可 以 改 成 吃 麦 当 劳 更 好 ？

调用：

from gpt2_ml_torch.config import MODEL_PATH

from gpt2_ml_torch.generate import generate

print(generate(prompt='**人', model_path=MODEL_PATH, n_seq=1, max_len=100, no_gpu=False))

[{'generated_text': '**人 对 所 有 文 化 都 喜 欢 分 个 好 恶 高 下 ： 如 果 中 国 人 很 喜 欢 韩 流 ， 那 韩 娱 的 受 众 肯 定 不 会 特 别 喜 欢 这 种 类 型 的 韩 国 综 艺 。 中 国 人 很 喜 欢 美 剧 ， 美 剧 和 韩 剧 的 受 众 都 不 会 特 别 喜 欢 这 种 类 型 的 美 剧 。 中 国 人 看 日 本 电 影 对 美 妆 都 不 懂 ，'}]

print(generate(prompt='**人', model_path='./models/mega-clue-tok/', n_seq=1, max_len=100, no_gpu=False))

[{'generated_text': '**人 的 智 商 是 在 变 高 ， 变 聪 明 ， 但 却 达 不 到 西 方 国 家 的 文 化 高 度 。 为 什 么 ？ 因 为 中 国 文 化 注 重 的 是 思 维 ， 注 重 的 是 过 程 ， 注 重 的 是 结 果 的 优 越 性 ， 而 这 些 在 西 方 没 有 那 么 重 视 。 西 方 注 重 的 是 想 象 力 ， 是 直 觉 。 思 维 是 为 了 想 象 ，'}]