古汉语语言模型
训练平台:Colab 白嫖Colab训练语言模型教程
基础框架:苏神的bert4keras
框架安装:
pip install bert4keras==0.9.9
T5 Encoder版本
模型调用代码:
模型参数下载地址:
百度网盘:链接 提取码:15bv
模型预训练过程:
两阶段预训练:90%采用128句子长度,10%采用512句子长度
128阶段预训练参数:
seq_len = 128
batch_size = 1792
learning_rate = 0.00125
weight_decay_rate = 0.01
num_warmup_steps = 0
num_train_steps = 250000
mlm_loss曲线:
mlm_acc曲线:
512阶段预训练参数:
seq_len = 512
batch_size = 1792
learning_rate = 0.000125
weight_decay_rate = 0.01
num_warmup_steps = 0
num_train_steps = 25000
mlm_loss曲线:
mlm_acc曲线:
Bert Base版本
模型调用代码:
模型参数下载地址:
百度网盘:链接 提取码:26yh
模型预训练过程:
两阶段预训练:90%采用128句子长度,10%采用512句子长度
128阶段预训练参数:
seq_len = 128
batch_size = 1792
learning_rate = 0.00125
weight_decay_rate = 0.01
num_warmup_steps = 3125
num_train_steps = 250000
mlm_loss曲线:
mlm_acc曲线:
512阶段预训练参数:
seq_len = 512
batch_size = 1792
learning_rate = 0.000125
weight_decay_rate = 0.01
num_warmup_steps = 0
num_train_steps = 25000
mlm_loss曲线:
mlm_acc曲线: