当前版本 FastBert 0.1.0
FasrBert将提供一个快速将Bert和Bert的各种trick落地的方案。复现多种Bert变体方案,支持多种任务,多种预训练模型。
1、NEZHA
2、roformer
3、macbert
4、bert-base
1、transformer
2、transformer-xl
3、sentence-bert
1 PGD (PGD=True)
2 FGM (FGM=True)
3 SWA (SWA=True)
4 Lookahead (Lookahead=True,k=0.5)
5 梯度惩罚 (Tq=True)
6 warm up (Warm_up=True)
7 随机欠采样/过采样 (Random_Lsample/Random_Msample=True)
8 focal loss (focal_loss=True)
9 伪标签BCEloss拟合 (used_pse_data=True;BCEloss=True)
1.1 修改layernorm参数和层次
1.2 MMOE功能加入
2.1 logits蒸馏
2.2 TinyBert蒸馏
MNLI
QQP
QNLI
MRPC
NER
1 SimCSE
2 SimCSE-negative
3 SimCLR
4 SCR
1 promote
2 ernie1.0预训练模型加入
3 ernie2.0预训练模型加入
4 Consert模型加入