DSXiangLi / SimpleClassification

Simple Text Classification[WIP]

文本分类：支持多种预训练，半监督，领域迁移，降噪，对抗，蒸馏

支持任务

• 兼容TF1 & TF2

输出

• 二分类任务
• 多分类任务
• 有序多分类任务

输入

• 单输入
• 双输入

支持模型

文本预训练模型

• Bert
• Bert-wwm
• Roberta
• Albert
• Xlnet
• Electra

词袋模型

• Fasttext
• TextCNN
• TextRCNN
• DPCNN

半监督 & 领域迁移框架

• Multitask / Domain Transfer
• Adversarial
• Mixup
• Temporal Ensemble
• MixMatch

模型蒸馏

• Knowledge distill
• distill bert
• tiny bert

文本增强

• EDA: Random Delete, Random Swap, Random Insert, Random Substitute
• Entity Replacement
• Mask MLM
• Vote

Loss

• Focal Loss
• General Cross Entropy
• Symmetric Cross Entropy
• Peer cross Entropy
• Bootstrapping

Others

• 分层learning rate
• 模型推理

相关Blogs

• 小样本利器1.半监督一致性正则 Temporal Ensemble & Mean Teacher代码实现
• 小样本利器2.文本对抗+半监督 FGSM & VAT & FGM代码实现
• Bert不完全手册1. Bert推理太慢？模型蒸馏
• Bert不完全手册2. Bert不能做NLG？MASS/UNILM/BART
• Bert不完全手册3. Bert训练策略优化！RoBERTa & SpanBERT
• Bert不完全手册4. 绕开BERT的MASK策略？XLNET & ELECTRA
• Bert不完全手册5. BERT推理提速？训练提速!内存压缩！Albert
• Bert不完全手册6. Bert在中文领域的尝试 Bert-WWM & MacBert & ChineseBert