Multi_Label_Classifier_finetune
微调预训练语言模型，解决多标签分类任务。可加载BERT、Roberta、Bert-wwm以及albert等开源tf格式的模型
新增改动
2020-07-23：在使用AlBert时，请将该项目下的modeling.py文件更新为官方ALBert项目中下的modeling.py，而后在运行。
项目描述
该项目的目录为：
- 数据集描述
- 模型训练
- 预测
- 导出模型用于Tensorflow Serving
数据集描述
本文所使用的的多标签数据集来自于kaggle比赛(toxic-comment-classification)
具体示例如下：
标签描述：
上面有2句示例，第一行分别对应(id,text,labels)，其中labels通过类似于one-hot的方式进行了转换，这里就变成了'1,1,1,0,1,0'，比对标签文件中标签的顺序，表示该文本对应的标签为'toxic,severe_toxic,obscene,insult'
模型训练
运行命令：
bash train.sh训练命令的参数说明：
- BERT_BASE_DIR:预训练语言模型所在路径
- DATA_DIR:训练集所在路径
- TRAINED_CLASSIFIER:训练的模型所在目录
- MODEL_NAME：训练的模型名称
除此之外，还要根据自己的数据集和显存情况指定max_seq_length、train_batch_size和num_train_epochs。
训练后模型的评估效果如下所示：
注意：
在训练阶段：
我们必须修改在output layer后的模型架构。多类分类器将softmax层放置在输出层之后。
对于多标签，softmax更改为Sigmoid层，loss更改为sigmoid_cross_entropy_with_logits，可以在create_model（）函数中找到它。
在评估阶段：
评估标准通过使用的tf.metrics.auc修改为每个类别的auc。具体的可以在metric_fn（）中看到.
预测
运行命令：
python run_classifier_predict_online.py注意：
在运行前需要在文件中指定模型路径，修改BERT_BASE_DIR参数，该参数的值为你训练好的模型所在路径（还需要将预训练语言模型中的bert_config.json和vocab.txt两个文件复制到你训练好的模型目录下面，因为模型预测时需要加载这两个文件）
运行效果如下所示：
导出模型用于Tensorflow Serving
由于通过Tensorflow Seving部署模型需要用到pb格式的文件，故在这里也提供了模型转换的功能。
运行命令：
python model_exporter.py注意：
在运行前需要修改一下data_path、labels_num和export_path这三个参数的值。其中data_path为你训练好的模型所在路径，labels_num为标签的数目，export_path为导出后的pd模型存储的位置。
导出后如下所示：
