blanchefort / text_mining

Набор ноутбуков, в которых решаются различные задачи обработки естественного языка (NLP).

Задачи обработки естественного языка (NLP)

Набор ноутбуков, в которых решаются различные задачи обработки естественного языка (NLP).

1. Определение токсичных комментариев

Задача бинарной классификации текста: разделение комментариев на токсичный / нетоксичный. Нейросеть реализована с помощью фреймворка Flair.

2. Определение тональности текста

Бинарная классификация комментариев на: положительный / отрицательный. Преобразование текстов в векторное предствление осуществляется с помощью алгоритма BPE. Модель реализована на фреймворке Flair.

3. LSTM для POS-разметки текста

Обучение модели для частеречной разметки текста.

4. Классификация текстов с помощью BERT

Мультиклассовая классификация товаров по их названиям с помощью модели RuBert, используя библиотеку Transformers от Huggingface.

5. Выделение именованных сущностей в тексте с помощью BERT

Дообучение модели BERT Base для NER-задачи.