akutuzov / news_history2018

Что такое хорошо и что такое плохо: эволюция понятий в русскоязычных новостных текстах

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

"Что такое хорошо и что такое плохо: эволюция понятий в русскоязычных новостных текстах"

Код для тьюториала в рамках Третьей Московско-тартуской школы по цифровым гуманитарным исследованиям

https://hum.hse.ru/digital/summerschool2018

Код:

  • requirements.txt - необходимые библиотеки
  • helpers.py - полезные вспомогательные функции.
  • play_with_model.py - демо-скрипт для работы с дистрибутивными моделями в Gensim
  • train_word2vec.py - скрипт для обучения дистрибутивной модели на своём корпусе
  • compare_model.py - сравнение семантики слов в нескольких моделях. Графики соседей слова в разных моделях и изменения коэффициента Жаккарда.
  • stance_detection.py - обучение LSTM на размеченном корпусе для классификации позиций в текстах
  • demo_stance.py - интерактивный режим классификации позиций в текстах. Загружает натренированную модель, спрашивает у пользователя текст, сообщает

Данные: - http://rusvectores.org/news_history/

  • models - обученные на разных корпусах модели. newspapers - модели для различных новостных изданий, years - модели за разные года.
  • ukraina - материалы для создания модели, которая определяет выраженную в тексте позицию относительно Украины
  • tagged - лемматизированные корпуса с разметкой частей речи
  • source_datasets - исходные тексты
  • References - полезные статьи

About

Что такое хорошо и что такое плохо: эволюция понятий в русскоязычных новостных текстах

License:GNU General Public License v3.0


Languages

Language:Python 100.0%