Erlemar / newsviz

Project on text topics evolution over time analysis

Часть инициативы ML4SG от ods.ai

english version

Что здесь происходит

Мы делаем инструмент для исследования развития со временем тем в текстах. Основной целевой набор текстов - русскоязычные новости, но методика и сам инструмент подходят для произвольного набора текстов. (Проект переехал отсюда)

Концепт такой:

Ответы на все вопросы первым делом искать тут:

https://github.com/newsviz/newsviz/wiki

Тут документация по основному коду https://github.com/newsviz/newsviz/wiki/Инструкция-по-запуску

Структура репозитория

.
├── config/config.ini -- директория для конфигов
├── data/ -- на гитхабе только пустые папки будут, а так датка локально будет здесь во время запуска
│    ├── raw -- сырые данные
│    ├── processed -- токенизировано и лемматизировано
│    ├── classified -- после классификации
│    ├── topic_modelleded -- после ТМ
│    └── ready2viz -- бери и вставляй в визуалайзер
├── newsviz -- собственно основной код
│    ├── run.sh -- one ring to rule them all
│    ├── pipeline.py -- основной скрипт со всеми luigi тасками
│    ├── preprocessing_tools.py -- скрипты препроцессинга
│    ├── topic_model.py -- обёртка для тематической модели
│    └── vizualizer -- здесь будет лежать стандартный визуализатор
│        ├── app.py
│        └── utils.py
├── models -- папка для моделей по умолчанию
│    └── classifier
│        ├── clf.bin
│        └── feature_extractor.bin
├── topic_model
│        ├── model.bin
│        └── dictionary{classname}.txt
└──tests

Запуск с помощью docker

Шаги по запуску проекта с нуля - от скачивания данных до визуализации:

1. run_download_data.sh для скачивания исходных непроцессированных данных
2. run_build.sh для сборки контейнера
3. run_pipeline.sh для препроцессинга данных, обучения моделей и подготовки данных для визуализации
4. run_viz.sh для запуска контейнера с визуализацией, доступ по ссылке http://0.0.0.0:8080
5. run_clear.sh для удаления всех промежуточных данных, моделей и прочих артефактов. Скачанные данные останутся.

Requirements

Python 3.6+

Contributing (Как участвовать в проекте)

См. contributing

Чем вы можете помочь

1. Посмотрите issues -- там должны быть расписаны актуальные задачи.
2. Помогите нам дополнить документацию и помочь другим разобраться в проекте.
3. Если ничего не понятно -- задайте вопросы, это приветствуется.

Родственные проекты

Big Data Indicators Семантические сдвиги в русских новостях

English version

What's going on here

We are making a tool for researching the development of topics in the texts over the time. The main target set of texts is Russian language news, but the methodology and the tool itself are suitable for an arbitrary set of texts. (The project has moved from here)

The concept is this:

Look for answers to all questions here:

https://github.com/newsviz/newsviz/wiki

Main code documentation https://github.com/newsviz/newsviz/wiki/Инструкция-по-запуску

Repository structure

.
├── config/config.ini -- directory for configs
├── data/ -- on github this folder will be empty, but during the launch data will be here locally
│    ├── raw -- raw data
│    ├── processed -- tokenized and lemmatized
│    ├── classified -- after classification
│    ├── topic_modelleded -- after TM
│    └── ready2viz -- take and insert into the visualizer
├── newsviz -- the actual main code
│    ├── run.sh -- one ring to rule them all
│    ├── pipeline.py -- main script with all luigi tasks
│    ├── preprocessing_tools.py -- preprocessing scripts
│    ├── topic_model.py -- wrapper for topic model
│    └── vizualizer -- the standard visualizer will be here
│        ├── app.py
│        └── utils.py
├── models -- folder for default models
│    └── classifier
│        ├── clf.bin
│        └── feature_extractor.bin
├── topic_model
│        ├── model.bin
│        └── dictionary{classname}.txt
└──tests

Run with docker

Launch project starting from data download to running visualization:

1. run_download_data.sh to download raw data
2. run_build.sh to build docker container
3. run_pipeline.sh to preprocess data, train model and prepare data for visualization
4. run_viz.sh to run docker container with visualization, access via http://0.0.0.0:8080
5. run_clear.sh to delete all intermediate data, models and other artifacts. Raw data will percist.

Requirements

Python 3.6+

Contributing (How to participate in the project)

See contributing

How can you help

1. Look at the issues - actual tasks should be scheduled there.
2. Help us complete the documentation and help others understand the project.
3. If nothing is clear - ask questions, this is encouraged.

Related projects

Big Data Indicators Semantic shifts in russian news

Contributions

В алфавитном порядке (in alphabet order).

• @Alf162
• @andreymalakhov
• @aprotopopov
• @Avenon
• @BoardGamer44
• @buriy
• @darkzenon
• @Erlemar
• @iggisv9t
• @IlyaGusev
• @iwooloowi
• @LanSaid
• @m12sl
• @marishadorosh
• @Midzay
• @monuvio
• @orech
• @p-kachalov
• @stroykova
• @Teoretic6
• @tu-artem
• @vtrokhymenko

Здесь могло быть ваше имя (your name could be here).