dobrosketchkun / mastodondump

dump of the https://the-federation.info/mastodon list updated with self-descriptions and lists of banned instances

Описание

Инструментарий для сбора данных по инстансам сети Mastodon.

Алгоритм работы

• Получение первоначального списка
  Используя запрос из query.txt, получить список и часть метаданных из The Federation и сохранить результат в файл dump.json.

• Перепаковка данных
  Запустить restructure.py, в результате чего будет создан файл restructured_dump.json.

• Опрос инстансов
  Запустить threads_parse_data.py. Данный скрипт в многопоточном режиме опросит инстансы из файла restructured_dump.json для получения описания и списка забаненных инстансов и сохранит результат в файл full.json.