mykolakozyr / decent_parser

The website http://decentralization.gov.ua/ has the information which should be shown on the otg map. Parser would help to check the current state of data in the service and get that data.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

decent_parser

The website http://decentralization.gov.ua/ has the information which should be shown on the otg map. Parser would help to check the current state of data in the service and get that data.

Збір даних

Отримання посилань на існуючі ОТГ

Розроблений код переходить на сторінки областей (напр. Вінницька область) та зберігає в окремий документ посилання на існуючі ОТГ.

Збір даних по ОТГ (паспорт громади)

Розроблений код переходить на сторінки кожної окремої громади і зберігає в окремий файл (напр. Вапнярська ОТГ) головні атрибути ОТГ. В процесі доопрацювання з метою збору більшої кількості інформації

Опрацювання даних

Структура таблиць, на порталі Децентралізація влади та характер збереження даних парсеру Pandas вимагає подальшої обробки отриманих даних. Розроблений код перетворює дані у таблицю формату (key|value)

Створення єдиної таблиці

Розроблений код створює єдиний .csv файл. Фінальний результат знаходиться тут.

Очистка даних

Розроблений код уніфікує дані із значеннями true та false, які були представлені по-різному. Код також змінює тип даних з float на integer, де в цьому є необхідність.

About

The website http://decentralization.gov.ua/ has the information which should be shown on the otg map. Parser would help to check the current state of data in the service and get that data.


Languages

Language:Python 100.0%