musajajorge / git-scraper-vacunacion

Avance de la vacunación contra la Covid-19 en Perú

Publicación

---

Instalación

Linux (Probado en Python 3.8.1+)

Automatizado con Github Actions

Instalación

# Instala requerimientos de Python
pip3 install -r requirements.txt
# Instala dependencias de scraper de Tableau
bash setup_scraper-tableau.bash

Obtener resultados

# Obtener tablas resumen de datos abiertos
python3 scraper.py
# Obtener cifras de dashboards externos
python3 scraper-tableau.py
# Finalmente realizar commit

Descripción

El programa consta de dos scripts separados:

• scraper: obtiene datos de "Datos Abiertos Perú" sobre Vacunación contra COVID-19 - MINSA.
• scraper-tableau: obtiene datos del CMP sobre médicos vacunados.

scraper.py

Genera 3 distintas tablas de salida con sus respetivas columnas que se encuentran dentro de la carpeta resultados/

1. departamentos.csv: DEPARTAMENTO,DOSIS1,DOSIS2,POBLACION,INDICE
2. dosis1y2.csv: FECHA_VACUNACION,DOSIS1,DOSIS2
3. acumulados1y2.csv: FECHA_VACUNACION,DOSIS1,DOSIS2
4. dosis2_por_edades.csv: GRUPO_ETARIO,DOSIS2,POBLACION,PORCENTAJE
5. fecha_corte.json: fecha_corte

Dónde:

• fecha_corte: Fecha hasta la cuál se ha realizado el conteo.
• DEPARTAMENTO: Subregión del país, nivel 2.
• DOSIS1: Cantidad de vacunas aplicadas en un DEPARTAMENTO específico, hasta la FECHA_CORTE
• DOSIS2: Cantidad de vacunas aplicadas en un DEPARTAMENTO específico, hasta la FECHA_CORTE
• FECHA_VACUNACION: Fecha de vacunación de la dosis.

• POBLACION: Población por departamento según el "Estado de la población peruana 2020" - INEI
• INDICE1: Índice de vacunación por 100 000 hab para Dosis 1 = (DOSIS1/(POBLACION/100000))
• INDICE2: Índice de vacunación por 100 000 hab para Dosis 2 = (DOSIS2/(POBLACION/100000))

scraper-tableau.py

Este scraper simula abrir una ventana de Chrome con la librería selenium y obtiene una captura de pantalla. Luego, se extrae el texto de la imagen con tesseract y guarda los números en el archivo ambas_dosis.json