Jebushdd / automatizacion_unknown_datasets

Automatización de descarga de datasets para la página de unknown datasets

Más idiomas:   Seguime en

Script de descarga de datasets de Uknown Datasets

Tecnologías usadas:
   

Descripción

Este proyecto se encarga de descargar automáticamente los datasets subidos a la página de Unknown Datasets y redirigirte a su Cafecito para que les des tu apoyo!
Esta versión inicial tiene solo el script de Python. A medida que pase el tiempo (y en la medida de mi tiempo disponible xD) vamos a convertirlo en un proceso más robusto.
Por el momento descarto la idea de que tenga una interfaz porque para eso ya está la propia página de Unknown Datasets. Pero podemos orquestar esta automatización con Prefect.

Inventario

En este repositorio se encuentran los siguientes archivos:

• requirements.txt para instalar las librerías que usa el script
• exportar_unknown_datasets.py para correr el script
• exportar_unknown_datasets.ipynb es el jupyter notebook con las notas del proceso de desarrollo
• .gitignore para dejar fuera del repositorio los archivos generados y el entorno virtual

Instrucciones

1. Preparamos el entorno de trabajo:

python -m venv unknown_datasets_env

2. Instalamos las librerías

pip install -r requirements.txt

3. Corremos el script

python exportar_unknown_datasets.py