ochoajuanm / python-async-sraping

Paralelización de request por medio de async/await

Proyecto Python Async Scraping

Este es un proyecto de scraping asíncrono en Python utilizando asyncio y aiohttp. El objetivo es extraer datos de múltiples sitios web de manera eficiente utilizando programación asíncrona.

Tecnologías Utilizadas

Librerías Utilizadas

• asyncio
• aiohttp
• pandas
• jsonmerge
• requests
• json

Cómo ejecutar el Proyecto

1. Desplegar el entorno:

docker-compose up -d

2. Activar el entorno virtual con el comando:

source .venv/bin/activate

3. Ejecutar el módulo main_sync.py para el scraping síncrono:

python3 main_sync.py

4. Ejecutar el módulo main_async.py para el scraping asíncrono:

python3 main_async.py